Yapay Zeka Alanında Rekabet: Son Bir Haftada Üç Değişiklik Yaşandı

Artificial Analysis, v5 güncellemesinin öncesinde hızlandırılmış bir süreç olarak v4.1.1, v4.2 ve v4.3 sürümlerini duyurdu. Sektördeki hızlı gelişmeler nedeniyle güncellemelerin bekletilmediği belirtildi.

Güncellemelerin başlangıcında, GPT-6 Astra'nın piyasaya sürülmesiyle v4.1.1 sürümünde Astra 61 puan alırken, Fable 5.1 modeli 66 puan elde etmişti.

Dört gün sonra yayınlanan v4.2 sürümünde, platform yeni değerlendirme kriterleri ekleyerek GPQA Diamond testini kaldırdı. Bu noktada, Fable 5.1'in puanı 57'ye, Astra'nın puanı ise 55'e düştü.

Üç gün sonra sunulan v4.3 sürümünde ise Terminal-Bench ve AutomationBench-AA testlerinin entegrasyonu sonucu, her iki model de 53 puanda eşitlenmiş oldu.

Her iki modelin aynı puana ulaşması, performans ve maliyet açısından önemli farklılıkları da beraberinde getiriyor. Astra'nın maliyet karşılaştırması, 53 puanlık bir performans düzeyinde görev başına ortalama 3,26 dolar maliyet sunduğunu gösterirken, Claude Fable 5.1 için bu rakam 7,63 dolara ulaştı. Böylece Astra, aynı performans seviyesinde görev başına yüzde 57 daha düşük maliyet sağladı. Bu farkın nedeni olarak, Astra'nın değerlendirme sürecinde daha az çıktı çipi kullanması gösterildi.

Test sonuçlarına göre, Fable 5.1 modeli bilgi odaklı işler ve bilimsel hesaplamalarda öne çıkarken, Astra modeli terminal tabanlı yazılım ve iş akışı otomasyonlarında daha başarılı sonuçlar ortaya koydu.

Modellerin ezber yapmasını engellemek amacıyla gizli test setlerinin oranı artırıldı. v4.1 sürümünde yüzde 20 olan gizli test oranı v4.2'de yüzde 40'a, v4.3'te ise yüzde 45'e yükseltildi. Artificial Analysis, v5 sürümünde bu oranı daha da artırmayı planlıyor.

V4.3 liderlik tablosunda Astra ve Fable 5.1'in ardından Claude Opus 5 modeli 51 puanla üçüncü sırada yer aldı. Claude Fable 5 modeli 50 puan, Muse Spark 1.3 modeli 48 puan ve GPT-5.6 Sol modeli ise 47 puan aldı. Ayrıca, açık kaynaklı modeller arasında GLM-5.3 Flash 42 puanla öne çıktı.