METR: Anthropic iyi tanımlanmış görevlerde muhtemelen iki kat hızlandı, ivmenin çoğunu AI'a bağlıyor
Bağımsız değerlendirme kuruluşu METR, 5 Kasım'da yayımladığı raporda Anthropic'in iyi tanımlanmış görevlerdeki yetenek artışının Mart 2024-Ekim 2025 dönemine göre muhtemelen yaklaşık 2 kat hızlandığını tahmin ediyor; 1,3x ile 3x arası bir değer de kurumu şaşırtmayacak. Anthropic'in Epoch Capabilities Index uyarlaması olan AECI'deki trend, Ekim 2025'ten bu yana yılda yaklaşık 15 puandan yaklaşık 29 puana dikleşmiş (1,9x; %95 güven aralığı 1,5-2,8x). METR, ivmenin eğitim compute'undaki bir artıştan kaynaklanmadığından emin olduğunu yazıyor ve öznel bir tahminle ivmenin “çoğunluğunu (belki ≈%80)” AI'a bağlıyor.
Görüşmelere göre katkı, tam otonom araştırmadan çok AI yardımından geliyor: daha hızlı deney iterasyonu, fikirlerin riskini erken azaltma, implementasyon ve deneylerin takibi. En önemli eğitim işlerine tam otonom katkılar henüz anlamlı değil, ancak METR bunların yakında gelebileceğine dair “signs of life” gördüğünü söylüyor. Önümüzdeki 12 ay için algoritma, compute ya da veri tarafında ikna edici bir darboğaz bulunamadı; METR bu konudaki görüşünün birkaç kez değiştiğini ve güveninin düşük olduğunu not ediyor.
Raporun kendi çekinceleri önemli: METR'in en bilgilendirici bulduğu kanıtların çoğu Anthropic tarafından karartıldı, şirket bunu rakipleri hızlandırabilecek gizli bilgileri korumak olarak açıklıyor. Kanıtın büyük kısmı otomatik notlanan, iyi tanımlı görevlerden geldiği için gerçek dünyadaki ivmeyi abartıyor olabilir; tüm geliştiricilerin frontier modelleri birlikte ölçüldüğünde ivme 1,4x. METR, RSP'deki eşiklere özel olarak odaklanmadığını da belirtiyor.
Anthropic'in kendi benchmark'ı; değerler METR raporundaki yaklaşık rakamlar.
Kaynak: METR raporu