AI Kodlama Ajanlarının Yeni Savaşı: CursorBench 3.1 Sonuçları Yayınlandı!

Yapay zeka destekli popüler kod editörü Cursor, AI kodlama ajanlarının gerçek dünya senaryolarındaki yeteneklerini test eden yeni benchmark çalışması CursorBench 3.1 sonuçlarını resmi olarak duyurdu. Gerçek Cursor oturumlarından alınan çok dosyalı karmaşık görevler, hata bulma, planlama ve kod inceleme testlerinde modellerin hem başarı oranları hem de görev başına maliyetleri kıyaslandı.

Değerlendirme sonuçlarına göre, Fable 5 Max modeli en yüksek başarı skorunu elde ederken, özellikle Composer 2.5 modeli sunduğu inanılmaz fiyat/performans oranıyla geliştiricilerin dikkatini çekmeyi başardı.

CursorBench 3.1 Lider Tablosu

Benchmark testinde öne çıkan modellerin başarı yüzdeleri ve görev başına harcadıkları ortalama maliyetler şu şekilde listelendi:

CursorBench 3.1 ile Neler Değişti?

CursorBench 3.1 sürümüyle birlikte test senaryolarında şu iyileştirmelere gidildi:

• Kod Tabanı Anlama: Modellerin büyük kod projelerindeki bağımlılıkları kavrama ve analiz etme yetenekleri zorlaştırıldı.
• Planlama ve Hata Arama: Çoklu dosyalarda gizlenen mantıksal hataları bulma ve çözüm planı hazırlama süreçleri eklendi.
• Değerlendirme Kriterleri: Kod düzenleme (edit) görevleri için kullanılan puanlama algoritmaları daha adil ve hassas hale getirildi.

Sonuçlar, yapay zeka ajanlarının kod yazım kalitesinin hızla arttığını gösterirken; geliştiriciler için en doğru modeli seçerken bütçe (maliyet/performans) dengesinin de ne denli kritik olduğunu gözler önüne seriyor.

Kaynak: Hacker News (Öne Çıkanlar)