Yapay zekâ asistanlarının işe yaraması için yalnızca doğru sorulan sorulara değil, yanlış varsayımlara dayanan sorulara da yardımcı olması gerekiyor. Bu ihtiyaçtan yola çıkan araştırmacılar, XYBench adlı kıyaslama testini yayımladı. Test, 8.115 gerçek dünya sorusuyla modellerin kullanıcının asıl amacını fark edip edemediğini ölçüyor. XYBench, EMNLP 2026'da En İyi Kaynak Makalesi Ödülü'nü kazandı.
Testin çıkış noktası, literatürde XY problemi diye anılan durum: Kişi X hedefine ulaşmak istiyor, Y yönteminin işe yarayacağını varsayıyor ve yardımı Y için istiyor. Örneklerden biri, kekin üzerinden kayan kremayı koyulaştırmayı soran kullanıcı. Asıl sorun kremanın kıvamı değil, kekin üzerine sürülecek kadar soğumamış olması.
XYBench, Carnegie Mellon ve Johns Hopkins üniversiteleri ile NVIDIA'daki araştırmacılarla geliştirildi. Soruların 1.557'si Stack Overflow, 184'ü Stack Exchange forumlarından, 102'si elle seçilen örneklerden, 6.272'si ise WikiHow rehberlerinden üretildi. Her soruda kullanıcının açıkça istediği Y ile bağlamdan çıkarılan asıl hedefi X ayrı ayrı işaretlendi.
Değerlendirmede Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B ve DeepSeek-V4 Pro'nun tek turlu yanıtları incelendi. Stack Overflow sorularında modeller, açıkça istenen çözümü yanıtlarının %75-86'sında sundu; asıl hedefe yönelik çözüm oranı ise %59-71'de kaldı. Yanıtların yalnızca %35-41'i temel olarak asıl hedefe odaklandı.
Araştırmacılar ayrıca kullanıcının amacını modele açıkça verdikleri bir deney yaptı. Bu durumda Sonnet 4.6'nın asıl hedefe çözüm sunma oranı %59'dan %67'ye çıktı, ancak yanlış varsayımı tespit etme oranı %47'den %34'e geriledi. Bu deneyde, insan yanıtlarının bulunduğu kaynaklarda her model yanlış varsayımı tespit etmede insanların gerisinde kaldı.
Dikkat çeken bir başka sonuç, modellerin iyi tavsiyeyi seçmede yazmaktan daha başarılı olması. Aynı soruya biri harfiyen isteğe, diğeri yanlış varsayımı açıklayıp asıl hedefe odaklanan iki yanıt verildiğinde, altı model Stack Overflow'ta vakaların %71-84'ünde hedef odaklı yanıtı seçti. Bu, faydalı tavsiyeyi tanıma ile üretme arasında bir boşluk olduğunu gösteriyor.
XYBench şimdilik İngilizce soruları ve ağırlıklı olarak adım adım çözüm gerektiren işleri kapsıyor. Testin başka dillere, kültürlere ve sohbet ortamlarına genişletilmesi ise açık bir araştırma başlığı olarak duruyor. Son günlerde StateBench ve GDPx gibi kıyaslama testlerinin art arda yayımlanması, yapay zekâ modellerinin yeteneklerinin yalnızca doğru yanıt oranıyla değil, kullanıcıyı doğru yöne yönlendirme becerisiyle de ölçülmeye başladığını gösteriyor.
