Çoklu etmenli yapay zekâ 13 müşteri testinin 12’sinde kaybetti

Ethan Yang ve Xiangcheng Shi, 21 Ekim'de yayımlanan bir arXiv önbaskısında, çoklu etmenli yapay zekâ sistemlerinin 13 geçerli kullanıcı hizmeti test hücresinin 12'sinde tek etmenli sistemlere karşı kaybettiğini bildirdi.

Yang ve Shi'nin 21 Ekim tarihli arXiv makalesi, geçiş noktasını yaklaşık %45 tek etmen doğruluğuna yerleştiren önceki yetenek doygunluğu kuralına meydan okuyor; ancak çalışma henüz hakem değerlendirmesinden geçmemiş erken bir araştırma sonucu niteliğinde bulunuyor.

Makale, sistemleri etmenlerin yazılı kuralları takip ederken simüle edilmiş bir kullanıcıyla etkileşime girdiği çift kontrollü bir kıyaslama testi olan τ²-bench üzerinde sınıyor. Çalışma, yaklaşık 7.950 simüle edilmiş konuşma genelinde havayolu, perakende ve telekomünikasyon görevlerini kapsıyor.

Çoklu etmen sistemi (MAS), model tabanlı birkaç etmenin bir görev üzerinde koordinasyon kurması anlamına geliyor; tek etmenli sistem (SAS) ise tek bir model etmene dayanıyor. Yazarlar, üç model ailesinden altı model kullanarak, hazır bir SAS'ı aynı temel modelden oluşturulmuş merkezi bir MAS ile karşılaştırdı.

Yazarlar şunları yazdı: "İnsanlara hizmet eden etmenler için SAS varsayılandır; çoklu etmenli bir tasarım, doğrudan bu ortamdan hesaplama açısından eşleşen kanıtlar sunmalıdır."

Sabit bir simüle edilmiş kullanıcı altında makale, geçerli hiçbir hücrede MAS avantajı bildirilmediğini aktardı. MAS 12 hücrede geride kaldı, bir hücrede berabere kaldı; uyarlanmış ağırlıklı ortalama etki eksi 28 puan ve %95 güven aralığı eksi 44 ila eksi 12 olarak gerçekleşti.

Sonuç, hiçbir kullanıcının katılmadığı otonom kıyaslamalardan türetilen önceki kuralın aksine bir tablo ortaya koyuyor. Önbaskıya göre, söz konusu kuralın MAS'ın fayda sağlaması gerektiğini belirttiği iki test hücresinde, çoklu etmenli düzenek 13 puan ve 22 puan kaybetti.

Belirteç kullanımı da koordinasyon argümanını zayıflattı. Tamamlama belirteci kayıtları, çıkarım iş yükü ve maliyetin bir göstergesi olan model çıktı belirteçlerini izliyor; bir bütçe tavanı olmaksızın MAS, SAS belirteç harcamasının 5,5 katını kullanırken en iyi ihtimalle SAS ile aynı seviyeye gelebildi.

Makale tüm soruları yanıtlamıyor. MAS planlayıcısının kullanılabilir araç çağrılarını tanımlayan araç şemalarını görmemesi nedeniyle bir geçerlilik çıtasının karşılanmadığı bildirildi; özet metin bunun performansı nasıl etkilediğini sayısallaştırmıyor.

Yazarlar ayrıca, tek etmen yeteneği arttıkça MAS kazanımlarının azalıp azalmadığı konusunu kanıtların netleştirmediğini belirtti. Model-alan etkileri baskın geldiği için tahmini eğim, %95 güven aralığı eksi 1,51 ila artı 0,68 olmak üzere eksi 0,41 oldu.

Güvenlik sonuçları da sınırlı kaldı. Makale, MAS'ın hatalı veri tabanı yazımlarını belirgin bir şekilde azaltmadığını, bunun yerine bazı başarısızlıkları bütçe tükenmesine ve eylemsizliğe kaydırdığını belirtti.

Yazarlar; yörüngeleri, belirteç kayıtlarını, istemleri ve kodları önbaskıyla birlikte yayımladıklarını söyledi.

Kaynak: arXiv önbaskısı, arXiv cs.AI, 21 Ekim 2026