Ajanlar arası yapay zeka testlerde 20 hata türüyle karşılaştı

Sarath Shekkizhar ve 14 ortak yazar, 17 Ekim'de yayımlanan arXiv bilgisayar bilimleri ön baskısında, kayıt altına alınan 2.500'ü aşkın çalıştırmadan yararlanarak ajanlar arası yapay zeka sistemlerinde 20 hata türü haritalandırdı.

Çalışma, tedarikçilerin ajanları müzakerelere ve şirket içi iş akışlarına dahil ettiği bir dönemde kurumsal bir riski hedef alıyor: Yazarlar, önceki hata çalışmalarının ortak kontrolü varsaydığını, mevcut test setinin ise sekiz grup genelinde 488 senaryoyu kapsadığını belirtti.

Ajanlar arası sistemler ya da A2A sistemleri, temsil ettikleri kişiler veya kuruluşlar anlamına gelen ayrı asiller adına hareket eden yapay zeka ajanlarını içeriyor. Makale, bir alıcının kişisel ajanının bir şirketin satıcı ajanıyla muhatap olmasını örnek gösteriyor.

Yazarlar, her ajanın özel bilgiler ve ayrı yetkilerle çalışabileceğini, ajanlar arasındaki ilişkinin ise iş birliğine dayalı, kısmen uyumlu veya rekabetçi olabileceğini aktardı. Ön baskıya göre senaryolar hukuk, müşteri ilişkileri yönetimi, güvenlik ve ticaret örneklerini içerdi.

En güçlü uyarı doğrulama konusuna odaklanıyor. Yazarlar, "hiçbir ajan, bir denk ajanın olgusal iddiasını kendi inisiyatifiyle doğrulamıyor" ifadesini kullandı ve bir protokol ya da mekanizma denetim eklemedikçe güvenilirliğin en zayıf katılımcıya bağlı olduğunu ekledi.

Taksonomi, 20 hata türünü dört alanda gruplandırıyor: keşif ve yetkilendirme, temellendirme ve kayıt tutarlılığı, doğrulama, davranış ve sadakat. Pratik açıdan bu kategoriler, ajanların doğru denk ajanı bulup bulmadığını, kayıtları uyumlu tutup tutmadığını, iddiaları denetleyip denetlemediğini ve asilin çıkarlarıyla tutarlı davranıp davranmadığını kapsıyor.

Ön baskıya göre üç bulgu, yazarların incelediği her test düzeneğinde, modelde ve senaryoda geçerliliğini korudu. Ajanların denkleriyle karşılaşıp etkileşime girip girmeyeceğini yalnızca diğer ajanların varlığı değil, görevin ifade ediliş biçimi belirledi. Yazarlar ayrıca, toplam sonuç puanlarının görevin tamamlanmasını ödüllendirirken altta yatan koordinasyon, doğrulama ve davranış sorunlarını gözden kaçırabildiğini söyledi.

Bu durum, ajanları izole sohbet botları yerine ticari aktörler olarak değerlendiren şirketler için önem taşıyor. Bir katılımcı yanlış koordinasyon kurarken, denetlenmemiş bir ifadeyi kabul ederken veya kendi asilinin hedeflerine aykırı sayılabilecek biçimde davranırken, bir sistem nihai görev düzeyinde başarılı görünebiliyor.

arXiv metni bir ön baskı niteliğinde ve henüz bir derginin hakem değerlendirmesinden geçmedi.

Yazarlar, taksonominin arkasındaki çalıştırma kayıtlarını Hugging Face üzerinde yayımladı. Makale 14 Ekim'de sunuldu, 15 Ekim'de revize edildi ve arXiv tarafından sürüm 2 olarak listelendi.

Kaynak: arXiv bilgisayar bilimleri ön baskısı, 17 Ekim.