SAFE-QE arama motorlarında asılsız terim sayısını 4,3'e düşürdü.

Yapay zeka destekli arama sistemlerinde büyük dil modellerinin ürettiği asılsız terimler, bilgi erişim süreçlerinde önemli bir güvenilirlik sorunu yaratıyor. Bilim insanları Amit Kumar Jaiswal, Sagar Uprety ve Prayag Tiwari tarafından geliştirilen SAFE-QE adlı yeni yöntem, ek model eğitimi gerektirmeden sorgu genişletmedeki uydurma kelime oranını belirgin şekilde azaltmayı başardı.

Henüz akademik hakem değerlendirmesinden geçmeyen ve arXiv platformunda paylaşılan çalışmaya göre, SAFE-QE sorgu başına düşen desteksiz terim sayısını 4,3 seviyesine düşürdü. Aynı test ortamında Query2doc yöntemi sorgu başına 27,8, HyDE yöntemi ise 57,5 uydurma terim üretti. Araştırmacılar, uydurma terimlerin engellenmesine rağmen arama sonuçlarının doğruluğunu ölçen nDCG@10 puanının korunduğunu bildirdi.

Yapay Zekada Uydurma Terim Sorunu

Modern arama motorları, kullanıcıların yazdığı ifadelere yakın kavramları sorguya ekleyerek daha zengin sonuçlar sunmayı hedefliyor. Ancak büyük dil modelleri sorguları genişletirken konuyla ilgisiz veya yanlış kelimeler türetebiliyor. SAFE-QE yöntemi, aday terimlerin farklı bağlamlardaki tekrar sıklığını ve ilk getirilen belge kümesiyle uyumunu denetleyerek bu sorunun önüne geçiyor.

Geliştirilen altyapı, erişilen belgeler tarafından desteklenmeyen ve yalnızca belirli metin kalıplarında ortaya çıkan terimlerin ağırlığını düşürüyor. Bu sayede sadece veri kümesiyle doğrulanan ve geniş kapsayıcılık sunan ifadeler aramaya dahil ediliyor. Çalışmada ayrıca uydurma terim oranını nicel olarak ölçmek için HETR adında yeni bir değerlendirme metriği de önerildi.

Sistem Sınırları ve Riskler

Yöntemin sağladığı ilerlemeye rağmen araştırmacılar kritik bir performans sınırlamasına dikkat çekiyor. Öğrenilmiş seyrek arama modelleri üzerinde yapılan testlerde, SAFE-QE dahil olmak üzere denenen tüm sorgu genişletme teknikleri sıralama kalitesinde düşüşe yol açtı. Bu durum, uydurma kelimeleri azaltmanın her arama mimarisinde doğrudan başarı getirmeyebileceğini gösteriyor.

SAFE-QE yöntemi henüz ticari bir yazılımda uygulamaya alınmadı ve gerçek dünya sistemlerindeki işletim maliyeti açıklanmadı. Buna karşın, kurumsal bilgi yönetim sistemleri ve arama motoru geliştiricileri için model eğitimi gerektirmeyen bu yaklaşım önemli bir alternatif sunuyor. Yöntemin farklı veri kümelerindeki uzun vadeli performansı ise gelecek saha testleriyle netleşecek.