LLM onarımları 114 trafik testinin 76’sında eşli düzeltmeyle gelişti

Hengyu Ye ve Songhua Hu, 20 Ekim'de yayımlanan bir arXiv makalesinde LLM kaynaklı onarım eylemleri için karşı olgusal bir test önerdi; eşleştirilmiş düzeltmeler 114 trafik eyleminin 76'sında tek parçalı düzeltmelerden daha iyi performans gösterdi.

20 Ekim tarihli arXiv makalesi, operasyonel düzeltmeler öneren yapay zeka sistemleri açısından önem taşıyor: Yeniden birleştirilen parçalar, bir referans eylemin kayıp azaltımının %61,6'sını geri kazandı; bu da yalnızca orijinal öneriler arasından seçim yapmaya kıyasla %3,6 puan daha fazla.

%61,6'lık sonuç, yeniden birleştirilen yaklaşımın ayrılan gözlemlerdeki kıyaslama iyileştirmesinin üçte ikisinden biraz daha azını yakaladığı anlamına geliyor. Atlas360 hesaplamalarına göre 76 trafik vakası, test edilen 114 eylemin yaklaşık üçte ikisine denk geliyor.

Yazarlar, LLM tarafından üretilen bir onarım eylemini "hangi kayıtların ne kadar değiştirileceğini belirten" bir öneri olarak tanımlıyor. Yazarların yaklaşımına göre, genel olarak zayıf bir onarım yine de yararlı bir bileşen içerebilir: doğru hedef kayıtlar, doğru sayısal ayarlama veya hiçbiri.

Makale bu ayrımı, geniş kapsamlı ölçümlerin hangi temel kayıtların hatalı olduğunu gizleyebildiği trafik ağlarında ve veri tabanlarında değerlendiriyor. Yazarlar, aynı başlangıç noktasından türetilen kombinasyonları, etkilenen kayıtlar için bir kıyaslama düzeltmesi anlamına gelen bir referans eylemle karşılaştırıyor.

Trafik testlerinde hem hedef kümenin hem de sayısal güncellemenin düzeltilmesi, 114 eylemin 76'sında her bir parçanın ayrı ayrı düzeltilmesinin toplamından daha büyük bir birleşik kazanç sağladı. Bu eylemlerin altısında, tekil düzeltmelerden herhangi biri performansı daha da kötüleştirirken iki parçalı düzeltme performansı artırdı.

Veri tabanı sonuçları ise farklı bir hata türüne işaret ediyor. Modelin önerdiği güncellemenin yalnızca referans güncellemeyle değiştirilmesi 108 eylemin 17'sini kötüleştirdi ve yazarlar bu 17 durumun tamamında etkilenmemiş kayıtların seçildiğini belirtti.

Çalışma, yapay zeka onarım araçları için pratik bir değerlendirme sorununu ele alıyor: Yalnızca nihai sonuca göre karar vermek, başarısız bir önerinin yeniden kullanılabilir parçalar içerip içermediğini gözden kaçırabilir. Önerilen yaklaşım, hedef seçimini güncelleme miktarından ayırıyor ve ardından bu bileşenlerin yeniden birleştirildiğinde nasıl davrandığını test ediyor.

Kısıtlar önem taşıyor. Makale bir arXiv ön baskısı niteliğinde ve hakem değerlendirmesinden geçmedi.

Yazarlar ayrıca iki model önerisinden gelen bileşenlerin birlikte yeniden kullanılıp kullanılamayacağını da test etti. Ayrılan veri kümesindeki %58,0'a karşı %61,6'lık sonuçları, bildirilen düzenek içinde yeniden birleştirmeden kaynaklanan mütevazı bir iyileşmeye işaret ediyor; ancak LLM kaynaklı onarımların canlı sistemlerde güvenilir olduğuna dair bir kanıt sunmuyor.

Kaynak: arXiv cs.AI ön baskısı, 20 Ekim 2026