LLM kriz raporları resmi sayıların %5,4-%11,0’ini yakaladı

Sachin Kumar, 13 Ekim’de sunulan bir arXiv ön baskısında, LLM’lerin yazdığı kriz durum raporlarının üç birincil afette aynı gün açıklanan resmi rakamların %5,4-%11,0’ini yakaladığını bildirdi.

Atlas360 hesaplamalarına göre bu, beş afet ve üç tehlike türünde 121 insan raporu ile 261 üretilmiş raporu karşılaştıran bir çalışmada, resmi rakamlarda yaklaşık 19’da bir ile dokuzda bir arasına denk geliyor.

Kumar, "Otomatik kriz raporlaması için değerlendirme, karşılaştırması kolay olanı değil, uygulayıcıların neye ihtiyaç duyduğunu ölçmeli" diye yazdı. Makale, profesyonel insani yardım durum raporlarından 15 yuvalı bir şema oluşturmak için LLM destekli, yazar onaylı nitel içerik analizi kullandı.

Çoğu zaman sitrep denilen durum raporları, koşulları, ihtiyaçları, müdahale faaliyetini ve otoriteyi kaydetmek için kullanılan yapılandırılmış kriz güncellemeleridir. Çalışma, yalnızca metin örtüşmesi ölçütlerine dayanmak yerine, insan yazımı ve makine yazımı sürümleri şemaya göre değerlendirdi.

Cyclone Idai’de google/gemini-3.7-flash, en güçlü makine kolunu 0,827 olarak değerlendirdi; ampirik insan tavanı ise 0,821’di. Makale, farkın istatistiksel olarak güvenilir olmadığını, %95 bootstrap güven aralığının -0,049 ile 0,059 arasında olduğunu ve permütasyon p-değerinin 0,852 olduğunu söyledi.

Ön baskıya göre bu sıralama openai/gpt-5.6-luna altında da tekrarlanmadı. Kör 100 maddelik Idai örnekleminde yazar, Gemini hakemiyle 0,910 doğruluk ve 0,799 ağırlıksız Cohen's κ düzeyinde eşleşti; bu, şansa göre düzeltilmiş bir mutabakat istatistiği.

Kumar, dört hakemin tamamının planın 0,7 ham mutabakat eşiğini karşıladığını bildirdi. Şansa göre düzeltilmiş κ’de 0,7’ye yalnızca Gemini ulaştı; bu da hakemlik sonucunun sağlanan özetten ne kadar geniş okunabileceğini sınırladı.

Temellendirme sonuçları, tamlık puanlarının düşündürdüğünden daha zayıftı. Üç birincil olay için ham kesin sayı eşleşmesi, resmi rakamların %14,3-%19,6’sını ve makine rakamlarının %85,4-%90,1’ini sosyal akışa bağladı.

Makale, manuel denetimin bu örüntüyü kısmen desteklediğini söyledi. Denetim, beyan edilen 50 yokluğun 45’ini, 25 resmi eşleşmenin 4’ünü ve 25 makine eşleşmesinin 24’ünü anlamsal olarak doğruladı; bu, birebir sayı örtüşmesi ile kaynağa dayandırma arasında büyük bir fark gösterdi.

Makale ayrıca gözlenen 12 olay-hakem hücresinin tamamında bir kaynak bilgisi açığı buldu. arXiv özetine göre rapor tarihi, kuruluş, seri ve otorite hiçbir hücrede profesyonel rapor kapsamına ulaşmadı.

Yaygın değerlendirme ölçütleri, çalışmanın çerçevesinde zayıf performans gösterdi. Üç birincil olay için ROUGE-L bilgi vermedi, BERTScore çoklu karşılaştırmalar için düzeltmeden sonra tamlıkla negatif ilişkiliydi ve genel bir LLM hakemi işaret değiştirdi.

arXiv sürümü bir ön baskıdır, hakemli dergi makalesi değildir. Kayıt, çalışmanın LT4CPR Workshop @ AACL-IJCNLP 2026’da kabul edildiğini söylüyor; sağlanan materyal herhangi bir uygulama sonucu veya tarihli takip yayını vermiyor.

Kaynak: arXiv ön baskısı, arXiv, 13 Ekim 2026