تقارير الأزمات الصادرة عن نماذج اللغة الكبيرة تلتقط ما بين 5.4% و11.0% فقط من الأرقام الرسمية

أفاد ساشين كومار في مسودة بحثية نُشرت عبر منصة "أركايف" (arXiv) في 13 أكتوبر بأن تقارير مواقف الأزمات المكتوبة بنماذج اللغة الكبيرة التقطت ما بين 5.4% و11.0% من الأرقام الرسمية الصادرة في اليوم نفسه عبر ثلاث كوارث رئيسية.

ويعادل ذلك نحو رقم رسمي واحد من كل 19 إلى رقم واحد من كل تسعة أرقام رسمية، وفقاً لحسابات "أطلس 360"، في دراسة قارنت بين 121 تقريراً بشرياً و261 تقريراً مُولداً عبر خمس كوارث وثلاثة أنواع من المخاطر.

وكتب كومار: "ينبغي لتقييم التقارير التلقائية عن الأزمات أن يقيس ما يحتاجه الممارسون، لا ما هو ملائم للمقارنة فحسب". واستخدمت الورقة تحليلاً نوعياً للمحتوى مدعوماً بنماذج اللغة الكبيرة ومُعتمداً من المؤلف لبناء مخطط مكوّن من 15 خانة مستمداً من تقارير المواقف الإنسانية المهنية.

وتُعد تقارير المواقف، المعروفة غالباً باسم "sitreps"، تحديثات مهيكلة عن الأزمات تُستخدم لتسجيل الأوضاع والاحتياجات وأنشطة الاستجابة وجهات الاختصاص. وقيمت الدراسة النسخ المكتوبة بشرياً والآلية في ضوء هذا المخطط، بدلاً من الاعتماد فقط على مقاييس تطابق النصوص.

وفيما يتعلق بإعصار "إيداي"، قيّم نموذج google/gemini-3.7-flash المسار الآلي الأقوى عند 0.827، مقارنة بسقف بشري تجريبي بلغ 0.821. وذكرت الورقة أن الفجوة لم تكن موثوقة إحصائياً، مع فاصل ثقة 95% بطريقة إعادة التعيين (bootstrap) تراوح بين -0.049 و0.059 وقيمة احتمالية للتبديل (permutation p-value) بلغت 0.852.

ولم يتكرر هذا الترتيب أيضاً تحت نموذج openai/gpt-5.6-luna، وفقاً للمسودة البحثية. وفي عينة معمّاة مكوّنة من 100 عنصر بشأن إعصار "إيداي"، تطابق تقييم المؤلف مع مقيّم "جيميني" بدقة بلغت 0.910 ومعامل كوهين كابا غير المرجح (Cohen's κ) قدره 0.799، وهو مقياس توافق مصحح بعامل الصدفة.

وأفاد كومار بأن جميع المقيمين الأربعة استوفوا عتبة التوافق الأولي المحددة في الخطة عند 0.7. وتجاوز نموذج "جيميني" وحده عتبة 0.7 في مقياس كابا المصحح بالصدفة، ما يحدّ من مدى إمكانية تعميم نتائج التقييم بناءً على الملخص المقدم.

وجاءت نتائج التأصيل والربط المرجعي أضعف مما أظهرته درجات الاكتمال. فبالنسبة للأحداث الرئيسية الثلاثة، ربطت المطابقة الأولية الدقيقة للأرقام ما بين 14.3% و19.6% من الأرقام الرسمية وما بين 85.4% و90.1% من أرقام الآلات بتدفقات وسائل التواصل الاجتماعي.

وذكرت الورقة أن مراجعة يدوية دعمت هذا النمط جزئياً؛ إذ أكدت دلالياً 45 من أصل 50 حالة غياب مُعلنة، و4 من أصل 25 مطابقة رسمية، و24 من أصل 25 مطابقة آلية، مما يظهر فارقاً كبيراً بين التطابق الحرفي للأرقام وبين التأصيل المرجعي للمصادر.

ووجدت الورقة أيضاً قصوراً في توثيق مصدر البيانات عبر جميع خلايا "الحدث والمقيّم" الاثنتي عشرة التي رُصدت. ولم يصل تاريخ التقرير والمنظمة والسلسلة وجهة الاختصاص إلى مستوى تغطية التقارير المهنية في أي خلية، وفقاً لملخص "أركايف".

وجاء أداء مقاييس التقييم الشائعة ضعيفاً في إطار الدراسة؛ إذ كان مقياس ROUGE-L غير مفيد للأحداث الرئيسية الثلاثة، وارتبط مقياس BERTScore سلباً بالاكتمال بعد التصحيح للمقارنات المتعددة، كما تغيّرت إشارة المقيّم المعتمد على نموذج لغة كبير عام.

يُذكر أن نسخة "أركايف" هي مسودة بحثية وليست مقالاً منشوراً في مجلة محكمة. وتفيد البيانات الواردة بأن العمل قُبل في ورشة عمل LT4CPR ضمن مؤتمر AACL-IJCNLP 2026، ولا تقدم المواد المتاحة أي نتائج نشر تشغيلي أو إصدار متابعة محدد التاريخ.

المصدر: مسودة بحثية على منصة أركايف (arXiv)، 13 أكتوبر 2026