آلية “Continuum Attention” تخفض معدل خسارة التحقق NLL بمقدار 0.0200 ناتس لكل بايت

أفاد أفشين خادانجي بأن آلية "Continuum Attention" خفضت معدل احتمال السجل السلبي (NLL) للتحقق بمقدار 0.0200 ناتس لكل بايت مقارنة بدالة "سوفت ماكس" (softmax) الاعتيادية أثناء اختبارات التحقق، وذلك وفقاً لورقة أولية قُدمت إلى موقع arXiv في 14 أكتوبر.

وتكتسب ورقة خادانجي الأولية المؤرخة في 14 أكتوبر، والتي لم تخضع لمراجعة الأقران بعد، أهميتها نظراً لأن الانتباه يمثل ركيزة محورية في مفككات شفرات نماذج المحولات (Transformer decoders). ولا يذكر الملخص درجة NLL الأساسية، مما يحد من القدرة على تقييم حجم الأثر؛ كما كان التحسن المسجل مقارنة بـ softmax أقل من الانخفاض البالغ 0.0480 ناتس لكل بايت المحقق أمام الانتباه البؤري (focal attention).

ويقيس احتمال السجل السلبي (NLL)، أو اللوغاريتم السلبي للاحتمالية، خسارة التنبؤ؛ حيث تعكس القيم الأدنى ملاءمة أفضل للنموذج مع بيانات التحقق. وذكرت الورقة الأولية أن آلية Continuum Attention تفوقت في جميع المقارنات المزدوجة أمام خطوط الأساس المقارنة لدالتي softmax الاعتيادية والانتباه البؤري.

وتغير هذه الطريقة الكيفية التي يقرأ بها مفكك الشفرة السياق المخزن؛ فبدلاً من استرجاع معلومات المفتاح والقيمة عند مواضع الرموز المنفصلة فقط، تصوغ Continuum Attention الذاكرة كمنحنى خطي مستمر وتدمج الملاءمة عبر ذلك المنحنى.

وأوضحت الورقة الأولية أن كل استعلام ينتج نمط ملاءمة أسياً فوق المنحنى، مشيرة إلى إمكانية حساب الانتباه المعياري بدقة باستخدام صيغ عزم أسية تحليلية، بما في ذلك الحدود الطرفية عند مواضع نصف الرمز.

وكتب خادانجي أنه يمكن اشتقاق التدرجات تحليلياً باستخدام عزوم لا تتجاوز الرتبة الثانية. وأشارت الورقة إلى أن هذه الخاصية تدعم التنفيذ المتوازي على وحدات معالجة الرسومات (GPU) مع الحفاظ على التعقيد التربيعي للتسلسل، مما يعني أن الحوسبة لا تزال تتزايد طردياً مع مربع طول التسلسل.

وأظهرت شريحة تحقق ثانية، منفصلة عن الأولى، تفوقاً بمقدار 0.0457 ناتس لكل بايت مقارنة بأقوى خط أساس تم اختياره لدالة softmax، وفقاً للورقة الأولية. وقال المؤلف إن المقارنة شملت مجال ثقة مزدوج بنسبة 95%، على الرغم من أن الملخص لم يورد حدود ذلك المجال.

ويتمثل التحفظ الرئيسي في مسألة النطاق؛ إذ ذكر الملخص أن البحث يترك "التعميم على نطاق أوسع مسألة مفتوحة"، مما يعني أن المكاسب المسجلة لا تحدد كيفية أداء المشغّل في النماذج الأكبر حجماً، أو السياقات الأطول، أو أطر التدريب التشغيلية للإنتاج.

وأُدرجت الورقة على موقع arXiv تحت تصنيفي تعلّم الآلة والذكاء الاصطناعي، مع معرف كائن رقمي (DOI) صادر عن arXiv ومصنف بأنه قيد التسجيل.

المصدر: ورقة أولية على arXiv، موقع arXiv، 14 أكتوبر 2026