SemiCat يحقق دقة 49.94% على اختبار TinyGSM في مسودة بحثية حول الذكاء الاصطناعي

اقترح أوسكار ديفيس وسبعة مؤلفين مشاركين نموذج SemiCat، وهو تصميم لنموذج لغة قائم على الانتشار المستمر حقق دقة بلغت 49.94% على مقياس TinyGSM، وذلك في مسودة بحثية نُشرت على موقع arXiv يوم الجمعة 9 أكتوبر.

وتكتسب هذه المسودة البحثية أهميتها كونها تستهدف تحقيق التوازن بين التكلفة والأداء في توليد النصوص غير التراجعي الذاتي؛ إذ حسّن نموذج DoubleCat دقة TinyGSM بأكثر من ثلاثة أضعاف دون الحاجة إلى التمرير الأمامي الإضافي.

ويؤطر المؤلفون نماذج لغة الانتشار المستمر (CDLMs) على أنها محاولة لإنشاء نمذجة تدفق مستمر للغة، مع مزايا محتملة تشمل أخذ العينات بشكل أسرع والتوليد الخاضع للتحكم. ويذكرون أن قدرات نماذج لغة الانتشار المستمر بدأت تنافس الانتشار المنفصل، في حين تظل خيارات التدريب أقل فهمًا مقارنة بانتشار الصور أو الفيديو.

وتدرس الورقة البحثية خيارين: التكييف الذاتي وهندسة التضمين. ويقصد بالتكييف الذاتي تزويد النموذج بتنبؤاته المتوسطة الخاصة أثناء التدريب، وهي طريقة يعزو إليها المؤلفون تقليل عدم التوافق بين حالات التدريب وحالات الاستنتاج.

وقدم المؤلفون نموذج DoubleCat، وهو وسيط استكمال ثنائي المستوى، لاستعادة مكاسب التكييف الذاتي دون إضافة تمرير أمامي آخر. وفي أنظمة التعلم العميق، تضيف كل عملية تمرير أمامي تكلفة حسابية، لذا فإن الاستغناء عن إحداها يكتسب أهمية إذا جرى توسيع نطاق الطريقة.

ويضيف نموذج SemiCat كشفًا منفصلاً إلى DoubleCat، ليعالج بشكل مباشر ما يطلق عليه المؤلفون قابلية تحديد الرموز، حيث يمكن لضوضاء غاوس ذات المعيار الكبير أن تحجب الرمز الذي يتعين على النموذج التعرف عليه. ومع المعلمات الفائقة القياسية للتدريب وأداة أخذ عينات محسّنة، حقق SemiCat دقة 49.94% على TinyGSM، وفقًا للمسودة البحثية.

وعند نطاق 1.7 مليار معلمة، ذكر المؤلفون أن SemiCat تفوق على الانتشار المنفصل في أربعة من أصل ستة تقييمات قائمة على الاحتمالية، كما تفوق على تدفقات الترميز الأُحادي في التوليد غير المشروط. وتمثل تدفقات الترميز الأُحادي الرموز بمتجهات متباعدة؛ بينما يقيم التوليد غير المشروط النصوص المنتجة دون تحديد موجه في الملخص المقدم.

وتعد نتيجة التضمين أكثر ضيقًا لكنها ذات صلة بتصميم النموذج. فقد وجد المؤلفون أن الإنتلابية المتقاطعة، وهي دالة خسارة تدريب شائعة، تدفع التضمينات نحو شكل يتبع فيه خطأ فك التشفير عن كثب تمثيلات الترميز الأُحادي. ويمتد ذلك ليشير إلى أن بعض مزايا هندسة الترميز الأُحادي قد تظهر من خلال التدريب بدلاً من تطلب تصميم ثابت.

وتذكر المسودة البحثية أيضًا أن المؤلفين فحصوا بإيجاز عمليات التلف الهجينة وجداول الضوضاء، بما في ذلك الجداول غير المتزامنة. وتحدد عمليات التلف كيفية إدخال الضوضاء على البيانات أثناء التدريب، بينما تحدد جداول الضوضاء كيفية تغير هذه الضوضاء عبر خطوات النموذج.

ويتمثل التحفظ الرئيسي في الجانب الأدلي؛ إذ تُعد مخطوطة arXiv نسخة أولية لم تخضع بعد للمراجعة من قبل الأقران، ولا توفر المواد المقدمة تكرارًا مستقلًا للنتائج، أو جداول معايير كاملة، أو تكلفة التدريب، أو تفاصيل أداة أخذ العينات، أو اختبارات الإنتاج.

وبالنسبة لشركات الذكاء الاصطناعي ومختبرات الأبحاث، تظل النتيجة ذات صلة فقط إذا ثبت نجاح التصميم الأقل تكلفة لما هو أبعد من TinyGSM والتقييمات المذكورة في الملخص. وتتمثل المسألة التجارية فيما إذا كان بإمكان نماذج لغة الانتشار المستمر خفض تكلفة الاستنتاج أو تحسين التحكم دون التضحية بالموثوقية المرتبطة ببنيات نماذج اللغة الواسعة الاستخدام.

وقُدمت الورقة البحثية تحت الرقم arXiv:2610.13834v1 في قسم علوم الحاسوب - التعلم الآلي، بمشاركة المؤلفين أوسكار ديفيس، ودان روس، وأليس بيزول، وأميتيس شيداني، وفيكتور توريسي، ولويس بيثون، وبيير أبلين، وماركو كوتوري.

المصدر: مسودة arXiv البحثية، 9 أكتوبر 2026