دراسة بحثية على موقع arXiv تفيد بعدم تفوق نماذج اللغات الكبيرة على البشر في 'لعبة ويكيبيديا'

يعتقد الكثيرون أن نماذج اللغات الكبيرة المتقدمة ستتصفح البيانات المؤسسية الضخمة بسلاسة، مما يلغي الحاجة إلى الفهرسة التقليدية وصيانة الرسم البياني للبيانات. ومع ذلك، يقدم بحث جديد يقارن بين نماذج اللغات الكبيرة والبشر في مهمة معقدة لاسترجاع المعلومات رواية مختلفة. ورغم قوة هذه النماذج، إلا أنها تظهر أن التكلفة الحوسبية الفعلية لـ 'الاستدلال' عبر الرسوم البيانية للبيانات يمكن أن تتجاوز سريعاً الفوائد المتوقعة.

تعد هذه الورقة البحثية تحذيراً للمسؤولين التنفيذيين الذين يفكرون في اعتماد أنظمة بحث تعتمد بكثافة على الاستدلال لمجموعات المستندات الداخلية الكبيرة. ولم يتحدث أي شخص في الحزمة المبلغ عنها بشكل رسمي، كما لم تُمَس أي أطراف خارجية للاستشارة.

المعيار يجهد عمليات الاستدلال الطويلة

المهمة ملموسة؛ ففي 'لعبة ويكيبيديا'، يجب على اللاعب الوصول إلى المقالة المستهدفة باستخدام الروابط الموجودة في المقالات فقط. وتستخدم الدراسة غير المحكمة هذا النسق كنموذج مماثل لاسترجاع المعلومات عبر مجموعات بيانات أكبر من أن يتم فهرستها، لا سيما عندما يتطلب المسار معرفة لغوية أو علمية متخصصة.

قارن المؤلفون بين نماذج تضمين الجمل ونماذج اللغات الكبيرة عبر خمس لغات في ويكيبيديا وخمس مجموعات بيانات للأدبيات الأكاديمية، ثم قاموا ببناء رسوم بيانية محلية لصفحات ويكيبيديا واستشهادات الأوراق البحثية باستخدام OpenAlex. وتذكر الدراسة أن هذا الإعداد يتيح دراسة التصفح دون الاعتماد على واجهات برمجة التطبيقات التابعة لأطراف خارجية، وهو أمر مهم لأن الاسترجاع عبر واجهات البرمجة يمكن أن يخفي خيارات الرسم البياني والتصنيف والتخزين المؤقت التي تدفع الشركات لاحقاً تكاليف لإعادة إنتاجها.

المقياس الرئيسي لا يشكل فوزاً لنماذج الاستدلال الرائدة. حيث يذكر ملخص دراسة arXiv أن «أي نموذج لم يتفوق بشكل ملحوظ على البشر، على الرغم من أن أفضل النماذج (GPT-o3 mini وGPT-4o وQwQ:32B وDeepSeek-R1:70B) حققت نجاحاً مقارباً». ويُقاس ذلك بمقارنته بالمعايير البشرية ومعايير TF-IDF، وليس بمواجهة بنية بحث مؤسسية تشغيلية مزودة بأذونات مضبوطة وقواعد تحديث وحوكمة للمخططات.

ولا يذكر الملخص المقدم العتاد المادي المستخدم، أو عدد استدعاءات النموذج لكل لعبة، أو ميزانية الرموز وراء كل تشغيل. لكنه يذكر أن الأداء والترتيب تباعدا عبر اللغات والمواضيع، وهو قيد ملموس لأي مشتري يأمل في أن يتعمم نموذج استدلال واحد بنجاح عبر الأرشيفات القانونية أو الهندسية أو العلمية أو السياساتية متعددة اللغات.

البند المفقود هو إنفاق التشغيل والخدمة

القراءة الشائعة في عمليات الشراء هي أن نماذج الاستدلال الأفضل ستسمح للشركات بتخطي بعض الأعمال الروتينية المتعلقة بتنظيم المستندات، ورسم خرائط الروابط، وصيانة الرسم البياني. وتتعارض هذه الورقة مع تلك القراءة، ولكن ليس لأنها تثبت أن البحث القديم أفضل دائماً.

بل تظهر شيئاً أكثر تخصصاً وفائدة: فعندما تكون المهمة هي تصفح الرسم البياني، لم تصل أفضل النماذج المدرجة إلا إلى نجاح مقارب للبشر، في حين كان على الدراسة إنشاء رسوم بيانية محلية ضخمة جداً لجعل المقارنة ممكّنة.

وبالتالي، فإن الجزء المكلف في التطبيق المؤسسي ليس النموذج فحسب، بل هو المزيج بين استدعاءات الاستدلال المتكررة وأعمال الرسم البياني الأساسية التي كان من المفترض أن يقلل النموذج الحاجة إليها.

هذه هي مخاطرة الحوسبة. إذ يمكن للرئيس التنفيذي للتكنولوجيا شراء صلاحية الوصول إلى GPT-o3 mini أو GPT-4o أو QwQ:32B أو DeepSeek-R1:70B، لكن ملخص arXiv لا يقدم أي مقارنة صريحة لتكلفة الاستعلام بالدولار بين تلك النماذج والنظام التقليدي المفهرس أو المدعوم بالرسم البياني. كما أنه لا يوضح ما إذا كانت أفضل النماذج تتطلب محاولات أكثر، أو مسارات استدلال أطول، أو سياقاً مسترجعاً أكبر مقارنة بنماذج تضمين الجمل أو معايير TF-IDF.

وإذا كان النجاح المقارب يتطلب إنفاقاً تشغيلياً مكرراً أعلى، فإن الجدوى الاقتصادية للاسترجاع القائم على الاستدلال تضعف حتى عندما يبدو جانب الدقة محترماً. وإغفال الدراسة لهذه النقطة يترك فرق الشراء أمام السؤال الدقيق الذي يفضل الموردون تأجيله: ما الذي تم قياسه لكل مسار ناجح، وليس فقط لكل تشغيل معياري.

التكافؤ مع البشر لا يعني التكافؤ في المشتريات

هناك قراءة مضادة منصفة؛ فـ 'لعبة ويكيبيديا' ليست مسار عمل للمستندات المؤسسية، والدراسة غير خاضعة لمراجعة الأقران. والنموذج الذي يفشل في التفوق بشكل ملحوظ على البشر في تصفح روابط المقالات قد يستمر في مساعدة الموظفين على البحث في المستودعات المؤسسية غير المنظمة عندما يقترن بأذونات وبيانات وصفية وملخصات وتصنيف متخصص بكل مجال.

كما يقدم المؤلفون شفرة برمجية لبناء الرسوم البيانية وتصفحها، وفقاً لملخص المصدر، وهو ما قد يساعد الباحثين الآخرين في اختبار ما إذا كانت النتيجة قابلة لإعادة الإنتاج. ووجهة نظر المشككين هي أنه لا ينبغي قراءة هذه الورقة كحكم ضد استرجاع المعلومات عبر نماذج اللغات الكبيرة، بل يجب قراءتها كحالة حدية لنوع واحد من مهام التصفح متعدد الخطوات.

الاختبار الأقرب لعمليات الشراء هو ما إذا كان المشترون في المؤسسات سيبدأون في المطالبة بأدلة تفصل بين جودة الإجابة وتكلفة المسار. والمؤشرات القابلة للملاحظة واضحة: مورّدو السحاب ينشرون دراسات حالة للاسترجاع تتضمن ميزانيات استدعاء النماذج إلى جانب معدلات النجاح؛ ومعدّو المعايير يبلغون عن العتاد المادي وميزانيات الرموز جنباً إلى جنب مع المقارنات البشرية ومقارنات TF-IDF؛ ومورّدو أدوات البحث يبقون على بناء الرسوم البيانية والفهرسة المسبقة ضمن متطلبات الإنتاج بدلاً من استبدالها بالاستدلال الحر؛ والعملاء يطلبون تحليلاً للإخفاقات لغةً بلغة قبل تجديد نشر أدوات البحث الشاملة.

نتيجة الورقة نفسها تبقي العبء على المشتري: فالأداء المقارب لا يعني الحصول على نموذج تشغيلي أرخص، خاصة عندما تتفاوت التصنيفات عبر اللغات والمواضيع.