طريقة “DualQuant” قد تخفض استهلاك نماذج اللغات الكبيرة للذاكرة بمقدار 2.61 ضعفاً

قدّم مهسا سلماني وسايه شريفي وهشام مصطفى مسودة بحثية عبر خادم "arXiv" في 9 أكتوبر تصف طريقة "DualQuant"، وهي تقنية لتكميم نماذج اللغات الكبيرة بعرض 4 بت تُسجل إنتاجية أعلى تصل إلى 2.46 ضعفاً مقارنة بنسق "BF16".

وذكرت المسودة البحثية المؤرخة في 9 أكتوبر أن طريقة "DualQuant" حققت أيضاً خفضاً في استهلاك الذاكرة يصل إلى 2.61 ضعفاً في مسار استدلال مضغوط بتنسيق W4A4 لنموذج "Llama-3.1-8B" على وحدة المعالجة "RTX 4090"، مقارنة بنسق "BF16"، وهو نسق عددي بعرض 16 بت.

ويعالج هذا العمل حداً عملياً في الاستدلال منخفض البتات لنماذج اللغات الكبيرة. وقال الباحثون إن مسرعات الذكاء الاصطناعي التي يمكنها تشغيل أشكال 4 بت مباشرة تحتاج إلى تكميم كل من الأوزان (معلمات النموذج المخزنة) والتنشيطات (القيم الوسيطة الناتجة أثناء الاستدلال) للاستفادة الكاملة من الميزة السرعية.

ويتمثل الادعاء الرئيسي للمسودة في أن طريقة "DualQuant" يمكنها ضغط كلا الجزأين دون الحاجة إلى بيانات المعايرة. وتُقصد ببيانات المعايرة المدخلات التمثيلية المستخدمة قبل النشر لاختيار قيم التقييس للتكميم، وقال الباحثون إن تكميم التنشيط يعتمد عادةً على هذه الخطوة.

وكتب الباحثون أن طريقة "DualQuant" "تطابق أو تتجاوز دقة طريقة SmoothQuant القائمة على المعايرة عبر معظم النماذج والأنساق" في اختبارات شملت نماذج "Llama" و"Qwen". وقاموا بتقييم الطريقة على مجموعات بيانات "WikiText-2" و"C4" ومهام التنبؤ دون أمثلة مسبقة (zero-shot)، حيث يُختبر النموذج دون تقديم أمثلة خاصة بالمهام.

وتبدأ "DualQuant" من متوسط مربع الخطأ لإعادة بناء الأوزان، وهو مقياس للفجوة بين الأوزان الأصلية والمكممة. وقال الباحثون إن عوامل التقييس التي تقلل ذلك الخطأ توفر أيضاً إعادة تقييس فعالة لكل قناة للتنشيطات قبل تكميم تلك التنشيطات.

وتصف الورقة عملية التحسين بأنها غير قابلة للاشتقاق، وتستخدم تقسيم المتغيرات مع الهبوط المنسق للكتل، وهي تقنيات تقسم المشكلة إلى خطوات تحديث أصغر. وقال الباحثون إن كل مشكلة فرعية تحتوي على تحديث بصيغة مغلقة، مما يعني أنه يمكن حساب الإجابة مباشرة بدلاً من البحث الطويل.

وذكرت المسودة أن "DualQuant" تدعم عدة أشكال منخفضة البتات، بما في ذلك عائلة "MX" الكاملة ونسق "NVFP4". وقال الباحثون إنها، حسب علمهم، أول طريقة تقييس مزدوج تدعم رسمياً أنساق كتل "MX" و"NV".

ويتجاوز التحقق من الأجهزة التكميم المحاكى أو "الوهمي"، وفقاً للباحثين. وقالوا إن التنفيذ الحقيقي المضغوط بتنسيق W4A4 لنموذج "Llama-3.1-8B" على وحدة "RTX 4090" تطابق عن قرب مع دقة التكميم الوهمي مع تحقيق التحسينات المذكورة في الذاكرة والإنتاجية مقارنة بنسق "BF16".

وقُدمت الورقة كإصدار أول في 9 أكتوبر عند الساعة 15:51:38 بالتوقيت العالمي المنسق، وهي مدرجة في خادم "arXiv" ضمن قسم تعلم الآلة والذكاء الاصطناعي. وتسمي صفحة "arXiv" سلماني ككاتب مُقدِّم للورقة، وتظهر معرّف كائن رقمي (DOI) صادراً عن "arXiv" بانتظار التسجيل.

ولا تزال الأدلة أولية؛ فالورقة لم تخضع بعد لمراجعة الأقران، ويلخص المستخلص اختبار W4A4 المضغوط الحقيقي على نموذج واحد محدد هو "Llama-3.1-8B"، وإعداد مسرع واحد محدد هو "RTX 4090".

بالنسبة لفرق البنية التحتية للذكاء الاصطناعي، تشير النتيجة إلى مسار محتمل لتقليل متطلبات ذاكرة الاستدلال وتحسين الإنتاجية على الأجهزة القادرة على معالجة 4 بت دون الحاجة إلى صيانة مجموعات بيانات المعايرة. ولا تُظهر المسودة ما إذا كانت المكاسب نفسها تتحقق عبر النماذج الأكبر أو المسرعات الأخرى أو أنماط حركة المرور في بيئات الإنتاج.

المصدر: مسودة arXiv البحثية، arXiv،‏ 9 أكتوبر 2026