تقنية تكميم AdamW بـ 4 بت قد تعيد توجيه الإنفاق على أجهزة الذكاء الاصطناعي نحو الذاكرة
تقترح مسودة بحثية منشورة على موقع arXiv استراتيجيتي ZIP-SR وZE-EDEN لتكميم حالة مُحسِّن AdamW بـ 4 بت.
Edward Mullen ·
تكميم AdamW بـ 4 بت قد يعيد توجيه الإنفاق على أجهزة الذكاء الاصطناعي نحو الذاكرة
تشير مسودة بحثية (تاريخ الاستلام 9 أكتوبر 2026) من موقع arxiv.org إلى أن تكميم AdamW بـ 4 بت قد يقلب موازين النفقات الرأسمالية والتشغيلية من خلال تقليص الذاكرة وعمليات الإدخال والإخراج، وذلك بناءً على تجارب أجريت على نماذج تتراوح أحجامها بين 130 مليون و2.7 مليار معامل.
قد تكتسب نتائج هذه الورقة أهمية بالغة الآن إذا ما أدت النهج التي تركز على الذاكرة وعمليات الإدخال والإخراج إلى إزاحة جزء من التوسع المكثف في وحدات معالجة الرسومات (GPU)، مع تحقيق انخفاض بنسبة 70% في متوسط فجوة خسارة التحقق مقارنة بـ AdamW بـ 32 بت عبر الأحجام التي تم اختبارها.
هندسة مساحة التقريب
تتمحور الفكرة الأساسية حول مساحة التقريب، وهي الإحداثيات التي يستخدمها المُكمِّم للاختيار بين مستويات إعادة البناء. ويظهر تحليل محلي حول الصفر في العزم الثاني أن خطأ الحالة المتوسط الصغير لا يعني بالضرورة خطأً صغيراً في متوسط المُهيِّئ المسبق في الخطوة التالية. ويوضح بناء تربيعي أحادي البعد ديناميكيات متميزة تحت تقريب مساحة الحالة مقابل تقريب مساحة المُهيِّئ المسبق.
تم تقديم استراتيجيتي ZIP-SR وZE-EDEN كمسارين متكاملين: تحتفظ ZIP-SR بالصفر في دفتر رموز العزم الثاني وتكيف احتمالات التقريب في مساحة المُهيِّئ المسبق، بينما تستخدم ZE-EDEN دفتر رموز للعزم الثاني يستبعد الصفر وتعيد قياس كتلة العزم الثاني لتخفيف تشوه الأرضية. وفي كلا التكوينين، يُستخدم "العدد العائم الطبيعي" (NF4) بـ 4 بت للعزم الأول، مع تقريب احتمالي مستهدف للعزم الأول لرأس نموذج اللغة (LM-head) خلال الـ 10% الأخيرة من التدريب.
"تحتفظ ZIP-SR عمداً بالصفر في دفتر رموز العزم الثاني وتكيف احتمالات التقريب في مساحة المُهيِّئ المسبق." — مسودة بحثية على arXiv
ويضيف المؤلفون أن ZE-EDEN تستبعد الصفر وتعيد القياس لتخفيف التشوه الناجم عن أرضية تكميم موجبة، وأن كلتا الوصفتين تستخدمان NF4 بـ 4 بت للعزم الأول، مع تقريب العزم الأول لرأس نموذج اللغة في الـ 10% الأخيرة من التدريب.
الآثار الاقتصادية
النفقات الرأسمالية، والنفقات التشغيلية، وقائمة الأجهزة: تبرز السردية التي تركز على الأداء في الورقة كفاءة الذاكرة وعمليات الإدخال والإخراج كأداة لتوسيع نطاق الذكاء الاصطناعي دون استنزاف متناسب للطاقة أو المساحة.
إذا تعممت المكاسب المبلغ عنها، فقد ينتقل جزء من التركيز التقليدي للنفقات الرأسمالية على أعداد وحدات معالجة الرسومات نحو تحسين عرض نطاق الذاكرة والربط البيني - مثل بطاقات واجهة الشبكة (NICs) الجديدة، ومكدسات الذاكرة الأسرع، ووحدات الذاكرة الأكثر كثافة - مما يحول حسابات الشراء من تعظيم عمليات الفاصلة العائمة في الثانية (FLOPS) إلى تحسين حركة البيانات وكفاءة التخزين. ومن الناحية النظرية، يعد هذا قلباً لمعادلة النفقات الرأسمالية والتشغيلية: حيث يصبح جزء أكبر من الإنفاق موجهاً نحو بنية الذاكرة المتخصصة وتكاملها، بدلاً من مجرد إضافة المزيد من وحدات معالجة الرسومات.
ومع ذلك، لم يصل المؤلفون إلى نموذج اقتصادي كامل في العالم الحقيقي؛ فالنتائج المذكورة تأتي من تجارب تدريب أولية خاضعة للرقابة ولا تحدد كمياً إجمالي تكاليف الأجهزة، أو طاقة مركز البيانات، أو آثار التبريد في عمليات النشر الإنتاجية.
وبعيداً عن اقتصاديات المجال، تغفل المصادر نقطة جوهرية: كيف ستستجيب استراتيجيات الشراء لمسار يركز على التكميم. ولا تحدد الدراسة تكلفة دمج ZIP-SR أو ZE-EDEN في الأدوات الحالية، كما أنها لا تربط التأثيرات بخارطات طريق البائعين، أو عرض نطاق الذاكرة على مستوى الرقاقة، أو ابتكارات الربط البيني.
وبعبارة أخرى، يجب على القارئ التعامل مع قصة النفقات الرأسمالية والتشغيلية كتوجه محتمل وليس كتوقعات نهائية. يعتمد الانتقال من التجربة إلى المؤسسة على ما إذا كان بائعو الأجهزة التي تركز على الذاكرة سيتبنون مسارات عمل واعية بمساحة التقريب، وما إذا كان المشغلون الكبار مستعدين لتجربة مُحسِّنات مُكمَّمة على نطاق واسع.
ما الذي يجب على المسؤولين التنفيذيين مراقبته تالياً وكيفية تثبيت تجربة عملية إذا استمر هذا الاتجاه، فقد تكشف التجارب المنضبطة عما إذا كانت وصفات التكميم هذه قابلة للتوسع إلى ما هو أبعد من الأحجام وأعباء العمل التي تم اختبارها. في الأشهر الـ 6 إلى 12 القادمة، ابحث عن ثلاث إشارات قابلة للملاحظة: أولاً، أي تحول في رسائل البائعين أو خارطات طريق المنتجات نحو تحسين الذاكرة والربط البيني لأعباء عمل الذكاء الاصطناعي؛ ثانياً، تقارير العملاء الأوائل حول الاستقرار وتأثيرات وقت التدريب عند تفعيل مسارات المُحسِّن المُكمَّم؛ وثالثاً، مناقشات الأرباح من شركات الحوسبة السحابية الكبرى التي تظهر أن اعتبارات عرض نطاق الذاكرة وعمليات الإدخال والإخراج أصبحت بنداً متزايد الأهمية مقارنة بأعداد وحدات معالجة الرسومات البحتة. ستكون جميع هذه المؤشرات الثلاثة دلالات ذات مغزى على إعادة تخصيص أوسع للنفقات الرأسمالية والتشغيلية حول اقتصاديات تدريب الذكاء الاصطناعي.
بالنسبة لقادة الهندسة والمشتريات، فإن الإجراء ملموس: إجراء تجارب داخلية لتحديد تأثيرات الذاكرة وعرض النطاق ووقت التدريب لتكوينات AdamW بـ 4 بت على أعباء العمل التمثيلية، مع تتبع دقيق للتقارب والاستقرار ومقاييس التحقق. تدعو هندسة التكميم التي سلطت الضوء عليها ZIP-SR وZE-EDEN إلى برنامج اختبار أوسع - يقيس ليس فقط الدقة الشاملة ولكن أيضاً تكاليف مستوى البيانات لنشر المُحسِّنات المُقربة في الإنتاج.
إذا رأى المسؤولون التنفيذيون مقايضات مواتية، فإن الطريق إلى استراتيجية أجهزة تركز أكثر على الذاكرة يصبح ملموساً.