“FuTransformer” يقلص زمن خطوة فك تشفير “Llama” إلى 2.8 ميلي ثانية على معالجات “H100”

حقق نموذج "FuTransformer" فك تشفير كاملاً لنموذج "Llama-3.1-8B" بمعدل 2.8 ميلي ثانية لكل خطوة عند حجم دفعة يبلغ واحداً على وحدة معالجة رسومات واحدة من طراز "Nvidia H100"، وذلك وفقاً لاختبارات وردت في مسودة بحثية نُشرت على موقع "arXiv" في 16 أكتوبر من إعداد وي وانغ.

وأفادت المسودة البحثية المؤرخة في 16 أكتوبر، والتي لم تخضع بعد لمراجعة الأقران، بتسجيل 8.1 ميلي ثانية لتطبيق "transformers" البرمجي المُجمّع، ما يجعل "FuTransformer" أسرع بنحو 2.9 مرة وفق هذا المقياس، بحسب حسابات "Atlas360".

ويستهدف هذا العمل عنق زجاجة رئيسياً في عمليات الاستدلال الخاصة بنماذج "Llama". إذ تُعيد مرحلة التعبئة المسبقة، وهي المرحلة التي تعالج رموز المطالبة، استخدام الأوزان عبر الرموز وتعتمد بشكل رئيسي على ضرب المصفوفات ونقل بيانات التنشيط. في المقابل، تشهد مرحلة فك تشفير الرمز الفردي إعادة استخدام أقل، وتعتمد بصورة أكبر على قراءات الأوزان وذاكرة التخزين المؤقت للمفاتيح والقيم (KV-cache).

ويُعد "FuTransformer" تطبيقاً برمجياً مبنياً بتقنية "CUDA" لكتلة "Transformer" مخصصة لوحدات معالجة الرسومات من معمارية "Nvidia Hopper". وتُمثل "CUDA" منصة البرمجة الخاصة بشركة "Nvidia"، بينما تخزن ذاكرة التخزين المؤقت للمفاتيح والقيم مفاتيح وقيم آلية الانتباه المستخدمة أثناء عملية التوليد.

ويستخدم التطبيق صيغة الفاصلة العائمة 8 بت (FP8) لمرحلة التعبئة المسبقة، وصيغة الأعداد الصحيحة 4 بت (INT4) لأوزان إسقاط فك التشفير ونسخة من ذاكرة التخزين المؤقت للمفاتيح والقيم. كما يقوم بدمج كسب معيار "RMSNorm" الثابت في الأوزان، وكتابة مخرجات "FP8" مباشرة مع قياس مؤجل، إلى جانب دعم التعبئة المسبقة دون حشو.

وعلى وحدة "H100" واحدة، بلغت سرعة التعبئة المسبقة 1.29 بيتا فلوبس في الثانية، وكانت أسرع بما يصل إلى 1.48 مرة مقارنة بصيغة "PyTorch FP8" المُجمّعة. وكان مسار "FP8" الخاص به أسرع بمقدار 2.02 إلى 2.18 مرة مقارنة بمسار "BF16 CODA" الذي تم تقييمه، في حين كان مسار "BF16" الخاص به لإسقاط البوابة/الرفع باستخدام "SwiGLU" عند حجم نموذج 8B أسرع بمقدار 1.13 مرة مقارنة بـ "CODA".

وفيما يتعلق بفك التشفير، كان "FuTransformer" أسرع بمقدار 1.3 إلى 2.4 مرة مقارنة بالكتلة الأسرع في "PyTorch" سواء بصيغة "BF16" أو "INT4" عبر حجمي 8B و70B عند أحجام دفعات تتراوح بين 1 و32. ويغطي نطاق هذا الاختبار القياسي فارقاً يقارب تسعة أضعاف بين حجمي 8B و70B، وفقاً لحسابات "Atlas360".

وأظهرت نتائج فك التشفير أيضاً أن "FuTransformer" كان أسرع بمقدار 2.1 إلى 3.3 مرة مقارنة بصيغة "PyTorch BF16" المُجمّعة والمبنية على مخططات "CUDA"، وأسرع بمقدار 1.3 إلى 6.3 مرة مقارنة بالكتلة نفسها باستخدام نواة إسقاط "INT4" من "PyTorch". كما كان أسرع بنسبة 31% إلى 51% مقارنة بمسار "FP8" الخاص بـ "FuTransformer".

ويقوم التطبيق بترتيب الأوزان والمفاتيح في تخطيطات أجزاء نوى التنسور (Tensor Core)، مما يتيح إلغاء التكميم المباشر إلى معاملات ضرب المصفوفات دون الحاجة إلى بلاطات وسيطة كاملة. كما يُستخدم تحويل هادامارد القطري للكتل لتقليل خطأ تكميم ذاكرة التخزين المؤقت للمفاتيح والقيم الناتج عن القنوات الشاذة.

وجاءت مكاسب السرعة مصحوبة بمفاضلة على صعيد الدقة في الاختبار القياسي المذكور. فقد أدى فك تشفير كل رمز في "WikiText-2" عبر مسار أوزان "INT4" إلى زيادة معدل الحيرة، حيث تكون القيمة الأقل هي الأفضل، من 6.24 إلى 7.23 باستخدام أوزان التقريب إلى الأقرب، أو إلى 6.99 باستخدام "GPTQ" بالصيغة نفسها؛ كما أضافت ذاكرة التخزين المؤقت "INT4" المُدارة 0.20.

وتطابقت النوى مع حسابات مرجعية مُكمّمة ضمن فارق حيرة بلغ 0.001. وتغطي النتائج المعلنة وحدة معالجة "H100" واحدة، وحجمي 8B و70B، وأحجام دفعات من 1 إلى 32، مما يترك الأداء الأوسع على مستوى النظام خارج نطاق الأرقام المقدمة.

المصدر: مسودة بحثية على arXiv، موقع arXiv، 16 أكتوبر 2026