خوارزمية SGQN تتصدر 4 من أصل 8 مهام في التحكم المستمر

تصدرت شبكات "كيو" الانتقائية المتنامية (SGQN) أربعاً من أصل ثماني مهام ضمن حزمة "ديب مايند كونترول سويت" (DeepMind Control Suite)، وفقاً لدراسة أولية نُشرت على منصة arXiv في 14 أكتوبر وقدمها بارهام نوارنبخت، وسيد مهدي بصيري آزاد، ويوشكا بوديكر.

وتمنح هذه النتيجة أسلوب التعلم "كيو" القائم على القيمة، وهو منهج للتعلم المعزز يقدّر عوائد الإجراءات، حضوراً تنافسياً في مسائل التحكم المستمر؛ إذ جاءت خوارزمية SGQN بفارق لا يتجاوز 1.1% عن أفضل طريقة في ثلاث مهام إضافية، وفقاً للدراسة.

وتحافظ SGQN على أسلوب التعلم "كيو" المنفصل، لكنها تغيّر طريقة تمثيل الإجراءات المحتملة. فبدلاً من توسيع نطاق كل فئة إجراءات بشكل متماثل، تضيف الخوارزمية فئات بالقرب من قيم "كيو" التقديرية المرتفعة، وتقلم الفئات ذات القيمة المنخفضة، كما تستخدم خيار إبسيلون-الجشع، الذي يختبر عادةً إجراءات عشوائية باحتمالية ضئيلة.

وكتب المؤلفون أن خوارزمية SGQN استخدمت في المتوسط 7.5 من أصل 9 فئات متاحة لكل بُعد من أبعاد الإجراءات عبر مهام تتراوح أبعادها بين 2 و12 بُعداً. وكتبوا في الدراسة الأولية: "نقدم SGQN كطريقة تنافسية قائمة على القيمة، وكتدقيق تحليلي يحدد أي مكونات شبكة الإجراءات المتنامية تُعد ذات أهمية فعلية".

وتحول عملية تقطيع الإجراءات الأمر المستمر إلى مجموعة من الفئات القابلة للاختيار. وتكمن المفاضلة هنا في أن الشبكة التقريبية يمكن أن تساعد في البحث المبكر، بينما يمكن لشبكة أكثر دقة أن تعزز الدقة لاحقاً. وتعتمد شبكات "كيو" المتنامية هذه الفكرة عبر الانتقال من الدقة التقريبية إلى الدقة العالية بشكل موحد.

ويتمثل التحفظ الأساسي في الورقة البحثية في أن الشبكة التكيفية لم تكن التفسير الذي استطاع المؤلفون إثباته؛ إذ أدى النمو إلى تنشيط كل فئة مرشحة وعمل بصورة مماثلة للنمو المتماثل، بينما لم يؤدِ إلغاء التقليم إلى تغيير العائد النهائي بأكثر من 1.1%، وفقاً للدراسة الأولية.

وكان لخيارين تصميميين آخرين تأثير أكبر في اختبارات المؤلفين؛ إذ أدى البدء بجميع الفئات التسع إلى انهيار البذور، في حين أدى استبدال اختيار إبسيلون-الجشع بقاعدة "سوفت ماكس المخففة" — وهي قاعدة إجراءات مرجحة بالاحتمالات — إلى انخفاض العوائد بنسبة تتراوح بين 23% و100%.

كما تترك المقارنة عاملاً مربكاً لم يضبطه المؤلفون؛ حيث استخدمت SGQN تحديثاً تدرجياً واحداً لكل خطوة بيئية، مقارنة بتحديث واحد كل ثماني خطوات في النماذج الأساسية GQN وDecQN، ولذلك لا تُرجع الورقة تفوق الخوارزمية إلى آلية بعينها.

وتقع الورقة البحثية في 19 صفحة وتضم 6 أشكال و6 جداول، وتشير منصة arXiv إلى أنها قيد المراجعة لدى دورية "ترانزاكشنز أون ماشين ليرنينغ ريسيرش". وباعتبارها ورقة أولية على arXiv، فإنها لم تخضع بعد لمراجعة الأقران.

المصدر: دراسة أولية على arXiv، 14 أكتوبر 2026