تدقيق شامل يكشف: معظم دعاوى "الوعي بالمخاطر" في عملاء التعلم المعزز التوزيعي لا تصمد أمام الفحص

نتائج تهدم سردية قائمة

كشف تدقيق منهجي جديد لعملاء التعلم المعزز التوزيعي (Distributional Reinforcement Learning) أن أغلب الدعاوى البارزة حول قدرتها على "استيعاب المخاطر" تتهاوى فور تعريضها لفحص إحصائي صارم. الدراسة، المنشورة على أرشيف الأبحاث (arXiv)، فحصت عملاء من نوع QR-DQN وC51 وIQN مدرّبين على حزمة MinAtar، واكتشفت أن ما بين 40% و95% من أقوى الدعاوى المتعلقة بالمقايضة مع المخاطر (Risk Trade-offs) لم تصمد عند مستوى ثقة 95%.

يختلف التعلم المعزز التوزيعي عن نظيره التقليدي في نقطة جوهرية: فبدلاً من التنبؤ بقيمة عائد متوقعة واحدة، تبني هذه العملاء توزيعاً كاملاً للعوائد المحتملة. وغالباً ما يُسوَّق هذا الناتج الأغنى على أنه يمنح العميل حساً بالمخاطر، يتيح له التمييز بين الاستراتيجيات الآمنة القابلة للتنبؤ وتلك المتقلبة عالية التباين. الهدف من التدقيق كان اختبار ما إذا كان هذا الوعد صحيحاً بالفعل.

الوعد لا يصمد

النتيجة: لا، أو على الأقل ليس بشكل موثوق. تتبّع الباحثون ما يبدو كـ"حساسية للمخاطر" في هذه العملاء، فوجدوا أنها ترجع في حقيقتها إلى أثر تدريبي عارض (Training Artifact) لا إلى حساسية فعلية لعشوائية البيئة (Environment Stochasticity). واللافت أن هذا الأثر ظهر مكتمل التكوين في مراحل مبكرة جداً من التدريب، قبل أن تصل أداء العميل إلى مرحلة التقارب (Convergence)، ولم يكن له أي ارتباط بالنتيجة النهائية التي حققها العميل. بعبارة أخرى، يمكن لعميل أن يبدو "واعياً بالمخاطر" منذ اللحظات الأولى للتدريب، بصرف النظر عمّا إذا كان سيصبح جيداً في أداء المهمة أصلاً.

نتائج لعبة Breakout كانت الأكثر إثارة للقلق. فكل دعوى رئيسية تتعلق بعميل QR-DQN مُدرَّب مسبقاً وقريب من أفضل ما توصلت إليه الأبحاث (Near-State-of-the-Art)، سقطت بالكامل أمام المعيار الإحصائي للتدقيق. وتكمن الأهمية في أن Breakout كانت لسنوات طويلة بيئة العرض المفضّلة في أبحاث التعلم المعزز التوزيعي لإظهار سلوكيات دقيقة تجاه المخاطر.

ضوابط إيجابية تثبت مصداقية الأداة

للتأكد من أن منهجية التدقيق نفسها ليست متشددة بشكل مفرط، أجرى الفريق ضوابط إيجابية (Positive Controls) باستخدام تأثيرات ذات حجم معروف مسبقاً. وقد صمدت هذه الضوابط بشكل جيد، حيث تم تأكيد 96% إلى 100% من الدعاوى الحقيقية، بمعاملات ارتباط تراوحت بين 0.89 و0.92. وهذا يشير إلى أن التدقيق لا يرفض أي إشارة حقيقية بشكل عشوائي، بل يستهدف بدقة الدعاوى التي لا تنجو من اختبار إحصائي سليم.

إعادة الضبط: الإشارة التي لم تكن موجودة أصلاً

ولعل النتيجة الأكثر إحراجاً تتعلق بإعادة الضبط المعايري (Recalibration)، وهي حل شائع يُطبَّق عندما تكون مخرجات نموذج ما غير معايَرة بدقة. فحين أعاد الباحثون ضبط المخرجات المتعلقة بالمخاطر في هذه العملاء، لم تنجح الدعاوى في تجاوز التدقيق إلا حين أصبحت خالية من أي محتوى معلوماتي إحصائياً. أي أن الرأس المعاير (Recalibrated Head) لم يُصبح أكثر دقة فحسب، بل لم يتبقَّ له فعلياً ما يقوله بمعنى ذي دلالة. وهذا فرق جوهري: فالإشارة غير المعايَرة يمكن تصحيحها نظرياً، أما الإشارة التي تتحول إلى عدم دلالة عند تصحيحها فمن المرجح أنها لم تكن تحمل أصلاً المعلومة التي افتُرض أنها تحملها.

درس لمجال بأكمله

بالنسبة لمجال بحثي بنى سرديات علمية ومقارنات معيارية (Benchmarks) وتطبيقات متعلقة بالسلامة حول فكرة أن العملاء "تفهم" المخاطر، تأتي هذه النتائج كتذكير حاسم بضرورة الفصل بين غنى التوزيع الإحصائي ومعناه الفعلي. فالتنبؤ بشكل أكمل للعوائد المحتملة لا يعني بالضرورة أن العميل تعلّم شيئاً حقيقياً عن عدم اليقين الكامن في بيئته، ويشير هذا التدقيق إلى أن هذه الثغرة ظلت إلى حد كبير بلا رقابة تُذكر.