DROPJ: حين يضع التفكير البشري في قلب تدريب الوكلاء الآمنين

تطرح ورقة بحثية جديدة منهجية تحمل اسم "DROPJ"، مصممة لتدريب ونشر سياسات الوكلاء (Agent Policies) في البيئات الحرجة أمنيًا، حيث لا توجد دالة مكافأة (Reward Function) واضحة، وتبقى ديناميكيات البيئة نفسها مجهولة. هذا المزيج من القيود يصف بدقة الكثير من تطبيقات الروبوتات والأنظمة المستقلة (Autonomous Systems) في العالم الحقيقي، وهو بالضبط السياق الذي يتعثر فيه التعلم المعزز (Reinforcement Learning) التقليدي.

نُشرت الورقة على أرشيف "arXiv" برقم تعريفي 2607.13172 في 14 يوليو 2026، وهي نسخة موسعة من 42 صفحة لعمل قُدّم أصلًا في مؤتمر "ICAART 2026"، تتضمن 18 رسمًا بيانيًا وتجارب حقيقية مع مستخدمين بدلًا من الاعتماد الكامل على معايير قياس افتراضية (Synthetic Benchmarks). هذا التفصيل مهم: كثير من الأبحاث المتخصصة في التعلم المعزز الآمن تعتمد فقط على التقييم في المحاكاة، بينما اختبار "DROPJ" مع مشاركين بشريين فعليين يعطي نتائجها ثقلًا عمليًا إضافيًا.

كيف يعمل DROPJ

يقوم "DROPJ" على نموذج عالم (World Model)، وهو محاكي متعلَّم (Learned Simulator) مبني من بيانات مسارات حقيقية سابقة (Trajectory Data)، ويستخدم كبديل عن ديناميكيات البيئة غير المعروفة. وبدلًا من الطلب من إنسان صياغة دالة مكافأة يدويًا -وهي غالبًا أصعب خطوة وأكثرها عرضة للخطأ عند تطبيق التعلم المعزز في المجالات الحساسة أمنيًا- يستخرج "DROPJ" ملاحظات مقارنة (Comparative Feedback) مباشرة من الأشخاص. يُعرض على المستخدمين زوج من مقاطع المسارات المحاكاة (Simulated Trajectory Segments) الناتجة عن نموذج العالم هذا، ويُطلب منهم تحديد أيهما يفضلون.

الميزة الفارقة هنا أن "DROPJ" لا يتوقف عند التفضيلات وحدها، بل يطلب من المستخدمين أيضًا تبرير اختيارهم لمسار معين على آخر. ووفق الباحثين، هذه التبريات المرافقة قادرة على تحسين حدة السلوك الآمن الناتج، أو تمكين المستخدمين من توجيه النظام نحو اعتبارات أمان محددة تهمهم، عوضًا عن ترك النموذج يستدل على النية من ترتيب التفضيلات فقط.

تُغذّي هذه التفضيلات المُبررة نموذج مكافأة (Reward Model)، الذي يُدمج بعد ذلك مع نموذج العالم لتشغيل التحكم التنبؤي بالنموذج (Model Predictive Control) وقت التنفيذ الفعلي. وبعبارة أخرى، يخطط النظام لتحركاته عبر محاكاة تقدمية باستخدام نموذج العالم المتعلَّم، مع تقييم المسارات المرشحة وفق إشارة المكافأة المستمدة من الإنسان.

لماذا تهم مزاعم الكفاءة

تبرز نتيجتان مقارنتان في الورقة. أولًا، توليد مسارات محاكاة غنية بالمعلومات ليقيّمها المستخدم أثبت أنه أقل تكلفة حسابيًا من استراتيجيات أخرى لجمع إشارة التدريب، وهو اعتبار مهم لأي منهجية تعتمد على مشاركة بشرية مستمرة. ثانيًا، عند مقارنته بآليات ملاحظات بديلة داخل المحاكيات المتعلَّمة، أدت الملاحظات القائمة على التفضيل (Preference-based Feedback) إلى أداء أفضل عند النشر الفعلي.

مجتمعة، تضع هذه النتائج "DROPJ" في موقع محاولة لجعل تدريب الأمان القائم على "الإنسان في الحلقة" (Human-in-the-loop) أكثر قابلية للتطبيق، لا مجرد أكثر منطقية نظريًا. سوء تحديد المكافأة (Reward Misspecification) لا يزال من أكثر أنماط الفشل استمرارًا في تطبيق التعلم المعزز على الأنظمة الفعلية أو الحساسة أمنيًا، وطلب تبرير التفضيلات من المستخدمين -بدل الاكتفاء بترتيب النتائج- يوفر وسيلة لالتقاط تفاصيل دقيقة كانت ستضيع في إشارة مقارنة خام. أما مدى قابلية هذا النهج للتوسع خارج إطار التجارب الحالية، ليشمل مهامًا متعددة الوكلاء أو ذات أفق زمني طويل، فهو السؤال المفتوح الذي يترك هذا العمل المستمد من "ICAART" للأبحاث اللاحقة.