معيار قياس جديد يفضح نقطة ضعف خطيرة في وكلاء الذكاء الاصطناعي: تذكّر تنفيذ المهام لاحقاً

حصل وكيل مدعوم بنموذج GPT-5.4، وهو الأفضل أداءً بين ثمانية نماذج متطورة خضعت للاختبار، على نتيجة (F1 Score) لم تتجاوز 65.1% في تقييم جديد صُمم خصيصاً لقياس قدرة أنظمة الذكاء الاصطناعي على تذكّر تنفيذ خطط وضعتها مسبقاً. المعيار الجديد، المعروف بـ"PM-Bench"، يستهدف قدرة غائبة تقريباً عن تقييمات النماذج اللغوية الكبيرة (Large Language Models) الحالية، وهي الذاكرة الاستباقية (Prospective Memory)، أي القدرة على الاحتفاظ بنيّة معينة وتنفيذها في اللحظة المستقبلية الصحيحة دون تلقي تذكير مباشر.

قُدّمت الورقة البحثية التي تعرّف بـ"PM-Bench" إلى أرشيف الأبحاث العلمية "آركايف" (arXiv) في 14 يوليو 2026، وحظيت بقبولها كورقة بحثية في مؤتمر COLM 2026. يستعير تصميم المعيار فكرته من نموذج "الأسبوع الافتراضي" (Virtual Week)، أداة معروفة في علم الأعصاب المعرفي تُستخدم لدراسة كيفية تتبّع البشر للنوايا المؤجلة عبر فترات زمنية محاكاة. يحوّل "PM-Bench" هذا الإطار إلى بيئة نصية يعمل فيها الوكيل عبر أسبوع محاكى مكوّن من سبعة أيام، ويُطلب منه الحفاظ على أهداف المستخدم نشطة، وتنفيذ إجراءات مرتبطة بزمن أو حدث معيّن عند تحقق شروطها، والانتباه إلى أي تغيّرات في البيئة قد تؤثر على تعهدات سابقة.

لماذا تختلف الذاكرة عبر الزمن عن ذاكرة الحقائق

تقيس معظم معايير الذاكرة الخاصة بالنماذج اللغوية قدرة الاسترجاع فقط: هل يستطيع النظام تذكّر معلومة قيلت له سابقاً، أو العثور على تفصيل دقيق مدفون داخل نافذة سياق طويلة (Context Window). أما "PM-Bench" فيقترب أكثر من قياس الوظائف التنفيذية (Executive Function). فقد يُطلب من الوكيل إرسال رسالة عند حدوث أمر معيّن، أو مراجعة مهمة بعد مرور فترة زمنية، ثم يتوجب عليه الحفاظ على هذا التعهد حياً عبر عدة جولات متتالية مليئة بأنشطة لا صلة لها بالمهمة. النجاح هنا لا يقتصر على تذكّر أن أمراً ما يجب أن يحدث، بل يتطلب أيضاً التمييز الدقيق للحظة تحقق الشرط المُحفّز، والتكيّف إذا تغيّرت البيئة بصمت في تلك الأثناء.

شغّل الباحثون ثمانية نماذج لغوية كبيرة رائدة عبر ثمانية تكوينات مختلفة للوكلاء، مختبرين استراتيجيات متعددة لتعزيز هذا النوع من الذاكرة، بدءاً من آليات التذكير الصريح وصولاً إلى أساليب تدوين الملاحظات المنظّمة (Structured Note-Taking). لم تُفرز التجربة فائزاً ثابتاً. يذكر مؤلفو الورقة أن لا توجد طريقة واحدة تتفوق باستمرار عبر جميع النماذج المختبرة، بمعنى أن التحسينات التي تحققها تقنية معينة على نموذج ما لا تنتقل بالضرورة إلى نموذج آخر. هذا التباين يشير إلى أن فشل الذاكرة الاستباقية لا ينتج عن عائق واحد قابل للحل، بل عن مزيج من العوامل الخاصة بكل نموذج على مستوى البنية والتدريب.

سقف أداء أقل بكثير من موثوقية الإنسان

نتيجة 65.1% في مؤشر (F1 Score) التي حققها أفضل تكوين مبني على GPT-5.4 تترك فارقاً كبيراً قبل أن يمكن الوثوق بالوكلاء لتحمّل مسؤوليات متعددة الأيام دون إشراف بشري. وللمقارنة، يميل أداء الإنسان في المهام المشابهة لنموذج "الأسبوع الافتراضي" إلى أن يكون أعلى بكثير، حتى مع احتساب حالات النسيان الطبيعية. تأتي هذه النتيجة في وقت تدفع فيه مختبرات الذكاء الاصطناعي وكلاءها نحو أدوار أكثر استقلالية وامتداداً زمنياً أطول، من مساعدي جدولة المواعيد إلى تنفيذ مهام متعددة الخطوات داخل برمجيات الشركات. تشير نتائج "PM-Bench" إلى أن التحدي الأصعب لا يكمن في إعطاء الوكلاء سياقاً أوسع أو نوافذ ذاكرة أكبر، بل في تعليمهم فعل الشيء الصحيح في الوقت الصحيح دون أي دفعة تذكيرية من إنسان.

المعيار نفسه، المتاح الآن للعامة إلى جانب الورقة البحثية المقدّمة في COLM 2026، يوفّر لمجتمع الأبحاث مقياساً ملموساً لهذه الفجوة، وهدفاً محتملاً للموجة القادمة من تجارب بناء الوكلاء.