حين يقول نموذج اللغة "أنا واثق"... هل يعرف حقًا ما يقول؟ دراسة جديدة تقيس الفجوة

أربعة نماذج لغوية، 224 ألف سؤال واقعي، ونتيجة واحدة مثيرة للإحراج: ثقة النموذج المُعلنة بإجابته لا تعني بالضرورة أنه محق. والأغرب أن حجم هذه الفجوة يتفاوت بشكل كبير حسب النموذج المستخدم والموضوع المطروح.

هذه هي الخلاصة الأساسية لورقة بحثية جديدة استعارت إطارًا عمره عقود من علم النفس الفيزيائي (Psychophysics)، يُعرف بنظرية اكتشاف الإشارة (Signal Detection Theory)، لتفكيك أمرين غالبًا ما يُخلط بينهما عند تقييم مخرجات النماذج اللغوية الكبيرة (LLMs). الأول هو "الدقة من النوع الأول" (Type-1 Accuracy)، أي هل إجابة النموذج صحيحة أم خاطئة. والثاني هو "الحساسية المعرفية الفوقية من النوع الثاني" (Type-2 Metacognitive Sensitivity)، أي هل درجة الثقة التي يعلنها النموذج تعكس فعليًا مدى صحة إجابته. فقد يكون نموذج ما دقيقًا في إجاباته لكنه سيئ في تقييم موثوقيته الذاتية، وقد يكون نموذج آخر متوسط الأداء في الإجابة لكنه صادق بشكل لافت حين يعترف بأنه على الأرجح مخطئ. مقاييس الدقة التقليدية تدمج هذين البُعدين في رقم واحد، فتُخفي بذلك أي نوع من الخلل هو المسؤول الحقيقي عن الفشل.

اختبر الباحثون أربعة نماذج مفتوحة المصدر: Llama-3-8B-Instruct، وLlama-3-8B-Base، وMistral-7B-Instruct-v0.3، وGemma-2-9B-Instruct. وعلى مستوى مجموعة البيانات الكاملة، أظهرت إشارة الثقة في كل نموذج نمطًا يُعرف بـ"التباين غير المتساوي" (Unequal-Variance)، وهو نمط مألوف في دراسات الإدراك البشري، لكن شكل هذا النمط - المقاس عبر ميل منحنى z-ROC - تفاوت بين 0.81 و1.18 باختلاف النموذج. وبعبارة أوضح، فإن كل نموذج يوزّع أخطاء ثقته بطريقة بنيوية مختلفة عن الآخر، وليس فقط بمعدلات متوسطة مختلفة.

الثقة ليست مقاسًا واحدًا يناسب الجميع

ولعل النتيجة الأكثر أهمية من الناحية العملية هي أن جودة الوعي المعرفي الذاتي تتغير بحسب المجال. فقد أظهرت النماذج الأربعة جميعها أقوى درجات "وعي بالذات" عند الإجابة عن أسئلة في مجال الفنون والأدب، وهو ما يشير إلى أن قدرة النموذج على معرفة ما لا يعرفه ليست خاصية ثابتة، بل تتغير تبعًا للموضوع. وبشكل عام، تفاوتت الإشارة المعرفية الفوقية بأكثر من ضعفين بين أفضل نموذج وأضعفه في الاختبار، وهو تفاوت يرى الباحثون أنه كبير جدًا ليُتجاهل، خصوصًا في التطبيقات التي يشكّل فيها سوء تقدير الثقة خطرًا حقيقيًا، مثل أدوات الأسئلة والأجوبة الطبية أو القانونية.

كما أجرى الفريق تجربة لتغيير درجة الحرارة (Temperature) في عملية أخذ العينات، وكشفت عن انفصال لافت: رفع أو خفض هذه الدرجة غيّر مستوى الدقة من النوع الأول صعودًا أو نزولًا، لكنه لم يؤثر تقريبًا في الحساسية المعرفية الفوقية الكامنة. وهذا يعني أن ضبط الثقة (Confidence Calibration) والدقة الخام يخضعان لآليتين منفصلتين جزئيًا على الأقل داخل هذه النماذج، وليس أن إحداهما تنبع تلقائيًا من الأخرى.

نسخة أحدث، ومنهج أدق

نُشرت الورقة البحثية لأول مرة على أرشيف "آركايف" (arXiv) في مارس 2026، ثم جرى تنقيحها في يوليو من العام نفسه. وفي النسخة الثانية، استبدل الباحثون منهجهم الإحصائي الأصلي المعروف بـ meta-d'/M-ratio بمقياس أحدث لا يعتمد على نموذج توزيعي مسبق، يُسمى meta-I_2r، وهو تغيير يقول المؤلفون إنه يمنح تقديرات أكثر متانة دون افتراض توزيع إحصائي معيّن مسبقًا. والدراسة مُسجّلة مسبقًا (Pre-registered)، كما أن الشيفرة البرمجية والبيانات متاحة للجميع، بما يتيح لباحثين آخرين تكرار النتائج أو تحديها مباشرة، بدل الاضطرار إلى تصديق ادعاءات الثقة على الثقة فقط.