"أطلس" يقلّص اختبارات النماذج اللغوية: 41 سؤالاً تكفي بدلاً من 5600

واحد وأربعون سؤالاً فقط. هذا كل ما يحتاجه إطار تقييم جديد يُدعى "أطلس" (ATLAS) لتقدير قدرة نموذج لغوي كبير (LLM) على اختبار "هيلاسواغ" (HellaSwag)، ذلك المعيار المرجعي (Benchmark) الذي يتضمن عادة 5600 سؤال، مع الحفاظ على دقة تقدير لا يتجاوز خطؤها المطلق المتوسط 0.157 مقارنة بالنتيجة الكاملة.

يقدّم الباحثون في ورقة علمية نُشرت على منصة "أركايف" (arXiv) هذا النظام بوصفه إطار اختبار تكيّفي (Adaptive Testing) يستند إلى نظرية استجابة البند (Item Response Theory - IRT)، وهي مقاربة إحصائية استُخدمت لعقود في تقييم الطلاب تعليمياً، ويطبّقها الآن على تقييم النماذج اللغوية. الفكرة الجوهرية هنا تختلف جذرياً عن الطريقة التقليدية: فبدلاً من اختبار كل نموذج على كل سؤال في المعيار المرجعي، يختار "أطلس" الأسئلة بشكل ديناميكي بالاستناد إلى "معلومات فيشر" (Fisher Information)، وهو مقياس يحدد مدى قدرة سؤال معين على تقليص عدم اليقين حول قدرة النموذج في أي لحظة من الاختبار. كل إجابة يقدّمها النموذج تُحدّث تقدير النظام لمستواه، ويُختار السؤال التالي بحيث يكون الأكثر إفادة بناءً على ما تم تعلّمه حتى تلك اللحظة.

المكاسب في الكفاءة التي يزعمها الباحثون كبيرة جداً. فحسب الورقة البحثية، يمكن لـ"أطلس" أن يخفّض عدد الأسئلة المطلوبة في المعيار المرجعي بنسبة تصل إلى 90% دون التضحية بدقة القياس. وفي حالة "هيلاسواغ" على وجه التحديد، يعني ذلك ضغط اختبار من 5600 سؤال إلى 41 سؤالاً مستهدفاً فقط، مع الحفاظ على تقدير قدرة مطابق لما ينتجه المعيار الكامل.

لماذا قد تكون الدقة الخام مضلِّلة

الاكتشاف الأكثر أهمية قد يكون ما يحدث لترتيب النماذج عند استبدال درجات الدقة البسيطة بتقديرات القدرة التي يولّدها "أطلس". فبعد اختبار أكثر من 3000 نموذج مُقيَّم، وجد الباحثون أن نسبة تتراوح بين 23% و31% من هذه النماذج تتغير مراتبها بأكثر من 10 مواقع عند تقييمها عبر "أطلس" مقارنة بالدقة الخام. هذا ليس خطأً هامشياً في التقريب، بل يشير إلى أن جزءاً معتبراً من مواقع لوحات المتصدرين (Leaderboards) المنشورة قد يعكس ضجيجاً إحصائياً (Noise) في تصميم المعيار المرجعي بقدر ما يعكس فروقاً حقيقية في القدرات.

المعايير التقليدية تتعامل مع كل سؤال باعتباره متساوياً في قوته التشخيصية، بينما الواقع أن كثيراً من الأسئلة بالكاد تُميّز بين النماذج الضعيفة والقوية. التقييم المستند إلى نظرية استجابة البند يصحّح هذا الخلل من خلال إعطاء وزن لكل سؤال بحسب كمية المعلومات الحقيقية التي يحملها عن القدرة، وهذا بالضبط ما يسمح لـ"أطلس" بالتخلص من الغالبية العظمى من أسئلة المعيار المرجعي دون فقدان الدقة.

الأثر العملي على الصناعة

بالنسبة للفرق التي تُجري تقييمات متكررة للنماذج، سواء لمراجعة نقاط الضبط الدقيق (Fine-tuning Checkpoints) الداخلية، أو لمقارنة مزوّدي النماذج، أو لإجراء تجارب استبعادية بحثية (Ablations)، فإن تكلفة الاختبار الشامل تتراكم سريعاً من حيث القدرة الحاسوبية وفواتير واجهات برمجة التطبيقات (API). إطار عمل يصل إلى نتائج مماثلة إحصائياً باستخدام جزء صغير من الأسئلة قد يقلّص فعلياً العبء التشغيلي للتقييم، خصوصاً للمؤسسات التي تختبر عدداً كبيراً من نسخ النماذج أو حزم المعايير المرجعية على نطاق واسع.

أعلن الباحثون عن إتاحة الكود المصدري وبنوك الأسئلة المُعايرة (Calibrated Item Banks) للجمهور، وهذا يعني أن باحثين آخرين يمكنهم تطبيق "أطلس" على معاييرهم المرجعية الخاصة دون الحاجة لبدء عملية المعايرة من الصفر. ونظراً لحجم التغيرات الكبيرة في الترتيب التي كشفتها الدراسة، يطرح هذا العمل سؤالاً أوسع على الصناعة كلها: كم من مقارنات لوحات المتصدرين الحالية ستظل صامدة لو أُعيد تقييمها بهذه الطريقة؟