GPT-5.6 Sol "يتفوق" على Claude Opus 5 في اختبار ARC-AGI-3... لكن فقط بضبطيات أوبن إيه آي الخاصة

نتيجة اختبار قياسي واحدة، ومعنيان مختلفان تماماً بحسب طريقة الحصول عليها. هذا ما أثبته نموذج GPT-5.6 Sol بشكل صادم هذا الأسبوع. في بيئة الاختبار الرسمية لمعيار (ARC-AGI-3)، سجّل نموذج أوبن إيه آي (OpenAI) نسبة 7.8% فقط، متخلفاً بفارق كبير عن Claude Opus 5 من أنثروبيك (Anthropic)، الذي حقق رقماً قياسياً جديداً بلغ 30.2%، أي أربعة أضعاف الرقم السابق.

لكن عند تشغيل النموذج نفسه عبر واجهة برمجة التطبيقات الخاصة بأوبن إيه آي (Responses API)، وتفعيل خاصيتين إضافيتين تُعرفان بـ"الاستدلال المحتفَظ به" (Retained Reasoning) و"الضغط" (Compaction)، قفزت نتيجة GPT-5.6 Sol إلى 38.3%، متجاوزاً بذلك رقم Opus 5 الرسمي.

الفارق هنا ليس تقريبياً بأي حال. فالنموذج ذاته يحقق تفاوتاً بخمسة أضعاف تقريباً في النتيجة، اعتماداً فقط على كيفية إدارة مخرجاته بين الخطوات المتتالية.

لماذا تتباعد الأرقام هكذا؟

بيئة اختبار (ARC-AGI-3) الرسمية تتجاهل استدلال النموذج (Reasoning) بعد كل خطوة يقوم بها، بما يجبره على البدء من الصفر في كل مرة تقريباً. أما إعداد أوبن إيه آي البديل، فيغيّر هذه المعادلة من جهتين مختلفتين.

خاصية "الاستدلال المحتفَظ به" تحافظ على سلسلة التفكير (Chain of Thought) عبر الخطوات بدلاً من مسحها، مما يسمح للنموذج بالبناء على تفكيره السابق. أما خاصية "الضغط" فتمنع فقدان هذا السياق المتراكم عبر تلخيص المعلومات القديمة، بدلاً من حذفها بشكل نهائي.

مجتمعةً، تمنح هاتان الخاصيتان GPT-5.6 Sol نوعاً من الذاكرة المستمرة لاستدلاله الخاص طوال المهمة، وهو أمر تحجبه بيئة الاختبار القياسية عمداً، لتبقى التجربة مركزة على قدرة النموذج الخام لا على براعة هيكلية الدعم المحيطة به (Scaffolding).

أين يرسم "ARC Prize" الحدود؟

معيار (ARC-AGI-3) صُمم أساساً لقياس النموذج بشروطه الخاصة، بلا أدوات خارجية أو تهيئات مخصصة من مزوّد بعينه تدعم النتيجة. وهذا المبدأ بالضبط ما يجعل نتيجة أوبن إيه آي الأعلى موضع جدل.

فرانسوا شوليه، الشريك المؤسس لمبادرة "ARC Prize"، وضع خطاً فاصلاً بين فئتين من الإعدادات: بيئات اختبار مصممة خصيصاً للتغلب على المعيار، وهو ما يعتبره خارج الحدود المسموحة، وخيارات عامة في واجهة برمجة التطبيقات موجودة بشكل مستقل عن (ARC-AGI-3)، وهي التي يعتبرها مشروعة.

قال شوليه إن "ARC Prize" أجرت "نقاشات متبادلة مع أوبن إيه آي حول أفضل طريقة لاختبار نماذجها، خصوصاً فيما يتعلق بخاصية الضغط".

هذا الإفصاح يكشف أن القائمين على المعيار كانوا على علم، وربما تفاوضوا جزئياً، حول كيفية تقديم نتيجة أوبن إيه آي قبل الإعلان عنها للعامة.

الحادثة لا تنتهي بحكم واحد فاصل، بل تترك الرقمين مطروحين معاً. نتيجة Opus 5 البالغة 30.2% تمثل الأداء ضمن الشروط الأصلية التي صُمم لها (ARC-AGI-3)، بينما نتيجة GPT-5.6 Sol البالغة 38.3% تعكس أداءً تحت شروط لم يُقيَّم النموذج بموجبها أصلاً في القواعد الافتراضية للمعيار. والدرس العملي للمهندسين الذين يقيّمون أياً من النموذجين، أن ادعاءات "التفوق التقني" (State of the Art) تتوقف بشكل متزايد على أي إعدادات واجهة برمجة التطبيقات كانت مفعّلة، لا فقط على الأوزان (Weights) التي تعمل تحت الغطاء.