أبحاث Nvidia: "الهيكل التشغيلي" أهم من النموذج نفسه

حقق Claude Opus 5 نسبة 30% في اختبار ARC-AGI-3 عند تشغيله بمفرده، وهي أفضل نتيجة يسجلها أي نموذج دون مساعدة خارجية. لكن حين وُضع النموذج نفسه داخل هيكل تشغيلي (Harness) مخصص صممه باحثو Nvidia، قفزت النتيجة إلى 100%.

لم يتغير شيء في الأوزان الأساسية للنموذج بين التجربتين. ما تغيّر هو البنية المحيطة به: نظام لإدارة الذاكرة ومكوّن "مُشرِف" نظّم طريقة تعامل النموذج مع مهام الاستدلال الطويلة المدى في الاختبار.

نشرت Nvidia نتائجها يوم الجمعة، والخلاصة صريحة: في المهام التي تمتد عبر خطوات كثيرة، قد تكون البنية المحيطة بالنموذج أهم من النموذج ذاته. يصف عادل الحلاق، نائب رئيس المنتجات في وحدة الذكاء الاصطناعي بشركة Nvidia، الوكيل الذكي بأنه أربعة عناصر تعمل معاً: النموذج، والهيكل التشغيلي (أو البنية الداعمة)، وبيئة التشغيل، والمهارات والمكتبات التي يستطيع الوكيل الاستعانة بها. وتشير نتائج Nvidia إلى أن الهيكل التشغيلي من بين هذه العناصر الأربعة يقوم بالجزء الأكبر من العمل.

هذا النمط لم يقتصر على تجربة Nvidia. فقد أجرت OpenAI اختباراتها الخاصة الشهر الماضي، ووجدت أن مجرد تعديل إعدادين فقط في الهيكل التشغيلي ضاعف نتائج نماذجها ثلاث مرات في الاختبار المعياري نفسه. ورغم أن نماذج OpenAI لم تبلغ نسبة 100% التي حققتها Nvidia، فإن اتجاه النتيجة يتطابق: تعديلات بسيطة في النظام المحيط أنتجت قفزات كبيرة في الأداء، دون أي ترقية للنموذج نفسه.

لماذا تكشف المهام الطويلة المدى هذه الفجوة

صُمم اختبار ARC-AGI-3 لقياس الاستدلال التفاعلي متعدد الخطوات، لا الإجابة عن سؤال واحد دفعة واحدة، وهذا بالضبط الموضع الذي يبرز فيه أثر تصميم الهيكل التشغيلي. فالنموذج يحتاج إلى تتبّع الحالة، والتعافي من الأخطاء، والتخطيط عبر جولات متعددة، وطبقة إشراف جيدة البناء قادرة على رصد الأخطاء وتصحيح مسار النموذج قبل أن تتراكم.

تدعم أبحاث Microsoft المنشورة في أبريل هذه الفكرة خارج حدود اختبار واحد. فبعد اختبار 19 نموذجاً لغوياً كبيراً على مهام تحرير مستندات طويلة المدى، وجدت Microsoft أن كل النماذج، بما فيها النماذج المتقدمة، أنتجت مستندات مليئة بالأخطاء. وظهر هذا الفشل بصرف النظر عن النموذج المستخدم في التحرير.

مجتمعةً، تدحض هذه النتائج فكرة أن الصدارة في الاختبارات المعيارية مرتبطة حصراً بجودة النموذج. فإذا كان هيكل تشغيلي قادراً على مضاعفة نتيجة ما ثلاث مرات دون لمس الأوزان، فإن مقارنة أداء النماذج الخام بمعزل عن بيئتها تقلل من تقدير ما يمكن تحقيقه في التطبيقات الفعلية، وتبالغ في نسبة الفجوة العائدة فعلاً إلى النموذج.

"الوكيل الذكي أربعة عناصر تعمل معاً: النموذج، والهيكل التشغيلي، وبيئة التشغيل، والمهارات المتاحة له" - عادل الحلاق، نائب رئيس المنتجات في Nvidia

بالنسبة للفرق التي تبني وكلاء ذكاء اصطناعي جاهزين للإنتاج، الدرس عملي لا نظري: الاستثمار في البنية الداعمة، وأنظمة الذاكرة، ومنطق الإشراف قد يحقق عوائد أكبر من انتظار إصدار نموذج جديد.