نماذج الرؤية واللغة لا تزال عاجزة عن رؤية العالم بعيون الآخرين

LLMsResearch
صورة توضيحية مُولّدة بالذكاء الاصطناعي: Editorial image for Vision-Language Models Keep Failing to See the World From Someone Else's Eyes

الزبدة

  • اختبار جديد اسمه FlipSet كشف أن 103 من نماذج الرؤية واللغة فشلت في تخيل مشهد من زاوية شخص آخر، وربع أخطائها فقط عشوائي بينما البقية كانت النموذج يكرر زاويته الخاصة بعناد
  • باحثون طوّروا طريقة تعتمد على منطق MaxSAT لتصحيح أخطاء النماذج في تحديد مواضع الأشياء بألغاز شبيهة بالسودوكو، ونجحت مع نماذج مفتوحة ومغلقة المصدر على حد سواء
  • دراسة ثالثة اكتشفت أن النماذج فعلياً 'تتجاهل' جزءاً كبيراً من الصورة رغم أنها قادرة تقنياً على رؤيته، وحددت بدقة أي مناطق وأي طبقات معالجة تهم فعلاً للإجابة الصحيحة

ثلاث ورقات بحثية مستقلة تصل إلى استنتاج واحد محرج: نماذج الرؤية واللغة (Vision-Language Models - VLMs) الحالية تعاني في التفكير المكاني بالطريقة التي يفعلها الإنسان بشكل تلقائي، سواء تعلق الأمر بوضع الأشياء في مكانها الصحيح، أو تقدير ما يراه شخص آخر فعلياً، أو تخيل مشهد من زاوية نظر مختلفة عن زاويته الخاصة.

الدليل الأكثر لفتاً للانتباه يأتي من "فليب سيت" (FlipSet)، معيار تشخيصي (Benchmark) صُمم لاختبار ما يُعرف بـ"أخذ المنظور البصري من المستوى الثاني" (Level-2 Visual Perspective Taking - L2 VPT)، أي القدرة على تدوير مشهد ذهنياً كما لو كان النموذج يقف في موضع طرف آخر. المهمة تبدو بسيطة على السطح: محاكاة تدوير بزاوية 180 درجة لسلسلة أحرف ثنائية الأبعاد كما سيراها طرف آخر. ومع ذلك، من بين 103 نماذج رؤية ولغة خضعت للتقييم، سجلت الغالبية العظمى نتائج أقل من مستوى التخمين العشوائي. والأغرب أن نحو ثلاثة أرباع الأخطاء لم تكن عشوائية بحتة؛ بل كانت تعيد إنتاج زاوية نظر الكاميرا الخاصة بالنموذج نفسه بدلاً من الزاوية المُدارة، وهو ما يكشف عن انحياز ذاتي المرجعية (Egocentric Bias) عميق الجذور في طريقة معالجة هذه الأنظمة للصور. الورقة البحثية حازت جائزة أفضل بحث لطالب جامعي في مؤتمر "كوجساي" (CogSci 2026).

عندما تُوضع الأشياء في غير موضعها

خط بحثي ثانٍ يتناول عطلاً مختلفاً لكنه من نفس العائلة: أخطاء النماذج في وضع الأشياء داخل مهام بصرية منظمة. طريقة تغذية راجعة جديدة تعتمد على "ماكس سات" (MaxSAT)، قُبلت في مؤتمر EPIA 2026 (الدورة الخامسة والعشرون لمؤتمر الذكاء الاصطناعي)، تعيد صياغة تخمينات النموذج لمواضع القطع - المُختبرة عبر لغز شبكي على طراز "سودوكو" - كبنود لينة (Soft Clauses) ضمن صيغة "ماكس سات" الجزئية، بينما تبقى قواعد السودوكو الفعلية ثابتة كبنود صارمة (Hard Clauses). عملياً، هذا يتيح لمحلل منطقي (Solver) أخذ تخمينات النموذج غير المؤكدة أو الخاطئة جزئياً، ومطابقتها مع قيود منطقية صارمة، ثم إعادة توجيه هذا التصحيح إلى النموذج نفسه. الباحثون طبّقوا هذه الحلقة التصحيحية على مزيج من نماذج مفتوحة المصدر ونماذج مغلقة الوصول، وهو ما يشير إلى أن مشكلة تحديد المواضع ليست حبيسة عائلة نماذج أو منهجية تدريب معينة.

ما مقدار الصورة الذي يحتاجه النموذج فعلاً؟

الورقة الثالثة تطرح سؤالاً أقرب إلى البنية الداخلية: كم من الصورة يحتاج نموذج الرؤية واللغة أن "يراه" فعلاً للوصول إلى الإجابة الصحيحة؟ يقدّم الباحثون مفهوم "الحد البصري للوصول" (Visual Access Boundary - VAB)، ويُعرَّف بأنه أصغر منطقة من الصورة يجب أن ينتبه إليها النموذج للحفاظ على دقة المهمة. للعثور على هذا الحد، استخدم الفريق تقنية أسموها "المسح البصري للوصول" (Visual Access Sweep)، وهي تدخل سببي (Causal Intervention) ينتقي بعناية حجب الانتباه (Attention) المتدفق من استعلامات الرموز المولّدة (Generated-Token Queries) إلى مفاتيح رموز الصورة (Image-Token Keys)، مع تغيير نطاق الحجب عبر عمق الطبقات (Layer Depth) وخطوات التوليد الزمنية (Generation Timestep). بالتجربة على نموذج Qwen2.5-VL-32B وإصدارين من InternVL3 (بحجمي 14 و38 مليار معلمة)، رسم هذا المسح بدقة أي مناطق بصرية وأي مراحل معالجة تُحدث فرقاً فعلياً في الإجابة، وأيها يتم تجاهله عملياً رغم أنه "مرئي" تقنياً للنموذج.

صورة واحدة، لا ثغرات متفرقة

مجتمعةً، لا تعكس هذه النتائج ثلاث ملاحظات عابرة بل صورة متماسكة تتكرر. سواء كانت المهمة تدوير زاوية نظر، أو وضع رمز على شبكة، أو حتى الانتباه للبكسلات الصحيحة في الطبقة الصحيحة، تميل نماذج الرؤية واللغة الحالية إلى اختصارات مرتبطة بزاوية نظرها الخاصة أثناء التدريب، بدلاً من تفكير مكاني حقيقي. هذه الفجوة ليست تفصيلاً أكاديمياً؛ فهي تمس أي تطبيق يحتاج فيه النظام إلى استيعاب مشهد كما يراه مراقب آخر فعلياً، إنساناً أو غير ذلك، من الروبوتات إلى أنظمة الذكاء الاصطناعي المساعدة.

واكب

فريق تحرير واكب

تم إعداد هذه المراجعة وتلخيصها بواسطة محرك الذكاء الاصطناعي الخاص بواكب ومراجعتها وتدقيقها من قبل فريقنا التحريري لضمان الدقة والموثوقية.

اشترك في النشرة البريدية

احصل على ملخص أسبوعي لأبرز أبحاث وأدوات الذكاء الاصطناعي مباشرة في بريدك.

قناة التليجرام

تابع تغطيتنا اللحظية ونقاشاتنا حول آخر مستجدات وأنظمة الذكاء الاصطناعي.

انضم إلينا على تليجرام

المزيد من الأبحاث

عرض الكل في الأبحاث