حواجز الذكاء الاصطناعي: كيف تحاول الشركات منع روبوتات الدردشة من الخروج عن النص

عندما تبني شركة روبوت دردشة لخدمة العملاء يعمل بالذكاء الاصطناعي (Artificial Intelligence)، فإنها لا تكتفي بتشغيل التقنية فحسب، بل يتعين عليها أيضا وضع حدود تمنع الروبوت من قول أشياء لا ينبغي له قولها. تُعرف هذه الحدود في قطاع التقنية باسم "الحواجز الوقائية" (Guardrails)، وتُظهر حوادث حديثة أنه عندما تفشل هذه الحواجز، يمكن أن تتراوح النتائج بين الإحراج البسيط وتبعات قانونية جدية.

الحواجز الوقائية هي أنظمة تُبنى فوق النموذج الأساسي الذي يشغّل روبوت الدردشة، والمعروف باسم "نموذج اللغة الكبير" (Large Language Model اختصارا LLM)، وهو التقنية القائمة عليها أدوات مثل "تشات جي بي تي" (ChatGPT). عادة ما تبدأ الشركات بما يُسمى "التعليمة الأساسية" (System Prompt)، وهي مجموعة من التوجيهات المكتوبة التي تخبر النموذج بهويته وبالمواضيع التي يجب أن يتحدث عنها. لكن وفقا لأبحاث حول طريقة عمل هذه الأنظمة، غالبا ما تكون هذه التعليمة البسيطة غير كافية. فالسلوك الافتراضي لنموذج اللغة الكبير هو أن يكون مفيدا بشكل عام، لذا إذا سأل عميل عن أمر خارج النطاق المقصود، يميل النموذج إلى سد الفجوة باستخدام معرفته العامة بدلا من التزام الصمت.

بناء منظومة من الدفاعات المتعددة

لسد هذه الثغرة، تجمع عمليات نشر روبوتات الدردشة الحديثة بين عدة طبقات من الحماية. من بينها "التوليد المعزَّز بالاسترجاع" (Retrieval-Augmented Generation اختصارا RAG)، وهي طريقة يقوم فيها الروبوت باستخراج المعلومات ذات الصلة من قاعدة بيانات الشركة نفسها قبل صياغة الرد، بحيث تكون إجاباته مستندة إلى مواد حقيقية ومعتمدة بدلا من الاعتماد كليا على بيانات التدريب العامة. وتشمل طبقات الحماية الأخرى الإشارة إلى المصادر، وتقييم درجة الثقة في الإجابة، وحجب المواضيع الخارجة عن النطاق المحدد، وتشغيل مسارات تقييم مصممة لرصد المعلومات الملفّقة أو الخاطئة، المعروفة باسم "الهلوسة" (Hallucinations)، قبل أن تصل إلى العميل.

وقد أصبح الامتثال للتنظيمات القانونية سببا رئيسيا يدفع الشركات إلى الاستثمار في هذه الأنظمة، خصوصا في قطاع التجزئة. فمنصات الحواجز الوقائية في هذا القطاع غالبا ما يتعين عليها تلبية عدة قواعد في آن واحد: تقليل التعرض لبيانات الدفع الحساسة بموجب معيار يُعرف باسم PCI-DSS؛ والامتثال للمادة 22 من اللائحة الأوروبية العامة لحماية البيانات (GDPR)، التي تمنح العملاء الحق في الحصول على تفسير عندما يؤثر قرار آلي عليهم؛ واستيفاء قواعد الشفافية الواردة في قانون الذكاء الاصطناعي للاتحاد الأوروبي (AI Act) بشأن الإفصاح عن استخدام الذكاء الاصطناعي، والتي ستدخل حيز التنفيذ في 2 أغسطس 2026؛ إضافة إلى الالتزام بقانوني الخصوصية الأمريكيين المعروفين باسم CCPA وCPRA؛ وتلبية متطلبات إتاحة الوصول بموجب قانون الأمريكيين ذوي الإعاقة (Americans with Disabilities Act).

عندما تفشل الحواجز الوقائية

تكشف حالات فشل واقعية عن حجم المخاطر. فقد خرج روبوت دردشة خدمة العملاء التابع لشركة "جاب" (Gap Inc)، المبني على منصة من شركة الذكاء الاصطناعي الناشئة "سييرا" (Sierra)، لفترة وجيزة عن الموضوع وأدلى بردود غير لائقة، بعد ما وصفته سييرا بمحاولة منسقة لـ"الاختراق" (Jailbreak)، وهو مصطلح متداول في القطاع يشير إلى خداع الذكاء الاصطناعي لتجاهل قيوده. وقالت سييرا إن نظامها لرصد إساءة الاستخدام رصد أكثر من عشر محاولات مماثلة استهدفت عملاء آخرين، لكنه لم يرصد حادثة "جاب" لأن ذلك الحاجز الوقائي بالتحديد كان قد "أُعدّ بشكل خاطئ عن غير قصد". وتقول الشركة إن الخطأ تم إصلاحه منذ ذلك الحين.

وكانت هناك حالات فشل أخرى أقل خطورة لكنها ظلت خارجة عن السياق المقصود. فقد استجاب روبوت دعم تابع لشركة "ماكدونالدز" يُلقَّب بـ"غريمِيس" (Grimace) لعميل سأل عن قطع الدجاج (McNuggets) بتقديم حل برمجي كامل بلغة "بايثون" (Python)، مصحوبا بتحليل تقني لمدى تعقيد الشيفمة البرمجية. كما ذُكر أن روبوت دردشة تابع لسلسلة "تشيبوتلي" (Chipotle) كتب شيفرة برمجية أيضا.

وتشير اختبارات مستقلة إلى أن جودة الحواجز الوقائية تتفاوت بشكل كبير عبر القطاع. فقد توصلت دراسة نشرتها جامعة نورث إيسترن (Northeastern University) في 27 يوليو 2026 إلى أن معظم روبوتات الدردشة صمدت أمام محاولات متكررة لتجاوز إجراءات الحماية المتعلقة بالانتحار وإيذاء النفس، لكن هذه الحماية انهارت بسرعة عند مواضيع حساسة أخرى، من بينها تعاطي المخدرات، واضطرابات الأكل، وأسئلة حول اكتئاب ما بعد الولادة قُدّمت بذريعة أنها بحث لأغراض تأليف رواية. وتوصلت مراجعة أخرى للقطاع إلى أن ثمانية روبوتات دردشة استجابت لطلبات ضارة في أكثر من نصف الحالات، وقدمت "مساعدة قابلة للتنفيذ" في نحو 75% من الحالات، بينما لم تُثنِ بشكل فعّال عن العنف إلا في 12% من الحالات. وقد تميّز روبوت "كلود" (Claude) التابع لشركة "أنثروبيك" (Anthropic)، إذ رفض الاستجابة في 33 من أصل 36 محادثة اختبارية. ووصف موظفون سابقون في مجال السلامة، استُشهد بأقوالهم في المراجعة، ثقافة "السباق نحو الإطلاق"، حيث قال مسؤول سلامة سابق في "أوبن إيه آي" (OpenAI) إن السلامة أصبحت "نوعا من الاحتكاك" تتجنبه الشركات في تنافسها مع منافسيها.

دعاوى قضائية وقواعد جديدة

أصبحت إخفاقات الحواجز الوقائية اليوم موضوع دعاوى قضائية نشطة. فتواجه "أوبن إيه آي" دعوى وفاة خطأ رفعتها عائلة مراهق يُدعى آدم راين (Adam Raine)، وقد عُدّلت الدعوى لتزعم أن الشركة أزالت حاجزا وقائيا رئيسيا متعلقا بالانتحار؛ وردت "أوبن إيه آي" بأن المراهق كان قد أظهر سابقا علامات على إيذاء النفس وتجاوز إجراءات الحماية القائمة. كما رفعت وزارة الخارجية في ولاية بنسلفانيا دعوى في مايو 2026 ضد شركة "كاراكتر تكنولوجيز" (Character Technologies) بسبب روبوتات دردشة زُعم أنها انتحلت صفة متخصصين طبيين مرخصين. وتزعم دعوى قضائية في فلوريدا أن "أوبن إيه آي" تسرعت في طرح "تشات جي بي تي" في السوق قبل يوم واحد من طرح منتج منافس من "غوغل"، ما أدى إلى تقويض الحواجز الوقائية الخاصة بالسلامة في هذه العملية.

وردا على ذلك، أقرت ولاية كاليفورنيا تشريعا يلزم الشركات بمنع روبوتات الدردشة من إنتاج محتوى جنسي صريح يتعلق بالقاصرين، وبالإبلاغ عن حالات الإحالة إلى جهات التعامل مع الأزمات، اعتبارا من 1 يوليو 2027. ويمكن للمستخدمين الذين يتعرضون لضرر رفع دعاوى للمطالبة بتعويضات تصل إلى 1000 دولار عن كل مخالفة، إضافة إلى أتعاب المحاماة. وفي الوقت نفسه، أطلقت "أوبن إيه آي" منتجا للشركات يحمل اسم "بريزنس" (Presence)، مبنيا على الحواجز الوقائية وعمليات التقييم والإجراءات المعتمدة لعملاء من الشركات من بينها "بي بي في إيه" (BBVA) و"سوفت بنك" (SoftBank)، في إشارة إلى أن الموثوقية، وليس القدرات وحدها، أصبحت عامل جذب في صناعة الذكاء الاصطناعي.