English
Alignment is the effort to make an AI system's goals, behavior, and outputs actually match what its human designers and users intend, especially as the system becomes more capable. Misalignment shows up as a model that is technically competent but pursues the wrong objective or ignores instructions in harmful ways.
Alignment is the problem of making a system pursue what its designers actually intended rather than a literal or convenient proxy for it. It is not primarily about politeness: a well-aligned system fails safely and refuses correctly, while a misaligned one optimises the metric it was handed. The difficulty is that intent is hard to state completely, so the gap between the objective and the intention is where the failures live.
Alignment research asks how we would even know the model shares our goal.
العربية
المواءمة هي الجهد المبذول لجعل أهداف نظام الذكاء الاصطناعي وسلوكه ومخرجاته متطابقة فعلاً مع ما يقصده مصمّموه ومستخدموه، خصوصاً كلما زادت قدراته. يظهر غياب المواءمة في نموذج كفء تقنياً لكنه يتّبع هدفاً خاطئاً أو يتجاهل التعليمات بطرق ضارة.
المواءمة مشكلةُ جعل النظام يسعى إلى ما قصده مصمموه فعلاً لا إلى بديلٍ حرفيٍّ أو مريحٍ عنه. وليست في جوهرها مسألة تأدب: فالنظام حسن المواءمة يفشل فشلاً آمناً ويرفض رفضاً صحيحاً، أما سيئها فيُحسِّن المقياس الذي سُلِّم إليه. والصعوبة أن النية عسيرة الصياغة على التمام، فالفجوة بين الهدف المصاغ والنية المقصودة هي حيث تسكن الإخفاقات.
تسأل أبحاث المواءمة كيف نعرف أصلاً أن النموذج يشاركنا الهدف.
Also known as
- AI alignment problem
- توافق الذكاء الاصطناعي
- محاذاة الذكاء الاصطناعي
- الأليجمنت
Also seen as, but not recommended
- المحاذاة
- التوافق
Why this form: «المحاذاة» is physical alignment (lining things up); the concept here is agreement of purpose.