English
The formula that scores how wrong a model's output is. Training does nothing except reduce this number, which makes its definition the real statement of what the model is being asked to do.
Everything a model learns is downstream of the loss. If the loss rewards fluent text, the model becomes fluent; it does not become truthful unless truth is somehow scored. Most surprising model behaviour traces back to a loss that measured a proxy for the intended goal rather than the goal itself, the same gap that alignment work is concerned with.
The loss function penalises confident wrong answers more than uncertain ones.
العربية
الصيغة التي تسجّل مقدار خطأ مخرج النموذج. والتدريب لا يفعل شيئاً سوى تقليل هذا الرقم، وهو ما يجعل تعريفها البيانَ الحقيقي لما يُطلَب من النموذج.
كل ما يتعلمه النموذج تابعٌ للخسارة. فإن كافأت الخسارةُ النصَّ الفصيح صار النموذج فصيحاً، ولا يصير صادقاً ما لم يُسجَّل الصدق بصورةٍ ما. ومعظم السلوك المفاجئ في النماذج يرجع إلى خسارةٍ قاست بديلاً عن الهدف المقصود لا الهدف نفسه، وهي الفجوة عينها التي تُعنى بها أبحاث المواءمة.
تعاقب دالة الخسارة الإجاباتِ الخاطئة الواثقة أشد من المترددة.
يُعرف أيضاً بـ
- cost function
- objective function
- دالة التكلفة
- دالة الهدف