English
Inference is the process of running a trained model to produce an output for a new input, as opposed to training the model. It is what happens every time a user sends a prompt and gets a response.
Inference is the model doing its job, taking an input and producing an output, as opposed to training, which is the model being built. Training happens once and costs a great deal; inference happens on every request and is where the recurring bill lives. Almost every optimisation that reaches the news, from quantization to caching, is aimed at making inference cheaper or faster rather than making models better.
Inference latency dropped from 900ms to 300ms.
العربية
الاستدلال هو تشغيل نموذج مدرَّب لإنتاج مخرج لمُدخل جديد، على عكس تدريب النموذج نفسه. هذا ما يحدث في كل مرة يرسل فيها المستخدم طلباً ويحصل على رد.
الاستدلال هو أداء النموذج لعمله، أخذ مُدخَلٍ وإنتاج مُخرَج، في مقابل التدريب الذي هو بناء النموذج. فالتدريب يقع مرةً واحدة ويكلّف كثيراً، أما الاستدلال فيقع مع كل طلب، وفيه تسكن الفاتورة المتكررة. وتكاد كل التحسينات التي تبلغ الأخبار، من التكميم إلى التخزين المؤقت، أن تستهدف جعل الاستدلال أرخص أو أسرع لا جعل النماذج أفضل.
انخفض زمن الاستدلال من 900 مللي ثانية إلى 300.
يُعرف أيضاً بـ
- model inference
- inferencing
- استدلال
- الإنفرنس
يُكتب أيضاً هكذا، ولا نوصي به
- الاستنتاج
- الاستنباط
لمَ هذه الصيغة: «الاستنتاج» لفظُ الاستعمال اليومي لاستخلاص النتيجة، أما «الاستدلال» فهو المقابل التقني المستقر ويُبقي التقابل مع التدريب واضحاً.