English
Inference is the process of running a trained model to produce an output for a new input, as opposed to training the model. It is what happens every time a user sends a prompt and gets a response.
Inference is the model doing its job, taking an input and producing an output, as opposed to training, which is the model being built. Training happens once and costs a great deal; inference happens on every request and is where the recurring bill lives. Almost every optimisation that reaches the news, from quantization to caching, is aimed at making inference cheaper or faster rather than making models better.
Inference latency dropped from 900ms to 300ms.
العربية
الاستدلال هو تشغيل نموذج مدرَّب لإنتاج مخرج لمُدخل جديد، على عكس تدريب النموذج نفسه. هذا ما يحدث في كل مرة يرسل فيها المستخدم طلباً ويحصل على رد.
الاستدلال هو أداء النموذج لعمله، أخذ مُدخَلٍ وإنتاج مُخرَج، في مقابل التدريب الذي هو بناء النموذج. فالتدريب يقع مرةً واحدة ويكلّف كثيراً، أما الاستدلال فيقع مع كل طلب، وفيه تسكن الفاتورة المتكررة. وتكاد كل التحسينات التي تبلغ الأخبار، من التكميم إلى التخزين المؤقت، أن تستهدف جعل الاستدلال أرخص أو أسرع لا جعل النماذج أفضل.
انخفض زمن الاستدلال من 900 مللي ثانية إلى 300.
Also known as
- model inference
- inferencing
- استدلال
- الإنفرنس
Also seen as, but not recommended
- الاستنتاج
- الاستنباط
Why this form: «الاستنتاج» is the everyday word for drawing a conclusion; «الاستدلال» is the established technical rendering and keeps the contrast with training legible.