English
Reusing the computed representation of an unchanged prompt prefix across requests, so a long shared instruction is paid for once rather than every time.
Applications typically send the same system prompt, tool definitions, and reference documents on every call. Caching that prefix cuts both cost and latency substantially. The economics have a sharp edge: providers charge a premium to write a cache entry, so a prefix below the minimum cacheable length, or one that changes between calls, pays the premium and never gets the benefit.
Prompt caching cut the per-request cost by half.
العربية
إعادة استعمال التمثيل المحسوب لبادئة توجيهٍ لم تتغير عبر الطلبات، فتُدفع كلفة التعليمة الطويلة المشتركة مرةً واحدة لا في كل مرة.
ترسل التطبيقات عادةً توجيه النظام وتعريفات الأدوات والوثائق المرجعية نفسها في كل نداء. وتخزين تلك البادئة مؤقتاً يقلّص الكلفة والزمن تقليصاً كبيراً. غير أن لاقتصادياته حداً حاداً: إذ يفرض المزوّدون علاوةً على كتابة مدخلة التخزين، فالبادئة الأقصر من الحد الأدنى القابل للتخزين، أو المتغيرة بين النداءات، تدفع العلاوة ولا تنال الفائدة أبداً.
خفّض التخزين المؤقت للتوجيه كلفةَ الطلب إلى النصف.
Also known as
- context caching
- prefix caching
- تخزين السياق
- تخزين البادئة