English
Using a small fast model to guess several tokens ahead and a large model to verify them in one pass, producing identical output faster.
Verification is cheaper than generation: the large model can check a proposed run of tokens in a single forward pass, accepting the prefix that matches what it would have produced anyway and discarding the rest. Because rejected guesses are thrown away, the output is exactly what the large model would have generated alone. This is a pure latency optimisation with no quality trade-off, which is unusual.
Speculative decoding nearly doubled throughput.
العربية
استعمال نموذجٍ صغيرٍ سريع ليخمّن عدة توكناتٍ مقدماً، ونموذجٍ كبير للتحقق منها في تمريرةٍ واحدة، فيُنتَج المخرج نفسه أسرع.
التحقق أرخص من التوليد: إذ يستطيع النموذج الكبير فحص سلسلةٍ مقترحة من التوكنات في تمريرةٍ أمامية واحدة، فيقبل البادئة الموافقة لما كان سينتجه أصلاً ويطرح ما سواها. ولأن التخمينات المرفوضة تُطرح، يكون المخرج مطابقاً تماماً لما كان النموذج الكبير سيولّده وحده، فهذا تحسينٌ خالص للزمن بلا مقايضةٍ في الجودة، وهو أمرٌ غير معتاد.
كاد فك الترميز التخميني يضاعف الإنتاجية.
Also known as
- speculative sampling
- draft-and-verify
- المعاينة التخمينية