باختصار
الـ Speculative Decoding أسلوب لتسريع توليد النص: نموذج صغير سريع يقترح عدة رموز دفعة واحدة، والنموذج الكبير يتحقق منها كلها في تمريرة واحدة بدل أن يولّدها رمزًا رمزًا.
بالتفصيل
النماذج اللغوية تولّد النص بشكل انحداري ذاتي autoregressive: كل رمز يحتاج تمريرة كاملة عبر النموذج، والرمز التالي يعتمد على السابق. ده يخلّي السرعة محكومة بعدد التمريرات لا بقوة العتاد.
الفكرة اللي قدّمها بحث «Fast Inference from Transformers via Speculative Decoding» لـ يانيف ليفياثان ومتان كالمان ويوسي متياس تنطلق من ملاحظة بسيطة: المهام اللغوية الصعبة تتضمن أجزاءً سهلة يمكن لنموذج أصغر وأكفأ أن يقاربها جيدًا. فبدل التوليد المتسلسل، يقترح نموذج «المسوّدة» draft model عدة رموز مرشحة، ثم يقيّمها النموذج «الهدف» target model بالتوازي فيقبل ما يوافق توزيعه ويرفض الباقي.
النقطة الحاسمة أن الورقة تقدّم أسلوب أخذ عينات يضمن «فك ترميز دقيق من النماذج الكبيرة»، أي أن التوزيع الاحتمالي النهائي يبقى مطابقًا للتوليد العادي. بمعنى آخر: أنت مش بتقايض جودة بسرعة، ولا تحتاج إعادة تدريب أو تعديل معمارية.
الأداء المعلن في الورقة: تسريع من ضعفين إلى ثلاثة أضعاف على نموذج T5-XXL مقارنة بتنفيذ T5X القياسي، مع مخرجات مطابقة. الورقة قُبلت كعرض شفهي في مؤتمر ICML 2023.
مثال عملي
تخيّل محررًا كبيرًا ومساعدًا سريعًا. المساعد يكتب الجملة التالية بالكامل بناءً على توقعه، والمحرر يقرأها مرة واحدة ويشطب من أول كلمة اختلف معها. لو المساعد كان محقًا في أربع كلمات من خمس، فالمحرر أنجز خمس كلمات بقراءة واحدة بدل خمس قراءات. لما تستخدم مساعد برمجة يكتب أسطرًا متوقعة مثل الأقواس والإغلاقات، النموذج الصغير غالبًا بيصيب فيها، فتحس بالسرعة مباشرة.
مصطلحات مرتبطة
الاستدلال (Inference)، زمن الاستجابة (Latency)، ذاكرة المفاتيح والقيم (KV Cache)، النموذج اللغوي الصغير (Small Language Model)، التقطير (Distillation).
المصادر: arXiv — 2022-11-30
