باختصار
Multi-Token Prediction (توقّع الرموز المتعدّدة) طريقة تدريب بيتوقّع فيها النموذج اللغوي عدّة رموز مستقبلية مرّة واحدة، بدل الرمز الجاي بس.
بالتفصيل
النماذج زي GPT وLlama بتتدرّب على خسارة توقّع الرمز التالي (Next-token Prediction). الورقة (أبريل 2024) اقترحت بديل:
- عند كل موضع في بيانات التدريب، النموذج بيتوقّع الرموز الـn الجاية.
- كل رمز ليه رأس مخرجات (Output Head) مستقل، وكل الرؤوس فوق جذع مشترك للنموذج.
- ده بيحسّن كفاءة التعلّم من العيّنات (Sample Efficiency)، من غير زيادة في وقت التدريب.
والفايدة بتزيد مع كبر حجم النموذج، وبتفضل موجودة مع التدريب لعدّة دورات.
مثال عملي
أرقام الورقة:
- المكاسب واضحة بالذات في الاختبارات التوليدية زي البرمجة.
- نموذج بـ13 مليار معامل حلّ مشاكل أكتر بـ12% على HumanEval وبـ17% على MBPP من نماذج مماثلة بتتوقّع الرمز التالي بس.
- النماذج المتدرّبة على توقّع 4 رموز أسرع لحدّ 3 مرّات في الاستدلال، حتى مع دفعات كبيرة.
والتجارب على مهام خوارزمية صغيرة بيّنت إن الطريقة بتساعد في تطوير Induction Heads وقدرات الاستدلال الخوارزمي.
مصطلحات مرتبطة
- Autoregressive Model — النموذج الانحداري الذاتي.
- Speculative Decoding — فك الترميز التخميني.
- Pre-training — التدريب المسبق.
- Token — الرمز.
المصادر: arXiv — Multi-token Prediction (Gloeckle et al.) — 2024-04-30
