باختصار
Compute-Optimal Training (التدريب الأمثل حوسبيًا) هو السؤال: لو عندك ميزانية حوسبة ثابتة، تكبّر النموذج قد إيه وتدرّبه على كام رمز؟ وورقة Chinchilla قدّمت إجابة غيّرت طريقة تدريب النماذج.
بالتفصيل
الورقة (مارس 2022) درّبت أكتر من 400 نموذج لغوي، من 70 مليون لأكتر من 16 مليار معامل، على ما بين 5 و500 مليار رمز. والنتيجة:
- النماذج اللغوية الكبيرة وقتها كانت متدرّبة على بيانات أقلّ بكتير من اللازم، لأن التركيز كان على تكبير النماذج مع تثبيت حجم البيانات.
- للتدريب الأمثل، حجم النموذج وعدد رموز التدريب لازم يتوسّعوا بالتساوي: كل ما تضاعف حجم النموذج، ضاعف رموز التدريب.
مثال عملي
الباحثين اختبروا الفرضية بنموذج Chinchilla: نفس ميزانية حوسبة نموذج Gopher، لكن بـ70 مليار معامل بس (مقابل 280 مليار) وبيانات أكتر 4 مرّات. النتيجة:
- تفوّق بشكل كبير على Gopher وGPT-3 (175 مليار) وJurassic-1 وMegatron-Turing NLG (530 مليار) في مهام كتير.
- جاب 67.5% في المتوسّط على اختبار MMLU، بتحسّن أكتر من 7% عن Gopher.
- ولأنه أصغر، بيحتاج حوسبة أقلّ بكتير في الضبط الدقيق والاستدلال.
النقطة الأخيرة مهمّة لأي حدّ بيشغّل نماذج: النموذج الأصغر المتدرّب كويس أرخص في التشغيل كل يوم.
مصطلحات مرتبطة
- Scaling Laws — قوانين التوسّع.
- Pre-training — التدريب المسبق.
- Token — الرمز.
- FLOPS — عمليات الفاصلة العائمة.
المصادر: arXiv — Training Compute-Optimal LLMs (Hoffmann et al.) — 2022-03-29
