قوانين التوسع العصبية (Neural Scaling Laws) علاقات تجريبية بتربط أداء نموذج التعلم العميق (الخطأ أو الخسارة) بعدد معاملاته وحجم بيانات تدريبه وكمية الحوسبة المستخدمة.
باختصار
كل ما زاد حجم النموذج وبيانات تدريبه وحوسبته بشكل متوازن، قلّت الخسارة بنمط يشبه قانون القوة (Power Law) يمكن التنبؤ به قبل التدريب الفعلي.
بالتفصيل
بحث كابلان وزملاؤه سنة 2020 من OpenAI اقترح إن حجم النموذج الأمثل بالنسبة لميزانية حوسبة معينة بيتوسع أسرع من حجم البيانات. لكن بحث Chinchilla (هوفمان وزملاؤه سنة 2022) من DeepMind قدّم نتيجة مختلفة: حجم النموذج وعدد رموز التدريب لازم يتوسعوا بنفس المعدل تقريباً مع زيادة الحوسبة، مش النموذج لوحده.
الاختلاف بين الدراستين اتضح إنه راجع لاختلافات منهجية في قياس حجم النموذج، لكن النتيجة العملية إن نماذج كتير قبل Chinchilla كانت أكبر من اللازم مقارنة بحجم بيانات تدريبها.
مثال عملي
لو عندك ميزانية حوسبة ثابتة، قوانين التوسع بتساعدك تقرر: هل تبني نموذج أكبر ببيانات أقل، ولا نموذج أصغر ببيانات أكتر، من غير ما تدرب كل الاحتمالات فعلياً.
خلي بالك: القوانين دي تجريبية مبنية على ملاحظات، مش قوانين فيزيائية ثابتة، وبتختلف نتائجها حسب المعمارية ونوع البيانات.
مصطلحات مرتبطة
Parameters، Foundation Model، Test-Time Compute.
المصادر: Wikipedia
