باختصار
Scaling Laws (قوانين التوسّع) علاقة رياضية منتظمة تصف كيف تتحسن دقة نماذج اللغة الكبيرة (تنخفض دالة الخسارة الخاصة بها) بشكل يمكن التنبؤ به كلما زاد حجم النموذج، وحجم بيانات التدريب، وكمية الحوسبة المستخدمة.
بالتفصيل
في ورقة بحثية شهيرة نشرتها OpenAI عام 2020 بعنوان «Scaling Laws for Neural Language Models»، وجد الباحثون أن دالة الخسارة تتبع «قانون قوة» (power-law) مع حجم النموذج، وحجم البيانات، وقوة الحوسبة — وأن هذا النمط يبقى ثابتًا عبر نطاق يمتد لسبعة أوامر من الحجم تقريبًا، وهو اتساق لافت لظاهرة تجريبية بهذا الحجم.
الأهم عمليًا: القرارات المعمارية مثل عرض الشبكة أو عمقها كان لها تأثير ضئيل مقارنة بهذه المتغيرات الثلاثة. الاستنتاج العملي الأبرز هو أن التدريب الأمثل من ناحية الحوسبة يعني غالبًا تدريب نموذج كبير جدًا على بيانات أقل نسبيًا ثم إيقاف التدريب قبل الوصول للتقارب الكامل — عكس الحدس التقليدي الذي كان يفضّل تدريب نموذج أصغر حتى التقارب الكامل.
مثال عملي
هذه القوانين هي السبب العملي وراء قرار مختبرات الذكاء الاصطناعي الكبرى ضخ استثمارات ضخمة في مراكز بيانات وشرائح معالجة أضخم: بما أن العلاقة بين الحجم والأداء يمكن التنبؤ بها رياضيًا، يمكن للفرق البحثية تقدير أداء نموذج ضخم مسبقًا — قبل تدريبه فعليًا — بناءً على تجارب أصغر بكثير.
مصطلحات مرتبطة
Emergent Abilities (القدرات الناشئة) — قدرات تظهر فجأة عند تجاوز حجم معيّن، مرتبطة بنقاش قوانين التوسّع. Compute (الحوسبة) — أحد المتغيرات الثلاثة الأساسية في هذه القوانين. Loss Function (دالّة الخسارة) — المقياس الذي تصفه قوانين التوسّع.
المصادر: arXiv
