باختصار
Double Descent (الهبوط المزدوج) ظاهرة في التعلّم العميق: لما تزوّد حجم النموذج، الأداء بيسوء الأوّل، وبعدين يرجع يتحسّن.
بالتفصيل
الفكرة التقليدية في الإحصاء كانت إن النموذج الأكبر من اللازم بيعمل فرط تخصيص، فالأداء على البيانات الجديدة بيسوء. ورقة Deep Double Descent (ديسمبر 2019) بيّنت إن القصّة أطول من كده في مهام تعلّم عميق حديثة كتير:
- مع زيادة حجم النموذج: الأداء بيسوء الأوّل وبعدين بيتحسّن.
- الظاهرة بتحصل كمان مع زيادة عدد دورات التدريب (Epochs)، مش بس الحجم.
- الباحثين عرّفوا مقياس اسمه Effective Model Complexity (التعقيد الفعّال للنموذج) عشان يوحّدوا الحالتين، واقترحوا إن الهبوط المزدوج بيحصل بالنسبة للمقياس ده.
- والأغرب: لقوا مناطق فيها زيادة عيّنات التدريب، حتى لأربع أضعاف، بتضرّ أداء الاختبار فعلًا.
مثال عملي
لو بتجرّب أحجام نماذج مختلفة ولقيت إن النموذج الأكبر شوية أسوأ من الأصغر، ما تستنتجش على طول إن «الأكبر أسوأ». ممكن تكون واقف في منطقة القمّة بين الهبوطين، والنموذج الأكبر بكتير يرجع يتحسّن.
فلو بتقارن، جرّب نطاق أوسع من الأحجام ودورات التدريب قبل ما تحكم، بدل نقطتين أو تلاتة.
مصطلحات مرتبطة
- Overfitting — فرط التخصيص.
- Bias-Variance Tradeoff — التوازن بين التحيّز والتباين.
- Grokking — الاستيعاب المتأخّر.
- Scaling Laws — قوانين التوسّع.
المصادر: arXiv — Deep Double Descent (Nakkiran et al.) — 2019-12-04
