باختصار
Weight Decay (تخميد الأوزان) أسلوب تنظيم (Regularization) بيصغّر الأوزان بنسبة بسيطة في كل خطوة تدريب، عشان النموذج ما يعتمدش على أوزان كبيرة ويعمل فرط تخصيص.
بالتفصيل
ورقة Decoupled Weight Decay Regularization (نوفمبر 2017) بيّنت نقطة مهمّة:
- مع SGD العادي، تنظيم L2 وتخميد الأوزان متكافئين (لما تعيد قياسهم بمعدّل التعلّم).
- لكن مع خوارزميات التدرّج التكيّفية زي Adam، الاتنين مش متكافئين.
- التطبيقات الشائعة كانت بتستخدم تنظيم L2 وتسمّيه «weight decay»، وده ممكن يكون مضلّل.
الحلّ اللي اقترحوه: يفصلوا (Decouple) تخميد الأوزان عن خطوات التحسين المرتبطة بدالّة الخسارة، فيرجع لصيغته الأصلية. والطريقة دي اتعرفت باسم AdamW.
مثال عملي
حسب الورقة، الفصل ده:
- بيفصل اختيار أفضل قيمة لتخميد الأوزان عن اختيار معدّل التعلّم، مع SGD ومع Adam. يعني تقدر تضبط كل واحد لوحده.
- بيحسّن قدرة Adam على التعميم بشكل كبير، فبقى ينافس SGD مع الزخم في تصنيف الصور، اللي كان Adam عادةً بيتفوّق عليه فيها.
والورقة بتقول إن الطريقة اتبنّاها باحثين كتير واتطبّقت في TensorFlow وPyTorch. فلو شفت في إعدادات تدريب AdamW مع weight_decay=0.1، ده تطبيق الفكرة دي.
مصطلحات مرتبطة
- Regularization — التنظيم.
- Adam — آدم.
- Ridge Regression — الانحدار المتجعّد.
- Overfitting — فرط التخصيص.
المصادر: arXiv — Decoupled Weight Decay Regularization (Loshchilov & Hutter) — 2017-11-14
