مُحسّن آدم (Adam) مصطلح ظهر في محتوى قرمصيص ويستحق تعريفاً مستقلاً. خوارزمية تحسين تكيف خطوة كل معامل باستخدام متوسطات متحركة للتدرج ولمربعه.
باختصار
خوارزمية تحسين تكيف خطوة كل معامل باستخدام متوسطات متحركة للتدرج ولمربعه.
بالتفصيل
يجمع Adam فكرتي الزخم وتكييف معدل التعلم، ويصحح انحياز المتوسطات في الخطوات الأولى. لذلك يكون خيار بداية شائعاً لتدريب الشبكات، لكن نجاحه يعتمد على معدل التعلم وبيانات المهمة. يحتفظ بحالات إضافية لكل معامل، ما يزيد استهلاك الذاكرة مقارنة بـ SGD البسيط.
لفهم المصطلح عملياً، اسأل دائماً: ما المدخلات؟ ما الناتج؟ ما الافتراضات؟ وكيف نقيس النجاح على بيانات منفصلة؟ الاسم وحده لا يثبت أن الطريقة أنسب أو أحدث، والمقارنة العادلة تحتاج خط أساس ومقياساً مناسباً.
مثال عملي
أثناء تدريب نموذج نصي، يحدث Adam الأوزان ذات التدرجات المتقلبة بخطوات مختلفة عن الأوزان المستقرة.
خلي بالك: ليس Adam الأفضل تلقائياً لكل نموذج، وAdamW يعالج اضمحلال الوزن بصورة مختلفة.
مصطلحات مرتبطة
Optimizer، SGD، Learning Rate. جمع هذه المفاهيم يوضح موقع المصطلح داخل دورة بناء النظام وتقييمه وتشغيله.
المصادر: PyTorch
