خوارزمية التدرج التكيفية (AdaGrad) هو مصطلح ظهر في مقالات قرمصيص ويستحق شرحاً مستقلاً. مُحسّن يضبط معدل التعلم لكل معامل اعتماداً على مجموع تدرجاته السابقة. فهمه يساعدك على قراءة الشروحات ونتائج التجارب من غير خلط بين الاسم ووظيفته الفعلية.
باختصار
مُحسّن يضبط معدل التعلم لكل معامل اعتماداً على مجموع تدرجاته السابقة.
بالتفصيل
تتلقى المعاملات النادرة عادة خطوات أكبر، بينما تتناقص خطوة المعاملات التي تكررت لها تدرجات كبيرة. هذه الخاصية مفيدة للبيانات المتناثرة، لكن معدل التعلم قد يصغر مع الزمن إلى درجة تبطئ التدريب.
الفكرة العملية هي النظر إلى مكان المصطلح داخل خط العمل: ما البيانات التي تدخل إليه، وما النتيجة التي ينتجها، وما التكلفة أو الافتراض الذي يضيفه. المقارنة العادلة تحتاج تجربة على بيانات منفصلة ومقياس مناسب، لا الاعتماد على الاسم أو الشهرة وحدهما.
مثال عملي
في نموذج نصي ذي كلمات نادرة، يستطيع AdaGrad إعطاء أوزان تلك الكلمات تحديثاً أوضح من الكلمات كثيرة الظهور.
خلي بالك: هو نوع من خوارزميات التحسين وليس دالة خسارة، ويحتاج اختيار معدل تعلم ابتدائي مناسب.
مصطلحات مرتبطة
Optimizer، Gradient Descent، Learning Rate. قراءة هذه المصطلحات معاً توضح العلاقة بين البيانات والتدريب والتقييم والتشغيل.
المصادر: PyTorch
