الانحدار المتدرج العشوائي (SGD) هو مصطلح ظهر في مقالات قرمصيص ويستحق شرحاً مستقلاً. خوارزمية تحسين تقدّر اتجاه التحديث من مثال أو دفعة صغيرة بدلاً من كامل البيانات. فهمه يساعدك على قراءة الشروحات ونتائج التجارب من غير خلط بين الاسم ووظيفته الفعلية.
باختصار
خوارزمية تحسين تقدّر اتجاه التحديث من مثال أو دفعة صغيرة بدلاً من كامل البيانات.
بالتفصيل
تُحسب التدرجات على دفعات متتابعة ثم تتحرك الأوزان عكس اتجاه الخطأ. التقدير أسرع لكنه أكثر ضوضاء من استخدام المجموعة كاملة، ويمكن للزخم وجدولة معدل التعلم تحسين الاستقرار والوصول إلى حل جيد.
الفكرة العملية هي النظر إلى مكان المصطلح داخل خط العمل: ما البيانات التي تدخل إليه، وما النتيجة التي ينتجها، وما التكلفة أو الافتراض الذي يضيفه. المقارنة العادلة تحتاج تجربة على بيانات منفصلة ومقياس مناسب، لا الاعتماد على الاسم أو الشهرة وحدهما.
مثال عملي
عند تدريب شبكة على مليون صورة، يعالج SGD دفعة صغيرة في كل خطوة بدلاً من انتظار حساب الخطأ على المليون كلها.
خلي بالك: العشوائية قد تساعد على الهروب من مناطق سيئة، لكنها تتطلب خلط البيانات ومعدل تعلم مناسباً.
مصطلحات مرتبطة
Gradient Descent، Batch Size، Optimizer. قراءة هذه المصطلحات معاً توضح العلاقة بين البيانات والتدريب والتقييم والتشغيل.
المصادر: PyTorch
