مُحسّن آر إم إس بروب (RMSProp) هو مصطلح ظهر في مقالات قرمصيص ويستحق شرحاً مستقلاً. مُحسّن يقسم التدرج على متوسط متحرك لمربعات التدرجات السابقة. فهمه يساعدك على قراءة الشروحات ونتائج التجارب من غير خلط بين الاسم ووظيفته الفعلية.
باختصار
مُحسّن يقسم التدرج على متوسط متحرك لمربعات التدرجات السابقة.
بالتفصيل
يكيّف حجم الخطوة لكل معامل ويمنع التدرجات الكبيرة المتكررة من السيطرة على التحديث. بخلاف AdaGrad الذي يجمع التاريخ كله، يستخدم RMSProp متوسطاً متحركاً، لذلك لا ينكمش معدل التعلم بالسرعة نفسها.
الفكرة العملية هي النظر إلى مكان المصطلح داخل خط العمل: ما البيانات التي تدخل إليه، وما النتيجة التي ينتجها، وما التكلفة أو الافتراض الذي يضيفه. المقارنة العادلة تحتاج تجربة على بيانات منفصلة ومقياس مناسب، لا الاعتماد على الاسم أو الشهرة وحدهما.
مثال عملي
في شبكة تتغير فيها أحجام التدرجات بين الطبقات، يساعد RMSProp كل معامل على تلقي خطوة متناسبة مع تاريخه الحديث.
خلي بالك: تظل قيمة معدل التعلم ومعامل الاضمحلال مؤثرة، ولا يوجد مُحسّن واحد أفضل لكل البيانات.
مصطلحات مرتبطة
Optimizer، AdaGrad، Adam. قراءة هذه المصطلحات معاً توضح العلاقة بين البيانات والتدريب والتقييم والتشغيل.
المصادر: PyTorch
