باختصار
Exploding Gradient Problem (مشكلة انفجار التدرّج) هي ميل التدرّجات في الشبكات العصبية العميقة، وبالذات الشبكات المتكرّرة (RNN)، إنها تبقى حادّة (كبيرة) بشكل مفاجئ.
بالتفصيل
حسب مسرد Google، التدرّجات الحادّة بتعمل غالبًا تحديثات ضخمة جدًا لأوزان كل عقدة في الشبكة. والنماذج اللي عندها المشكلة دي بتبقى صعبة جدًا أو مستحيلة التدريب.
ليه ده مشكلة؟ التدريب المفروض يمشي بخطوات صغيرة ناحية الخطأ الأقلّ. لما التدرّج ينفجر، الخطوة بتبقى قفزة عشوائية بعيدة، فممكن النموذج يبوّظ كل اللي اتعلّمه في خطوة واحدة.
وده عكس Vanishing Gradient Problem (مشكلة تلاشي التدرّج)، اللي فيها التدرّج بيصغر لحدّ ما التعلّم يقف.
الحلّ: Gradient Clipping
المسرد بيقول إن Gradient Clipping (قصّ التدرّج) آلية شائعة لتخفيف المشكلة: بتحدّ بشكل اصطناعي من القيمة القصوى للتدرّجات أثناء التدريب بالانحدار التدرّجي. يعني مهما التدرّج كبر، ما بيعدّيش سقف معيّن.
مثال عملي
تخيّل إنك بتنزل جبل في الضباب، وبتحدّد خطوتك الجاية حسب ميل الأرض تحت رجلك. لو وقفت على حافّة حادّة جدًا، الحسبة هتقولك «اقفز 100 متر». القصّ معناه إنك تقول: مهما كان الميل، أقصى خطوة متر واحد.
ولأن المسرد بيقول إن المشكلة بتظهر بالذات في الشبكات المتكرّرة، فلو بتدرّب شبكة من النوع ده وتحديثات الأوزان بقت ضخمة وغير مستقرّة، قصّ التدرّج هو أوّل أداة يرشّحها المسرد.
مصطلحات مرتبطة
- Gradient Clipping — قصّ التدرّج.
- Vanishing Gradient Problem — مشكلة تلاشي التدرّج.
- Recurrent Neural Network — الشبكة العصبية المتكرّرة.
- Gradient Descent — الانحدار التدرّجي.
المصادر: Google ML Glossary
