باختصار
Vanishing Gradient Problem (مشكلة تلاشي التدرّج) هي ميل التدرّجات في الطبقات المخفية الأولى لبعض الشبكات العصبية العميقة إنها تبقى مسطّحة (صغيرة) بشكل مفاجئ، فالنموذج يبطّل يتعلّم.
بالتفصيل
التدريب بيعتمد على Gradient Descent (الانحدار التدرّجي): بنحسب التدرّج لكل وزن، يعني الاتّجاه والمقدار اللي لازم الوزن يتغيّر بيه عشان الخطأ يقلّ. والتدرّجات دي بتتحسب من آخر طبقة وترجع لورا طبقة طبقة.
المشكلة: في بعض الشبكات العميقة، التدرّج بيصغر كل ما يرجع لورا. ولما يوصل للطبقات الأولى بيبقى قريب من الصفر. وحسب مسرد Google:
- التدرّجات الأصغر بتعمل تغييرات أصغر في الأوزان.
- والنتيجة: تعلّم قليل جدًا أو مفيش تعلّم خالص في الطبقات دي.
- والنماذج اللي عندها المشكلة دي بتبقى صعبة جدًا أو مستحيلة التدريب.
والمسرد بيذكر إن خلايا LSTM (الذاكرة طويلة قصيرة المدى) بتعالج المشكلة دي في الشبكات المتكرّرة.
مثال عملي
تخيّل لعبة «التليفون المكسور»: رسالة بتعدّي على 50 واحد، وكل واحد بيقول نص اللي سمعه بس. لما توصل لأوّل واحد في الصفّ، الرسالة بتبقى اختفت تقريبًا. ده بالظبط اللي بيحصل للتدرّج وهو راجع لورا عبر طبقات كتير.
والنتيجة اللي المسرد بيوصفها: الطبقات الأولى أوزانها بالكاد بتتغيّر، فالنموذج بيبقى صعب جدًا أو مستحيل يتدرّب.
مصطلحات مرتبطة
- Exploding Gradient Problem — مشكلة انفجار التدرّج.
- Backpropagation — الانتشار العكسي.
- LSTM — الذاكرة طويلة قصيرة المدى.
- Gradient — التدرّج.
المصادر: Google ML Glossary
