باختصار
سطح الخسارة (Loss Surface) هو رسم بياني للأوزان مقابل الخسارة. والانحدار التدريجي بيهدف لإيجاد الأوزان اللي عندها سطح الخسارة في حدّه الأدنى المحلّي.
بالتفصيل
تخيّل كل مجموعة ممكنة من أوزان النموذج كنقطة في فضاء، وارتفاع كل نقطة بيمثّل قيمة الخسارة عند الأوزان دي. المجموعة الكاملة لكل النقاط والارتفاعات دي هي سطح الخسارة.
في نموذج بوزن واحد، السطح خطّ منحنى ثنائي الأبعاد. في نموذج بوزنين، السطح تضاريس ثلاثية الأبعاد — زي مشهد جبلي فيه قمم وأودية. وفي نموذج بملايين الأوزان، السطح فضاء عالي الأبعاد لا يمكن تخيّله بصريًا، لكن الفكرة الرياضية نفسها باقية.
والتدريب — بالانحدار التدريجي — هو عمليًا رحلة على السطح ده: تبدأ من نقطة (أوزان عشوائية غالبًا)، وفي كل خطوة تتحرّك في اتّجاه الانحدار الأكثر حدّة نزولًا، على أمل الوصول لأدنى نقطة ممكنة.
وشكل السطح ده هو اللي بيحدّد صعوبة التدريب. لو السطح محدَّب (Convex) — شكل وادٍ واحد بسيط — فمهما بدأت، النزول هيوصلك لنفس القاع. لكن سطوح النماذج العميقة أبدًا مش محدَّبة: فيها أودية كتير بأعماق مختلفة، وممكن تعلق في وادٍ ضحل («حدّ أدنى محلّي») بدل ما تلاقي الوادي الأعمق فعلًا («الحدّ الأدنى الشامل»).
مثال عملي
بتدرّب نموذجًا بسيطًا بوزنين، وبترسم سطح الخسارة عبر تجربة قيم مختلفة. تلاقي واديين: واحد ضحل عند خسارة 0.3، وواحد أعمق عند خسارة 0.05، لكن بعيد شويّة عن نقطة البداية.
لو بدأت الأوزان بالقرب من الوادي الضحل، الانحدار التدريجي هيقف عنده ويقول «تقارب» — رغم وجود حلّ أفضل بكثير على نفس السطح، بس ما وصلش له. ده بالظبط سبب أهمّية اختيار الأوزان الابتدائية وتقنيات زي الزخم (Momentum) في الهروب من الأودية الضحلة.
مصطلحات مرتبطة
- Gradient Descent — الانحدار التدريجي.
- Convex Function — الدالّة المحدّبة.
- Convergence — التقارب.
المصادر: Google ML Glossary
