باختصار
الدالّة المحدّبة (Convex Function) هي دالّة تكون المنطقة فوق منحناها مجموعة محدّبة. والشكل النموذجي لها يشبه حرف U.
بالتفصيل
الخاصية المهمّة إن الدالّة المحدّبة تمامًا (Strictly Convex) لها نقطة حدّ أدنى محلّي واحدة بالضبط، وهي نفسها نقطة الحدّ الأدنى الشامل.
وده بالظبط سبب أهمّيتها في تعلّم الآلة. لو دالّة الخسارة محدّبة، فمفيش «حفر» محلّية يعلق فيها التحسين — فيه قاع واحد، ولو نزلت فيه فقد وصلت للحلّ الأمثل.
والدوالّ المحدّبة كلاسيكيًا شكلها U، لكن بعض الدوالّ المحدّبة (مثل الخطوط المستقيمة) ليست على شكل U.
وكثير من دوالّ الخسارة الشائعة محدّبة، ومنها: خسارة L2، وخسارة اللوغاريتم (Log Loss)، وتنظيم L1، وتنظيم L2. ومجموع دالّتين محدّبتين هو دالّة محدّبة كذلك.
وكثير من صور الانحدار التدريجي (Gradient Descent) مضمون لها إيجاد نقطة قريبة من الحدّ الأدنى لدالّة محدّبة تمامًا. وبالمثل، كثير من صور الانحدار التدريجي العشوائي لها احتمال مرتفع — وإن لم يكن ضمانًا — لإيجاد نقطة قريبة من الحدّ الأدنى.
والملاحظة الأهمّ عمليًا: النماذج العميقة ليست محدّبة أبدًا. ومع ذلك، الخوارزميات المصمّمة للتحسين المحدّب بتميل لإيجاد حلول جيّدة بشكل معقول على الشبكات العميقة على أي حال، حتى وإن لم تكن تلك الحلول مضمونة كحدّ أدنى شامل.
مثال عملي
تخيّل واديًا على شكل U وأنت تسير فيه معصوب العينين نازلًا. مهما بدأت من أي نقطة، السير نزولًا سيوصلك للقاع نفسه — ده التحسين على دالّة محدّبة.
الآن تخيّل سلسلة جبال فيها وديان كثيرة بأعماق مختلفة. النزول سيوصلك لقاع أحدها، وليس بالضرورة أعمقها — ده تدريب شبكة عميقة.
مصطلحات مرتبطة
- Gradient Descent — الانحدار التدريجي.
- Local Minimum — الحدّ الأدنى المحلّي.
- Loss Function — دالّة الخسارة.
المصادر: Google ML Glossary
