باختصار
انحدار المربّعات الصغرى (Least Squares Regression) هو نموذج انحدار خطّي مُدرَّب عن طريق تصغير خسارة L2 (L2 Loss).
بالتفصيل
التعريف قصير لكنه بيلخّص واحدة من أقدم وأهمّ أفكار تعلّم الآلة. المهمّة: عندك مجموعة نقاط بيانات، وعايز ترسم خطًّا مستقيمًا (أو مستوى في أبعاد أعلى) يمرّ «قريب» ما يمكن من كل النقاط.
السؤال الطبيعي: «قريب» بأي معيار بالظبط؟ انحدار المربّعات الصغرى بيجاوب: قلّل مجموع مربّعات المسافات الرأسية بين كل نقطة والخطّ. وخسارة L2، أو الخطأ التربيعي، هي بالظبط الصيغة الرياضية لمجموع مربّعات الفروق دي.
ليه مربّعات بالذات، مش مجرّد الفروق المطلقة؟ لسببين عمليين. الأول رياضي: الدالّة التربيعية قابلة للاشتقاق في كل مكان، وده بيسهّل حساب الانحدار التدريجي (Gradient Descent) للوصول للحلّ الأمثل. والتاني سلوكي: التربيع بيعاقب الأخطاء الكبيرة بشدّة أكبر بكثير من الأخطاء الصغيرة — خطأ بمقدار 4 بيساهم بـ16 في الخسارة، بينما أربعة أخطاء بمقدار 1 بيساهموا بـ4 فقط.
وده بالظبط سبب حساسية انحدار المربّعات الصغرى الشديدة للقيم الشاذة (Outliers): نقطة واحدة بعيدة جدًا عن باقي البيانات بتسحب الخطّ نحوها بقوّة غير متناسبة، لأن مساهمتها في الخسارة مربّعة، لا خطّية.
وبما إن دالّة خسارة L2 محدّبة (Convex)، فالانحدار التدريجي مضمون — نظريًا على الأقلّ — إنه يوصل لحلّ قريب من الحدّ الأدنى الشامل، بلا خطر العلوق في حدّ أدنى محلّي زائف.
مثال عملي
عندك بيانات مساحة شقق وأسعارها في القاهرة: 20 نقطة بيانات تتوزّع بانتظام تقريبًا حول خطّ صاعد.
انحدار المربّعات الصغرى هيرسم الخطّ اللي بيقلّل مجموع مربّعات المسافات الرأسية بين كل نقطة سعر فعلي والخطّ. لو أضفت شقّة واحدة استثنائية بسعر شاذّ جدًا (فيلا فاخرة وسط شقق عادية)، الخطّ هيميل بشدّة نحو النقطة دي — وده بالظبط أثر حساسية الطريقة للقيم الشاذة.
مصطلحات مرتبطة
- Linear Regression — الانحدار الخطّي.
- Convex Function — الدالّة المحدّبة.
- Outliers — القيم الشاذة.
المصادر: Google ML Glossary
