AdaBoost (اختصار Adaptive Boosting) خوارزمية تعلم جماعي صاغها يوف فروند وروبرت شابيري سنة 1995، وحصلوا عنها على جائزة غودل سنة 2003. الفكرة إنك تجمع عدة متعلمين ضعفاء في نموذج واحد قوي.
باختصار
خوارزمية بتدرب سلسلة من النماذج الضعيفة بالتتابع، وكل نموذج بيركز أكتر على الأمثلة اللي النماذج اللي قبله أخطأت فيها، وفي الآخر بتجمع كل النماذج بمجموع مرجّح.
بالتفصيل
في كل جولة، الخوارزمية بتزوّد وزن الأمثلة اللي اتصنّفت غلط، عشان النموذج التالي يركز عليها أكتر. كل متعلم ضعيف بياخد معامل وزن حسب دقته، والنموذج النهائي هو مجموع مرجّح لكل المتعلمين دول. المتعلم الضعيف الشائع استخدامه هو Decision Stump، وهي شجرة قرار بمستوى واحد بس.
الميزة الأساسية إن المتعلم الضعيف مش لازم يكون دقيق جداً؛ يكفي إنه أفضل شوية من التخمين العشوائي، والنموذج النهائي بيثبت رياضياً إنه بيتقارب لمتعلم قوي مع زيادة عدد الجولات.
مثال عملي
من أشهر استخداماته التاريخية كاسكيد Viola-Jones لاكتشاف الوجوه في الصور، واللي اعتمد على AdaBoost لاختيار أفضل مجموعة من الخصائص البسيطة للتمييز بين وجه ولا لا.
خلي بالك: AdaBoost حساس للبيانات الشاذة (Outliers)، لأنه بيدي وزن أكبر للأمثلة الصعبة، والأمثلة الشاذة دايماً صعبة التصنيف.
مصطلحات مرتبطة
Ensemble Learning، Boosting، Decision Tree.
المصادر: Wikipedia
