لعنة الأبعاد (Curse of Dimensionality) مصطلح بيوصف المشاكل اللي بتظهر لما نحلل بيانات في فضاء كبير الأبعاد. كل خاصية إضافية بتزود حجم الفضاء اللي المفروض النموذج يتعلم فيه، والبيانات المتاحة عمرها ما بتكفي تغطيه.
باختصار
كل ما زاد عدد أبعاد البيانات (الخصائص)، زادت كمية البيانات اللي محتاجينها للتعميم الجيد بشكل أسي، والمسافات بين النقاط بتبقى أقل دلالة.
بالتفصيل
القاعدة العملية بتقول إن كل بُعد جديد محتاج تقريباً خمس أمثلة تدريب إضافية على الأقل علشان النموذج يقدر يعمم بشكل معقول، وده معناه إن عدد الأمثلة المطلوب بيكبر أسياً مع عدد الخصائص. في نفس الوقت، مقاييس المسافة زي Euclidean Distance بتفقد قدرتها على التمييز بين النقاط في الأبعاد العالية، لأن كل النقاط بتقرب من بعضها بنفس الدرجة تقريباً.
الظاهرة دي مرتبطة كمان بما يُعرف بـ Hughes phenomenon: دقة النموذج بتتحسن مع إضافة خصائص لحد نقطة معينة، بعدها بتبدأ تقل رغم إن الخصائص الإضافية بتحمل معلومات أكتر نظرياً، لأن حجم بيانات التدريب الثابت مبقاش كافي لتغطية الفضاء الجديد.
مثال عملي
100 نقطة كفاية لتغطية خط طوله واحد بفواصل قدرها 0.01 بين كل نقطة والتانية. لو حبينا نفس الكثافة في فضاء عنده عشر أبعاد، هنحتاج 10 مرفوعة للقوة 20 نقطة — رقم فلكي مستحيل عملياً.
خلي بالك: إضافة خصائص جديدة للنموذج مش دايماً تحسين؛ لو البيانات مكفتش، النتيجة ممكن تبقى أسوأ.
مصطلحات مرتبطة
Overfitting، PCA، Feature Selection. الحد من عدد الأبعاد بطرق زي تقليل الخصائص بيساعد في تجنب هذه اللعنة.
المصادر: Wikipedia
