باختصار
AUC (اختصار Area Under the ROC Curve، أي المساحة تحت منحنى ROC) رقم بين 0.0 و1.0 بيقيس قد إيه نموذج التصنيف الثنائي قادر يفصل الحالات الإيجابية عن السلبية. كل ما قرّب من 1.0، كان أحسن.
بالتفصيل
أغلب نماذج التصنيف بتطلّع احتمال، وإنت اللي بتحدّد عتبة (Classification Threshold): فوقها «إيجابي» وتحتها «سلبي». المقاييس زي الـ Precision والـ Recall بتتغيّر لما تغيّر العتبة.
الـ AUC مختلف: بيتجاهل أي عتبة إنت حاطّها، وبيبصّ على كل العتبات الممكنة مرّة واحدة. وده من خلال منحنى ROC: محوره الرأسي هو True Positive Rate (نفس الـ Recall)، ومحوره الأفقي هو False Positive Rate، أي نسبة الحالات السلبية الحقيقية اللي النموذج قال عليها «إيجابي» بالغلط. والـ AUC هو المساحة اللي تحت المنحنى ده.
وفيه تعريف أبسط في مسرد Google: الـ AUC هو احتمال إن النموذج يكون أكثر ثقة إن مثال إيجابي مختار عشوائيًا هو إيجابي، مقارنة بمثال سلبي مختار عشوائيًا.
مثال عملي
- AUC = 1.0: نموذج بيفصل الإيجابي عن السلبي فصل كامل. مثالي بشكل مش واقعي.
- AUC = 0.5: نموذج بيطلّع نتايج عشوائية. لاحظ إنها 0.5 مش صفر، لأن رمي عملة بيصيب نص المرّات.
- بين 0.5 و1.0: معظم النماذج الحقيقية، بتفصل الفئات «إلى حدّ ما».
عمليًا: لو بتقارن نموذجين لكشف الاحتيال ولسّه ما قرّرتش هتحطّ العتبة فين، الـ AUC بيدّيك مقارنة عادلة بينهم. ولما تختار العتبة بعد كده، ارجع للـ Precision والـ Recall عشان تشوف التكلفة الحقيقية.
مصطلحات مرتبطة
- ROC Curve — منحنى خصائص التشغيل.
- Classification Threshold — عتبة التصنيف.
- True Positive Rate — معدّل الإيجابي الصحيح.
- False Positive Rate — معدّل الإيجابي الكاذب.
المصادر: Google ML Glossary
