باختصار
اتّفاق المقيّمين (Inter-rater Agreement) هو قياس مدى تكرار اتّفاق مقيّمين بشريين عند أداء مهمّة معيّنة. لو اختلف المقيّمون، فتعليمات المهمّة قد تحتاج إلى تحسين.
بالتفصيل
لما تجهّز بيانات موسومة بالبشر — سواء لتصنيف تعليقات إلى «مسيء» أو «غير مسيء»، أو لتقييم جودة استجابة نموذج — إنت عمليًا بتفترض إن البشر بيفهموا المهمّة بنفس الطريقة، ولو أعطيتهم نفس المثال، هيوصلوا لنفس الحكم تقريبًا.
اتّفاق المقيّمين هو المقياس اللي بيتحقّق من الافتراض ده تجريبيًا. بتدّي نفس مجموعة الأمثلة لأكتر من مقيّم، وتقيس نسبة الحالات اللي اتّفقوا فيها.
وده بيُسمّى أحيانًا الاتّفاق بين المُعلِّقين (Inter-annotator Agreement) أو موثوقية المقيّمين المتعدّدين (Inter-rater Reliability). ومن أشهر مقاييسه المستخدَمة كابّا كوهين (Cohen’s Kappa)، اللي بيصحّح احتمال الاتّفاق العشوائي.
ولو الاتّفاق منخفض، المشكلة غالبًا مش في المقيّمين أنفسهم، بل في تعريف المهمّة نفسها: تعليمات غامضة، أو فئات متداخلة، أو مقياس فيه ذاتية أكتر ممّا اعتقدت.
وأهمّية القياس ده مباشرة على أي نموذج بيتدرّب على البيانات دي: لو البشر أنفسهم ما بيتّفقوش على التسمية الصحيحة، مفيش نموذج هيقدر «يتعلّم الحقيقة» — لأن الحقيقة نفسها غير محدّدة بدقّة.
مثال عملي
بتبني مجموعة بيانات لتصنيف مقالات إخبارية عربية إلى «موضوعية» أو «متحيّزة». تدّي نفس 200 مقال لثلاثة محرّرين.
لو اتّفق المحرّرون الثلاثة على 95% من المقالات، اتّفاق المقيّمين عالٍ وتعليمات المهمّة واضحة. لو الاتّفاق 55% فقط، فالمشكلة مش في المحرّرين — المفهوم نفسه «متحيّز» غامض وبيحتاج تعريفًا أدقّ قبل ما تكمّل جمع البيانات.
مصطلحات مرتبطة
- Human Evaluation — التقييم البشري.
- Labeled Example — المثال الموسوم.
- Rater — المُقيِّم.
المصادر: Google ML Glossary
