باختصار
SuperGLUE ليس امتحانًا واحدًا بل ثمانية، يقيس معًا القدرة العامة للنموذج اللغوي على فهم النصوص.
بالتفصيل
بحسب مسرد Google، تضمّ المجموعة 8 مجموعات بيانات:
- BoolQ: أسئلة إجابتها نعم أو لا.
- CommitmentBank (CB).
- COPA: اختيار البديل الأكثر معقولية.
- MultiRC: فهم القراءة عبر عدّة جمل.
- ReCoRD: فهم القراءة مع الحسّ العام.
- RTE: التعرّف على الاستلزام النصّي.
- WiC: معنى الكلمة في سياقها.
- WSC: تحدّي مخطّط Winograd لفهم الضمائر.
وعنوان الورقة الأصلية: SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems.
مثال عملي
تذكّر الشهادة المدرسية: طالب يحصل على الدرجة النهائية في الحساب ويرسب في القراءة لن يكون الأوّل على الفصل. والأمر نفسه هنا: نموذج بارع في أسئلة نعم ولا، لكنه لا يعرف على من يعود الضمير، سيظهر ضعفه في الدرجة الإجمالية.
ولأن لكل اختبار صيغته ومقياسه، تعطيك الدرجة الكلّية صورة أوسع من أيّ اختبار منفرد.
مصطلحات مرتبطة
- Benchmark — المعيار القياسي.
- Winograd Schema Challenge — تحدّي مخطّط Winograd.
- MMLU — اختبار الفهم اللغوي متعدّد المهام.
- Question Answering — الإجابة عن الأسئلة.
المصادر: Google ML Glossary
