باختصار
Humanity’s Last Exam أو HLE اختبار قياسي متعدّد الوسائط على حدود المعرفة البشرية، مصمّم يكون آخر اختبار أكاديمي «مغلق الإجابة» من نوعه بتغطية واسعة للمواد.
بالتفصيل
المشكلة اللي الاختبار بيحلّها: الاختبارات القياسية مش ملاحقة تطوّر النماذج. حسب الورقة، النماذج اللغوية بقت تجيب أكتر من 90% في اختبارات مشهورة زي MMLU، فبقى صعب نقيس الفرق بين أقوى النماذج.
مواصفات HLE:
- 2,500 سؤال في عشرات المواد، منها الرياضيات والعلوم الإنسانية والعلوم الطبيعية.
- كتبها خبراء في المجالات دي من حوالين العالم.
- أسئلة اختيار من متعدّد وأسئلة إجابة قصيرة، مناسبة للتصحيح الآلي.
- كل سؤال ليه حلّ معروف وواضح وسهل التحقّق منه، لكن ما ينفعش تلاقيه بسرعة بالبحث على الإنترنت.
وقت النشر، النماذج الرائدة جابت دقّة واطية ومعايرة (Calibration) ضعيفة على الاختبار. يعني مش بس بتغلط، لكن كمان بتبقى واثقة من إجابات غلط.
مثال عملي
لما شركة تعلن نموذج جديد وتقول «نتيجتنا على HLE ارتفعت من كذا لكذا»، ده معناه إن النموذج بقى بيجاوب أسئلة أصعب على مستوى الخبراء. لكن خلّي بالك من حاجتين: هل النموذج كان مسموح له يستخدم أدوات زي البحث والكود؟ وهل الرقم معاه معايرة؟ نموذج بيقول «مش متأكّد» لما ما يعرفش أنفع من نموذج بيخمّن بثقة.
مصطلحات مرتبطة
- Benchmark — المعيار القياسي.
- MMLU — اختبار الفهم اللغوي متعدّد المهام.
- Calibration — معايرة الاحتمالات.
- GPQA — اختبار أسئلة الدراسات العليا.
المصادر: arXiv — Humanity's Last Exam (Phan et al.) — 2025-01-24
