باختصار
GPQA (اختصار Graduate-Level Google-Proof Q&A) اختبار قياسي فيه 448 سؤال اختيار من متعدّد في الأحياء والفيزياء والكيمياء، كتبهم خبراء في المجالات دي، ومصمّم يكون صعب جدًا حتى مع الإنترنت.
بالتفصيل
الورقة اللي قدّمت الاختبار (نوفمبر 2023) بتقول إن الأسئلة صعبة لدرجة:
- الخبراء اللي معاهم دكتوراه أو بيحضّروها في نفس المجال جابوا 65%، و74% لو شلت الأخطاء الواضحة اللي الخبراء نفسهم اكتشفوها بعدين.
- غير المتخصّصين الأكفاء جابوا 34% بس، مع إنهم قضّوا في المتوسّط أكتر من 30 دقيقة والإنترنت مفتوح قدّامهم من غير قيود. عشان كده بيتقال إن الأسئلة Google-proof.
- أقوى نموذج وقتها، مبني على GPT-4، جاب 39%.
الهدف الأصلي مش بس قياس النماذج. الباحثين عايزين بيئة لتجارب Scalable Oversight (الإشراف القابل للتوسّع): إزاي البشر يقدروا يراقبوا ويتأكّدوا من إجابات أنظمة ذكاء اصطناعي ممكن تبقى أذكى منهم في مجالات معيّنة؟ اختبار الإنسان غير المتخصّص فيه ما يقدرش يتأكّد من الإجابة بنفسه هو بالظبط البيئة دي.
مثال عملي
لما تقرا في إعلان نموذج جديد «نتيجة كذا على GPQA»، قارن النتيجة بالأرقام المرجعية: 65% للخبراء و34% لغير المتخصّصين. لو نموذج عدّى رقم الخبراء، ده معناه إنه بقى بيجاوب أسئلة علمية متخصّصة أحسن من اللي عندهم دكتوراه فيها، على الأقل في صيغة الاختيار من متعدّد.
مصطلحات مرتبطة
- Benchmark — المعيار القياسي.
- Scalable Oversight — الإشراف القابل للتوسّع.
- Humanity’s Last Exam — الامتحان الأخير للبشرية.
- Accuracy — الدقّة الإجمالية.
المصادر: arXiv — GPQA (Rein et al.) — 2023-11-20
