باختصار
IFEval (اختصار Instruction-Following Eval) اختبار قياسي بسيط وسهل التكرار لقدرة النماذج اللغوية على اتّباع التعليمات المكتوبة.
بالتفصيل
المشكلة اللي الاختبار بيحلّها، حسب ورقته (نوفمبر 2023): تقييم اتّباع التعليمات مش موحّد.
- Human Evaluation (التقييم البشري) غالي وبطيء ومش قابل للتكرار بشكل موضوعي.
- التقييم الآلي بنموذج لغوي ممكن يكون متحيّز، أو محدود بقدرة النموذج المقيِّم.
الحلّ: التركيز على «تعليمات قابلة للتحقّق» (Verifiable Instructions)، يعني تعليمات ممكن برنامج بسيط يتأكّد هل اتنفّذت ولا لأ. الباحثين حدّدوا 25 نوع من التعليمات دي، وبنوا حوالي 500 موجّه، كل واحد فيه تعليمة أو أكتر.
مثال عملي
أمثلة من الورقة على التعليمات القابلة للتحقّق:
- «اكتب أكتر من 400 كلمة».
- «اذكر الكلمة المفتاحية AI تلات مرّات على الأقل».
عدّ الكلمات أو عدّ مرّات ظهور كلمة حاجة يعملها سطر كود، من غير ما تحتاج إنسان أو نموذج يحكم.
عمليًا، لو بتبني منتج بيعتمد إن النموذج يطلّع شكل محدّد (عدد نقاط، طول معيّن، صيغة JSON)، النتيجة على IFEval مؤشّر مفيد. لكن خلّي بالك: الاختبار بيقيس الالتزام بالشكل، مش جودة المحتوى نفسه.
مصطلحات مرتبطة
- Instruction Tuning — ضبط التعليمات.
- Structured Output — المخرجات المنظّمة.
- Benchmark — المعيار القياسي.
- LLM-as-a-Judge — النموذج كحَكَم.
المصادر: arXiv — IFEval (Zhou et al.) — 2023-11-14
