باختصار
MT-Bench مجموعة أسئلة متعدّدة الأدوار (Multi-turn) لتقييم مساعدي المحادثة المبنية على نماذج لغوية، بيقيّم إجاباتها نموذج لغوي قوي بدل البشر.
بالتفصيل
الاختبار اتقدّم في ورقة Judging LLM-as-a-Judge (يونيو 2023)، اللي انطلقت من مشكلة: المساعدات قدراتها واسعة، والاختبارات الموجودة مش كفاية لقياس تفضيلات البشر. فالباحثين جرّبوا استخدام نماذج قوية كحكّام على أسئلة مفتوحة.
الورقة درست حدود الفكرة دي، ولقت تحيّزات لازم تاخد بالك منها:
- Position Bias: الحَكَم بيفضّل إجابة بسبب ترتيبها.
- Verbosity Bias: بيفضّل الإجابة الأطول.
- Self-enhancement Bias: بيفضّل إجابات شبه إجاباته هو.
- وقدرة استدلال محدودة في بعض الأسئلة.
واقترحت حلول لتخفيف بعضها.
مثال عملي
عشان يتأكّدوا من الفكرة، قارنوا أحكام النماذج بتفضيلات البشر في MT-Bench وفي Chatbot Arena (منصّة مقارنات جماعية). النتيجة: حكّام قويين زي GPT-4 وصلوا لاتّفاق أكتر من 80% مع تفضيلات البشر، وده نفس مستوى اتّفاق البشر مع بعض.
ونشروا أسئلة MT-Bench، و3 آلاف صوت من خبراء، و30 ألف محادثة بتفضيلات بشرية.
الدرس العملي: لو هتستخدم نموذج كحَكَم، بدّل ترتيب الإجابتين واحكم مرّتين، عشان تقلّل تحيّز الترتيب.
مصطلحات مرتبطة
- LLM-as-a-Judge — النموذج كحَكَم.
- Chatbot Arena — ساحة مقارنة روبوتات المحادثة.
- Pairwise Comparison — المقارنة الثنائية.
- Autorater Evaluation — التقييم بنموذج حَكَم.
المصادر: arXiv — Judging LLM-as-a-Judge (Zheng et al.) — 2023-06-09
