باختصار
الـ LLM-as-a-Judge هو استخدام نموذج لغوي قوي لتقييم إجابات نماذج أخرى على أسئلة مفتوحة، بدلًا من الاعتماد الكامل على محكّمين بشر.
بالتفصيل
المقاييس التقليدية بتنجح مع الأسئلة ذات الإجابة الواحدة الصحيحة، لكنها بتفشل في قياس شيء مثل «أي إجابة أفضل» في محادثة مفتوحة. الورقة «Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena» لفريق من جامعة كاليفورنيا بيركلي وزملائهم — من بينهم ليانمين تشنغ ووي-لين تشيانغ وجوزيف غونزاليس وأيون ستويكا — تدرس هذا البديل.
الباحثون بنوا أداتين: MT-Bench، وهي مجموعة أسئلة متعددة الأدوار؛ و Chatbot Arena، منصة جماهيرية للمقارنة بين النماذج. والنتيجة الأساسية أن الحكّام الأقوياء مثل GPT-4 يحققون توافقًا يتجاوز 80٪ مع التقييمات البشرية المضبوطة والجماهيرية معًا — وهي نفس درجة الاتساق بين المحكّمين البشريين أنفسهم.
لكن الورقة تحدد تحيزات يجب الانتباه لها: تحيّز الموضع position bias، حيث يفضّل الحكم الإجابة الأولى أو الثانية بحكم الترتيب؛ وتحيّز الإطالة verbosity bias، حيث يفضّل الأطول؛ وتحيّز تفضيل الذات self-enhancement bias، حيث يفضّل الحكم مخرجات النماذج المشابهة له؛ وقدرة استدلال محدودة في المسائل الرياضية والمنطقية. واقترح الباحثون طرق تخفيف لكل واحدة، وأتاحوا أسئلة MT-Bench وثلاثة آلاف تصويت من خبراء و 30 ألف محادثة موسومة بالتفضيلات.
مثال عملي
لو عندك مساعد خدمة عملاء بالعربية وبتجرّب ثلاث صيغ للموجّه، تقييم مئة رد يدويًا مكلف. تبني بدلها حكمًا آليًا يقارن بين ردّين في كل مرة وفق معايير مكتوبة. لتفادي تحيّز الموضع، شغّل كل مقارنة مرتين بترتيب معكوس واعتبر النتيجة تعادلًا لو اختلفت. ولتفادي تحيّز الإطالة، اذكر في تعليمات الحكم أن الطول ليس معيار جودة.
مصطلحات مرتبطة
المعيار المرجعي (Benchmark)، لوحة الصدارة (Leaderboard)، نظام إيلو للتصنيف (Elo Rating System)، نموذج المكافأة (Reward Model)، التحيز (Bias).
المصادر: arXiv — 2023-06-09
