المقارنة الثنائية (Pairwise Comparison) طريقة تقييم بتعرض عنصرين في نفس الوقت — زي إجابتين من نموذجين مختلفين — على مُقيّم عشان يحدد أيهما أفضل، بدل تقييم كل عنصر لوحده على مقياس رقمي منفصل.
باختصار
بدل السؤال “قيّم الإجابة دي من 1 لـ 10″، السؤال بيبقى “أي الإجابتين دول أحسن؟”، وده بيقلل التناقض بين المُقيّمين المختلفين لأن المقارنة النسبية أسهل من التقييم المطلق.
بالتفصيل
في تقييم النماذج اللغوية، المقارنة الثنائية بتُثبت إنها أكتر ثباتاً من التقييم المباشر خصوصاً في جوانب ذاتية زي الإقناع والأسلوب والتماسك. دراسات وجدت إن أحكام المقارنة الثنائية بتتفق مع تقييم البشر بدرجة أعلى من الدرجات المطلقة على مقياس ثابت، لأن المُقيّم مش محتاج يحدد معيار مطلق لكل درجة.
لما نموذج لغوي نفسه بيستخدم كمُقيّم (LLM-as-a-Judge)، دراسة قارنت أحكام GPT-4 بتفضيلات بشر جمعوها عن طريق الحشد (Crowdsourcing) ولقت اتفاق يتعدى 80% بين الاتنين.
مثال عملي
منصة Chatbot Arena جمعت أكتر من 1.5 مليون مقارنة ثنائية بين أكتر من 100 نموذج، واستخدمت النتائج دي لحساب تقييم Elo لكل نموذج، بنفس المبدأ اللي بيتحسب بيه تصنيف لاعبي الشطرنج.
خلي بالك: المقارنة الثنائية بتقول أيهما أفضل، لكن مش بالضرورة بتقول أيهما “كويس بما فيه الكفاية” لاستخدام معين؛ محتاجة معايير إضافية لده.
مصطلحات مرتبطة
Elo Rating System، Chatbot Arena، LLM-as-a-Judge.
المصادر: Evidently AI
