محاذاة التفضيلات بنسبة الأرجحيةORPO

باختصار

طريقة ORPO (اختصار Odds Ratio Preference Optimization) تعلّم النموذج اللغوي ما يفضّله الناس في خطوة واحدة، بدل خطوتين ونموذج مرجعي إضافي.

بالتفصيل

الطريقة المعتادة تشبه تعليم طفل الأدب على مرحلتين: تعلّمه الكلام أوّلًا، ثم تصحّح أسلوبه لاحقًا. فيمرّ النموذج بـSupervised Fine-Tuning أوّلًا، ثم بخوارزمية تفضيلات مثل DPO.

ورقة ORPO (مارس 2024) سألت سؤالًا بسيطًا: لماذا لا نصحّح الأسلوب أثناء التعليم نفسه؟ ووجد الباحثون أن:

• عقوبة صغيرة على أسلوب التوليد غير المفضّل تكفي أثناء الضبط المُشرَف عليه.
• Odds Ratio (نسبة الأرجحية) أداة مناسبة للمقارنة بين الإجابة المفضّلة وغير المفضّلة، وقد تحقّقوا من ذلك عمليًا ونظريًا على أحجام من 125 مليونًا إلى 7 مليارات معامل.

النتيجة خوارزمية من خطوة واحدة (Monolithic)، دون نموذج مرجعي يأكل الذاكرة.

مثال عملي

بحسب الورقة، ضُبطت Phi-2 (2.7 مليار) وLlama-2 (7 مليارات) وMistral (7 مليارات) بطريقة ORPO على بيانات UltraFeedback وحدها، فتفوّقت على نماذج أكبر منها، ووصلت إلى:

• حتى 12.20% في AlpacaEval 2.0.
• 66.19% في IFEval (على مستوى التعليمات، بتقييم مرن).
• 7.32 في MT-Bench.

إذا كنت في فريق صغير يضبط نماذج مفتوحة، فمرحلة واحدة بدل اثنتين تعني تجارب أسرع وفاتورة أقلّ. والفرق الصغيرة تعرف قيمة الاثنين جيدًا.

مصطلحات مرتبطة

• DPO — تحسين التفضيلات المباشر.
• RLHF — التعلّم المعزّز من التغذية الراجعة البشرية.
• Supervised Fine-Tuning — الضبط الدقيق المُشرَف عليه.
• Log-Odds — لوغاريتم الأرجحية.

المصادر: arXiv — ORPO (Hong et al.) — 2024-03-12