باختصار
Process Reward Model أو PRM (نموذج مكافأة العملية) نموذج مكافأة متدرّب على تقييم كل خطوة وسيطة في التفكير، عكس Outcome Reward Model (نموذج مكافأة النتيجة) اللي بيقيّم الإجابة النهائية بس.
بالتفصيل
حسب ورقة Let’s Verify Step by Step (مايو 2023)، حتى أقوى النماذج بتغلط غلطات منطقية بانتظام في التفكير متعدّد الخطوات. وعشان تدرّب نماذج أكثر موثوقية، عندك اختيارين:
- Outcome Supervision (الإشراف على النتيجة): تغذية راجعة على النتيجة النهائية.
- Process Supervision (الإشراف على العملية): تغذية راجعة على كل خطوة وسيطة.
ولأن التغذية الراجعة البشرية غالية، المقارنة بينهم مهمّة. والنتيجة: الإشراف على العملية تفوّق بشكل كبير على الإشراف على النتيجة في تدريب النماذج على حلّ مسائل من مجموعة MATH الصعبة.
مثال عملي
أرقام الورقة:
- النموذج بالإشراف على العملية حلّ 78% من مسائل مجموعة فرعية ممثّلة من اختبار MATH.
- Active Learning (التعلّم النشط) حسّن فعالية الإشراف على العملية بشكل كبير.
- نشروا مجموعة PRM800K: 800 ألف تسمية بشرية على مستوى الخطوات، استخدموها لتدريب أفضل نموذج مكافأة عندهم.
ليه الفرق مهمّ؟ نموذج ممكن يوصل للإجابة الصحيحة بتفكير غلط، أو يغلط في خطوة واحدة ويضيّع حلّ كان ماشي صح. تقييم الخطوات بيكشف بالظبط فين المشكلة، زي مدرّس بيصحّح الحلّ خطوة خطوة بدل ما يبصّ على الناتج بس.
مصطلحات مرتبطة
- Reward Model — نموذج المكافأة.
- Reasoning Model — نموذج الاستدلال.
- RLVR — التعلّم المعزّز بمكافآت قابلة للتحقّق.
- Chain-of-Thought (CoT) — سلسلة الأفكار.
المصادر: arXiv — Let's Verify Step by Step (Lightman et al.) — 2023-05-31
