باختصار
التعلّم المعزّز بمكافآت قابلة للتحقّق (Reinforcement Learning with Verifiable Rewards، واختصاره RLVR) طريقة لتدريب النماذج اللغوية بعد التدريب الأساسي، بياخد فيها النموذج مكافأة لما ناتجه يعدّي فحص آلي نقدر نتحقّق منه، بدل ما تيجي المكافأة من تقييم بشري أو نموذج مكافأة.
بالتفصيل
الاسم ظهر في ورقة Tulu 3 من معهد Ai2، اللي نشرت وصفة كاملة ومفتوحة لتدريب ما بعد التدريب (Post-training). الوصفة فيها تلات مراحل: الضبط الدقيق الموجّه (SFT)، وتحسين التفضيلات المباشر (DPO)، وطريقة جديدة سمّوها RLVR.
الفكرة إن فيه مهام نتيجتها ممكن تتفحص آليًا: مسألة رياضة ليها إجابة نهائية واحدة، أو كود لازم يعدّي اختبارات، أو تعليمات فيها قيود قابلة للقياس. هنا مش محتاج إنسان يقول «الإجابة دي أحسن»، الفحص نفسه بيقول صح أو غلط.
وعشان كده بقت «البيئات» مهمّة جدًا. في تقرير The New Stack عن نموذج MiMo-V2.6 من Xiaomi، قال Thomas Wolf من Hugging Face إن نشر بيئات تعلّم معزّز عالية الجودة هو «المكافئ لمشاركة بيانات تدريب مسبق عالية الجودة، لكن في نموذج RLVR الجديد»، لأن RLVR بيعتمد على مهام نتيجتها بتتفحص آليًا.
الحدود: مش كل حاجة ليها فحص واضح. كتابة مقال مقنع أو ردّ لطيف على عميل صعب تحوّلها لاختبار آلي. وممكن النموذج يتعلّم يعدّي الفحص من غير ما يحلّ المشكلة فعلًا، زي إنه يعدّل الاختبارات بدل الكود، وده اللي بيسمّوه التحايل على المكافأة.
مثال عملي
بتدرّب نموذج على البرمجة. بتدّيه مهمّة: «اكتب دالة ترتّب قائمة». بيكتب محاولات، وكل محاولة بتتشغّل على 20 اختبار. اللي عدّت كلها تاخد مكافأة 1، والباقي 0. مع آلاف المهام دي، النموذج بيتعلّم يكتب كود بيشتغل فعلًا، من غير ما حد يقيّم كل محاولة بإيده.
مصطلحات مرتبطة
- Reward Hacking — التحايل على المكافأة.
- RLHF — التعلّم المعزّز من التغذية الراجعة البشرية.
- DPO — تحسين التفضيلات المباشر.
المصادر: arXiv — Tulu 3، The New Stack — 2024-11-22, 2026-09-23
