باختصار
الضبط الدقيق بأخذ العيّنات والرفض (Rejection Sampling Fine-Tuning، واختصاره RFT) طريقة تدريب بتخلّي النموذج يولّد إجابات أو مسارات كتير، وبعدين «ترفض» الغلط وتحتفظ بالصحيح بس، وتستخدم الصحيح ده كبيانات ضبط دقيق للنموذج.
بالتفصيل
ورقة بحثية سنة 2023 عن الاستدلال الرياضي اقترحت RFT كطريقة لزيادة بيانات التدريب من غير مجهود بشري: النموذج المدرّب بيولّد مسارات حلّ، وبتتجمّع المسارات الصحيحة كبيانات تدريب إضافية. ولقى الباحثين إن المسارات المتنوّعة أكتر بتحسّن النتيجة أكتر، وإن الطريقة بتفيد النماذج الأضعف أكتر. وبجمع عيّنات من كذا نموذج، وصل LLaMA-7B لدقّة 49.3% في اختبار GSM8K مقابل 35.9% بالضبط الدقيق العادي.
الفكرة بسيطة، بس ليها عيبين بيوضّحهم فريق Perplexity في دراسة حديثة عن وكلاء بيستخدموا أدوات:
- النجاح في النتيجة مش معناه إن كل خطوة كانت صح. الوكيل ممكن يستدعي أداة غلط، وبعدين يصلّح نفسه ويوصل للإجابة. لو قلّدنا المسار كلّه، هنعلّمه الغلطة كمان.
- رمي الجلسات الفاشلة معناه إننا بنرمي أدلّة واضحة على أخطاء ممكن نتجنّبها.
وعشان كده Perplexity فصلت بين «أي جلسات تستاهل التقليد» و«أي خطوات فيها غلط يستاهل التصحيح»، وصحّحت الخطوات الغلط بتلميحات.
مثال عملي
عندك 1,000 مسألة رياضة ليها إجابات معروفة. بتخلّي النموذج يحلّ كل مسألة 10 مرّات. من الـ10,000 حلّ، بتحتفظ بالحلول اللي إجابتها النهائية صح، مثلًا 4,000 حلّ، وتدرّب النموذج عليها. المرّة الجاية هيبقى أحسن في الأنواع دي من المسائل، لأنه اتعلّم من أحسن محاولاته هو.
مصطلحات مرتبطة
- RLVR — التعلّم المعزّز بمكافآت قابلة للتحقّق.
- Self-Distillation — التقطير الذاتي.
- Fine-Tuning — الضبط الدقيق.
المصادر: arXiv — Scaling Relationship on Learning Mathematical Reasoning، MarkTechPost — Perplexity — 2023-08-03, 2026-09-25
