المستوى: متقدم — تحتاج خبرة بالتعلم التعزيزي وموارد حوسبة. وقت التنفيذ: من 18 إلى 34 ساعة على بطاقة H200 واحدة.
الفكرة الجريئة في التجربة دي: تطبيق التعلم التعزيزي على شيء ما لهوش إجابة صحيحة موضوعية. الهدف تدريب نموذج على كتابة كود JavaScript يرسم لوحات بالألوان المائية عبر مكتبة p5.brush.
مكوّنات المنظومة
المدرّب هو GRPOTrainer من مكتبة TRL. والبيئة عبارة عن Space بحاوية Docker تستضيف مكتبة p5.brush مع متصفح Chromium بلا واجهة للعرض. والحَكَم نموذج بصري عبر مزوّدي الاستدلال. والتخزين والتشغيل على مستودعات المنصة وخدمة HF Jobs. والنموذج المستخدم Qwen/Qwen3.5-35B-A3B بمزيج خبراء، مضبوط بمحوّلات LoRA على كل الطبقات الخطية.
الخطوات
1. صمّم البيئة. النموذج يخرج سكربت JavaScript بطول نحو 150 سطرًا، مقيّدًا بعشر دوال فقط من أصل 47 في واجهة p5.brush.
2. اعرض وتحقق. المتصفح يرسم النتيجة كصورة، وبوابة تحقق ترفض السكربت لو لم يُصرَّف، أو لو غشّ بكتابة نص على اللوحة، أو لو لم ينتج صبغة مرئية.
3. ابنِ دالة المكافأة. أربعة مكوّنات بأوزان: البوابة 0.05، والطول 0.05، والحَكَم المقارن بين 0.30 و 0.60، ونموذج التفضيل الجمالي HPSv3 بين 0.30 و 0.90. المرجع 178 لوحة مائية مقيّمة يدويًا ومقسّمة إلى فئتين.
4. درّب. معدل تعلم 5e-5 بجدول ثابت مع خمس خطوات إحماء، وحجم دفعة 1 لكل جهاز مع 8 خطوات تراكم، و 8 إكمالات لكل خطوة بحد 8,192 رمزًا، وعدد خطوات بين 60 و 110.
النتائج والدرس المستفاد
في التشغيل المعتمد على HPSv3 وحده، ارتفعت المكافأة 0.13 خلال 60 خطوة. وفي التشغيل بقيادة الحَكَم المقارن ارتفعت 0.27 خلال 110 خطوات، وارتفعت تغطية الطلاء من 0.11 إلى 0.23. وفي التشغيل بقيادة HPSv3 ارتفعت 0.24 وارتفعت التغطية من 0.13 إلى 0.30.
الملاحظة الأهم: النموذج تعلّم أولًا التخلص من المخرجات الرديئة، ثم بدأ يحسّن الجودة لما وجّهه مجمع المراجع. وعمليًا، العرض في المتصفح استهلك 70 إلى 80٪ من زمن كل خطوة، بين 69 و 96 ثانية لكل رسمة — أي أن عنق الزجاجة كان العرض لا التدريب.
جرّب بنفسك
الوصفة تحتاج نسخ Space البيئة و Space مقيّم HPSv3 إلى حسابك، ثم تشغيل أمر واحد عبر hf jobs يحدد النموذج ومعدل التعلم وعدد الخطوات وموضوع الرسم. كل المخرجات منشورة ومفتوحة: مجمع المراجع، ومحوّلات LoRA الثلاثة، ومجموعات بيانات التشغيل الكاملة، ومعرض تفاعلي للنتائج. لو ما عندكش بطاقة H200، اقرأ التجربة كنموذج لتصميم المكافآت أكثر من كونها وصفة للتنفيذ الحرفي.
المصادر: Hugging Face — 2026-09-02
