باختصار
Weak-to-Strong Generalization (التعميم من الضعيف للقوي) هو إن نموذج قوي متدرّب على تسميات من نموذج أضعف بيطلع أداؤه أحسن من المشرف الضعيف نفسه.
بالتفصيل
المشكلة حسب الورقة (ديسمبر 2023): تقنيات المحاذاة زي RLHF بتعتمد على إن البشر يقدروا يقيّموا سلوك النموذج. لكن النماذج الأذكى من البشر مستقبلًا هتتصرّف بطرق أعقد من إن البشر يقيّموها بشكل موثوق، فالبشر هيقدروا يشرفوا عليها «إشراف ضعيف» بس.
عشان يدرسوا ده النهارده، الباحثين عملوا تشبيه: هل إشراف نموذج ضعيف يقدر يطلّع القدرات الكاملة لنموذج أقوى بكتير؟ وجرّبوا على نماذج من عائلة GPT-4 في مهام لغوية وشطرنج ونمذجة المكافأة.
النتايج:
- لما تضبط نموذج قوي ببساطة على تسميات نموذج ضعيف، بيطلع باستمرار أحسن من مشرفه. وده اللي سمّوه التعميم من الضعيف للقوي.
- لكن لسّه بعيد عن استرجاع كل قدرات النموذج القوي بالضبط الدقيق البسيط. وده بيقترح إن تقنيات زي RLHF ممكن ما تتوسّعش كويس للنماذج الخارقة من غير شغل إضافي.
مثال عملي
طرق بسيطة بتحسّن النتيجة كتير. مثال من الورقة: ضبط GPT-4 بمشرف بمستوى GPT-2، مع خسارة ثقة مساعدة (Auxiliary Confidence Loss)، وصل لأداء قريب من مستوى GPT-3.5 في المهام اللغوية.
بالتشبيه: مدرّس متوسّط المستوى بيصحّح لطالب عبقري. التجربة بتقول إن الطالب ممكن يطلع أحسن من مدرّسه، لكن مش بكامل قدرته. والسؤال: إزاي نطلّع الباقي؟
مصطلحات مرتبطة
- Scalable Oversight — الإشراف القابل للتوسّع.
- Alignment — المحاذاة.
- RLHF — التعلّم المعزّز من التغذية الراجعة البشرية.
- Artificial Superintelligence — الذكاء الاصطناعي الخارق.
المصادر: arXiv — Weak-to-Strong Generalization (Burns et al.) — 2023-12-14
