باختصار
Self-Instruct إطار لتحسين قدرة النماذج اللغوية على اتّباع التعليمات، عن طريق إنها تولّد بيانات التدريب بنفسها بدل ما تعتمد على بيانات بشرية.
بالتفصيل
المشكلة حسب الورقة (ديسمبر 2022): النماذج المضبوطة على التعليمات (Instruction Tuning) بتعمّم كويس على مهام جديدة، لكنها معتمدة جدًا على بيانات تعليمات كتبها بشر، وغالبًا محدودة في الكمّية والتنوّع والإبداع.
خطوات Self-Instruct:
- النموذج بيولّد تعليمات، ومدخلات، ومخرجات.
- بيتفلتر الناتج: اللي مش صالح أو شبه غيره بيتشال.
- بيتضبط النموذج الأصلي على البيانات اللي فضلت.
مثال عملي
نتايج الورقة على GPT-3 الأصلي:
- تحسّن مطلق 33% على Super-NaturalInstructions، وبقى في مستوى InstructGPT-001 اللي اتدرّب على بيانات مستخدمين خاصّة وتسميات بشرية.
- على مجموعة تعليمات كتبها خبراء لمهام جديدة، وبتقييم بشري: Self-Instruct تفوّق بفارق كبير على مجموعات التعليمات العامة الموجودة، وفضلت فجوة مطلقة 5% بس عن InstructGPT-001.
الأهمية: الطريقة شبه خالية من التسمية البشرية، والباحثين نشروا مجموعة البيانات الاصطناعية (Synthetic Data) الكبيرة عشان تسهّل أبحاث ضبط التعليمات بعدها.
مصطلحات مرتبطة
- Instruction Tuning — ضبط التعليمات.
- Synthetic Data — البيانات الاصطناعية.
- Supervised Fine-Tuning — الضبط الدقيق المُشرَف عليه.
- Model Collapse — انهيار النموذج.
المصادر: arXiv — Self-Instruct (Wang et al.) — 2022-12-20
