باختصار
Self-Instruct إطار يجعل النموذج اللغوي يكتب تمارينه بنفسه، ثم يتدرّب عليها ليتحسّن في اتّباع التعليمات.
بالتفصيل
تقول الورقة (ديسمبر 2022) إن النماذج المضبوطة على التعليمات (Instruction Tuning) تعمّم جيدًا على مهام جديدة، لكنها تعتمد على تعليمات كتبها بشر، وهذه محدودة في الكمّية والتنوّع والخيال.
وخطوات Self-Instruct:
- يولّد النموذج تعليمات ومدخلات ومخرجات.
- يُستبعد ما لا يصلح أو ما يشبه غيره.
- يُضبط النموذج الأصلي على ما تبقّى.
مثال عملي
نتائج الورقة على GPT-3 الأصلي:
- تحسّن مطلق بنسبة 33% في Super-NaturalInstructions، فصار في مستوى InstructGPT-001 الذي تدرّب على بيانات مستخدمين خاصّة وتسميات بشرية.
- وعلى تعليمات كتبها خبراء لمهام جديدة، بتقييم بشري: تفوّق بفارق كبير على مجموعات التعليمات العامة، ولم يتأخّر عن InstructGPT-001 إلّا بفارق مطلق 5%.
إنها فكرة الطالب الذي يكتب أسئلة الامتحان لنفسه ثم يجيب عنها. تبدو غشًّا، لكن الفلتر في الخطوة الثانية هو ما يجعلها تعلّمًا. والطريقة تكاد تستغني عن التسمية البشرية، ونشر الباحثون مجموعة البيانات الاصطناعية (Synthetic Data) الكبيرة لتسهيل أبحاث ضبط التعليمات بعدها.
مصطلحات مرتبطة
- Instruction Tuning — ضبط التعليمات.
- Synthetic Data — البيانات الاصطناعية.
- Supervised Fine-Tuning — الضبط الدقيق المُشرَف عليه.
- Model Collapse — انهيار النموذج.
المصادر: arXiv — Self-Instruct (Wang et al.) — 2022-12-20
