باختصار
التقطير الذاتي (Self-Distillation) هو أن يولّد النموذج نفسه بيانات التدريب اللي هيتدرّب عليها لاحقًا، بدل جلبها من نموذج خارجي أو من بشر.
بالتفصيل
التقطير التقليدي بيكون بين نموذجَين: نموذج «معلّم» أكبر، ونموذج «طالب» أصغر يتعلّم تقليد مخرجاته. أما التقطير الذاتي فبيلغي الطرف الخارجي: النموذج المستهدَف نفسه هو مصدر الأمثلة.
الوصفة العملية بسيطة في ظاهرها. بتاخد النموذج، وتوجّهه نحو السلوك المطلوب في كل حالة تدريب (مثلًا رفض طلب ضارّ)، وبتحتفظ بالآثار اللي يتحقّق منها نموذج حراسة كرفض حقيقي. الآثار المقبولة دي تبقى مجموعة التدريب.
الميزة الكبرى إن البيانات بتبقى «داخل توزيع» النموذج — مكتوبة بأسلوبه وبنبرته، مش مستوردة من نموذج تاني بأسلوب مختلف. وده بيقلّل تشوّه السلوك. أرقام ورقة Multiverse Computing بتدعم ده: استبدال استجابات الامتثال المستوردة من الخارج باستجابات يولّدها النموذج المستهدَف نفسه خفّض الرفض المفرط على XSTest من 15.20% إلى 5.20%، بتكلفة بسيطة في جانب الضرر.
لكن للطريقة عيب معروف: فجوة التغطية. محاولة توجيه واحدة ما بتنتجش دايمًا رفضًا مقبولًا، والطلبات الفاشلة دي بتتحذف بصمت من مجموعة التدريب — وغالبًا هي بالظبط أصعب الأمثلة. في الورقة، أسقط التوليد من محاولة واحدة 19.88% من الطلبات (8009 طلبًا).
الحلّ اللي طبّقوه هو استراتيجية إعادة محاولة تصاعدية: إعادة أخذ العيّنة لنفس الطلب عبر توجيه أقوى تدريجيًا. ده خفّض الفشل المتبقّي إلى 0.20% فقط (79 طلبًا)، وأبقى 40,293 طلب تدريب ضارّ كان خطّ الأنابيب الساذج هيرميهم.
مثال عملي
عايز مساعدك يرفض طلبات كتابة رسائل تصيّد احتيالي، من غير ما يرفض أسئلة التوعية بالتصيّد. بدل ما تشتري بيانات جاهزة، بتخلّي النموذج يولّد رفضًا لكل طلب ضارّ، وتفحص الرفض بنموذج حراسة، وتحتفظ بالمقبول فقط — وتعيد المحاولة بتوجيه أقوى للحالات اللي فشلت بدل ما ترميها.
مصطلحات مرتبطة
- Distillation — التقطير الكلاسيكي بين معلّم وطالب.
- Supervised Fine-Tuning — الضبط الدقيق المُشرَف، خطوة التدريب اللي بتستقبل البيانات المولّدة.
- Synthetic Data — البيانات الاصطناعية، الفئة الأوسع اللي ينتمي لها.
المصادر: Hugging Face — 2026-09-08
