نماذج المعلم والطالب (Teacher-Student Models) مصطلح ظهر في محتوى قرمصيص ويستحق تعريفاً مستقلاً. إطار ينقل سلوك نموذج كبير أو مجموعة نماذج إلى نموذج أصغر يتعلم تقليد مخرجاتها.
باختصار
إطار ينقل سلوك نموذج كبير أو مجموعة نماذج إلى نموذج أصغر يتعلم تقليد مخرجاتها.
بالتفصيل
ينتج المعلم أهدافاً أو توزيعات ناعمة، ثم يدرب الطالب على تقليل الفرق بينها وبين توقعاته. الهدف غالباً ضغط النموذج لتسريع الاستنتاج وخفض الذاكرة، وليس نسخ الأوزان. قد يجمع التدريب بين تسميات البيانات ومخرجات المعلم.
لفهم المصطلح عملياً، اسأل دائماً: ما المدخلات؟ ما الناتج؟ ما الافتراضات؟ وكيف نقيس النجاح على بيانات منفصلة؟ الاسم وحده لا يثبت أن الطريقة أنسب أو أحدث، والمقارنة العادلة تحتاج خط أساس ومقياساً مناسباً.
مثال عملي
يعلّم نموذج رؤية كبير نموذج هاتف أصغر تمييز الأنواع، ثم يُنشر الطالب محلياً بزمن أقل.
خلي بالك: قد ينقل الطالب أخطاء المعلم وانحيازاته، وعادة لا يحتفظ بكل قدراته.
مصطلحات مرتبطة
Knowledge Distillation، Soft Labels، Model Compression. جمع هذه المفاهيم يوضح موقع المصطلح داخل دورة بناء النظام وتقييمه وتشغيله.
المصادر: Distilling the Knowledge — 2015-03-09
