باختصار
Model Merging (دمج النماذج) مجموعة تقنيات بتجمع كذا نموذج متضبّط على مهام مختلفة في نموذج واحد متعدّد المهام، من غير تدريب إضافي.
بالتفصيل
حسب ورقة TIES-Merging (يونيو 2023)، مزايا Transfer Learning أدّت لانتشار نماذج كتير متضبّطة لمهمّة واحدة، كل واحد بيعمل حاجة واحدة وما بيستفيدش من الباقي. الدمج ظهر كحلّ، لكن الطرق الموجودة كانت بتتجاهل التداخل بين معاملات النماذج، فالأداء بيقع جامد لما تدمج نماذج كتير.
الورقة حدّدت مصدرين أساسيين للتداخل:
- قيم معاملات زائدة اتغيّرت شوية بس في الضبط.
- خلاف بين النماذج على إشارة المعامل نفسه: نموذج زوّده، والتاني نقّصه.
والحلّ في تلات خطوات (ومنها الاسم TIES: Trim, Elect Sign & Merge):
- قصّ: رجّع المعاملات اللي اتغيّرت بمقدار صغير بس.
- انتخاب الإشارة: حلّ تعارض الإشارات.
- دمج: ادمج بس المعاملات اللي متّفقة مع الإشارة النهائية.
مثال عملي
حسب الورقة، TIES-Merging تفوّق على طرق موجودة في إعدادات متنوّعة: وسائط ومجالات وعدد مهام وأحجام نماذج ومعماريات مختلفة. والتحليل أبرز أهمية حلّ تداخل الإشارات بالذات.
تطبيق: عندك نسختين من نفس النموذج الأساسي، واحدة متضبّطة على البرمجة وواحدة على الكتابة العربية. الدمج بيحاول يطلّع نموذج واحد فيه المهارتين، من غير ما تدفع تكلفة تدريب جديد.
مصطلحات مرتبطة
- Fine-tuning — الضبط الدقيق.
- Transfer Learning — نقل التعلّم.
- Multitask Learning — التعلّم متعدّد المهام.
- LoRA — التكيّف منخفض الرتبة.
المصادر: arXiv — TIES-Merging (Yadav et al.) — 2023-06-02
