باختصار
Contrastive Learning (التعلّم التبايني) طريقة تعلّم ذاتي الإشراف: النموذج بيتعلّم إن نسختين معدّلتين من نفس الصورة «شبه بعض»، وإن الصور المختلفة «مختلفة»، من غير ما حدّ يسمّي البيانات.
بالتفصيل
ورقة SimCLR (فبراير 2020) قدّمت إطار بسيط للتعلّم التبايني للتمثيلات البصرية، من غير معماريات متخصّصة أو بنك ذاكرة. ودرست إيه اللي بيخلّيه يشتغل، ولقت تلات حاجات:
- تركيب أنواع Data Augmentation (تعزيز البيانات) زي القصّ وتغيير الألوان دوره حاسم في تحديد مهمّة التعلّم.
- إضافة تحويل غير خطّي قابل للتعلّم بين التمثيل ودالّة الخسارة التباينية بيحسّن جودة التمثيلات بشكل كبير.
- التعلّم التبايني بيستفيد من دفعات أكبر وخطوات تدريب أكتر مقارنةً بالتعلّم المُشرَف عليه.
مثال عملي
النتايج على ImageNet حسب الورقة:
- مصنّف خطّي متدرّب على تمثيلات SimCLR (المتعلّمة من غير تسميات) جاب دقّة 76.5% في أعلى نتيجة، بتحسّن نسبي 7% عن أفضل نتيجة سابقة، ومساوي لأداء ResNet-50 المُشرَف عليه.
- مع ضبط دقيق على 1% بس من التسميات، جاب 85.8% دقّة أعلى 5، متفوّق على AlexNet بتسميات أقلّ 100 مرّة.
والفكرة مش مقصورة على الصور: طريقة HyDE للبحث في النصوص مثلًا بتستخدم مُرمِّز اسمه Contriever، متعلّم بالتعلّم التبايني من غير إشراف، عشان يحوّل المستندات لمتّجهات.
مصطلحات مرتبطة
- Self-supervised Learning — التعلّم ذاتي الإشراف.
- Embedding — التضمين.
- Data Augmentation — تعزيز البيانات.
- CLIP — كليب.
المصادر: arXiv — SimCLR (Chen et al.)، arXiv — HyDE (Gao et al.) — 2020-02-13, 2022-12-20
