باختصار
Late Interaction (التفاعل المتأخّر) معمارية بحث قدّمها نموذج ColBERT: بيرمّز السؤال والمستند كل واحد لوحده، وبعدين يقارن تمثيلاتهم بخطوة رخيصة لكنها دقيقة.
بالتفصيل
المشكلة اللي ColBERT (أبريل 2020) حلّها: نماذج الترتيب المبنية على نماذج لغوية زي BERT فعّالة جدًا، لكنها بتعدّي كل زوج (سؤال، مستند) على شبكة ضخمة عشان تطلّع درجة صلة واحدة. ده بيرفع التكلفة الحسابية بمراتب عشرية.
حلّ ColBERT:
- يرمّز السؤال والمستند كل واحد لوحده باستخدام BERT.
- بعدين خطوة تفاعل رخيصة لكنها قوية بتقيس التشابه الدقيق بينهم.
- لأن التفاعل متأخّر، تقدر تحسب تمثيلات المستندات مسبقًا وتخزّنها، فالبحث وقت السؤال بيبقى أسرع بكتير.
- آلية التفاعل بتسمح باستخدام فهارس تشابه المتّجهات للبحث مباشرة في مجموعة مستندات كبيرة، مش بس لإعادة ترتيب نتايج نموذج تقليدي.
مثال عملي
حسب الورقة، فعالية ColBERT منافسة لنماذج BERT الموجودة، ومتفوّقة على كل الخطوط الأساسية غير المبنية على BERT، مع إنه أسرع بمرتبتين عشريتين (حوالي 100 مرّة)، وبيحتاج عمليات حسابية أقلّ بأربع مراتب عشرية لكل سؤال.
لو بتبني نظام RAG على آلاف المستندات، الفكرة دي بتوازن بين دقّة النماذج الكبيرة وسرعة البحث بالمتّجهات.
مصطلحات مرتبطة
- Reranker — مُعيد الترتيب.
- Semantic Search — البحث الدلالي.
- BERT — بيرت.
- Vector Database — قاعدة بيانات المتّجهات.
المصادر: arXiv — ColBERT (Khattab & Zaharia) — 2020-04-27
