باختصار
انتباه الاستعلامات المجمّعة (Grouped-Query Attention، واختصاره GQA) طريقة في المحوّلات بتستخدم عدد «وسط» من رؤوس المفاتيح والقيم: أكتر من واحد، وأقل من عدد رؤوس الاستعلام. كل مجموعة من رؤوس الاستعلام بتشارك رأس مفاتيح وقيم واحد.
بالتفصيل
في الانتباه متعدّد الرؤوس العادي (Multi-Head Attention)، كل رأس استعلام ليه رأس مفاتيح وقيم خاص بيه. ده دقيق لكنه تقيل وقت التوليد، لأن ذاكرة المفاتيح والقيم (KV Cache) بتكبر مع كل رأس.
الانتباه متعدّد الاستعلامات (Multi-Query Attention) راح للطرف التاني: رأس مفاتيح وقيم واحد لكل الاستعلامات. أسرع جدًا، لكن حسب ورقة GQA سنة 2023، ممكن يقلّل الجودة.
الورقة اقترحت GQA كتعميم بين الاتنين، وقالت إن النماذج اللي اتحوّلت لـGQA وصلت لجودة قريبة من الانتباه متعدّد الرؤوس، بسرعة قريبة من متعدّد الاستعلامات. واقترحت كمان طريقة لتحويل نماذج موجودة لـGQA بحوالي 5% بس من حوسبة التدريب الأصلي. ومن النماذج اللي استخدمتها بعد كده Mistral 7B.
مثال عملي
نموذج Kolibri من Aleph Alpha فيه 48 رأس استعلام و4 رؤوس بس للمفاتيح والقيم. يعني كل 12 رأس استعلام بيشاركوا رأس مفاتيح وقيم واحد. النتيجة إن ذاكرة المفاتيح والقيم أصغر بكتير من 48 رأس كامل، وده مهم جدًا لنموذج بيقبل سياق مليون رمز.
مصطلحات مرتبطة
- KV Cache — ذاكرة المفاتيح والقيم.
- Sliding Window Attention — الانتباه بنافذة منزلقة.
- Transformer — المحوّل.
المصادر: arXiv — GQA، MarkTechPost — Kolibri، arXiv — Mistral 7B — 2023-05-22, 2026-10-04, 2023-10-10
