باختصار
الانتباه بنافذة منزلقة (Sliding Window Attention، واختصاره SWA) نوع من الانتباه في المحوّلات بيخلّي كل رمز يبصّ بس على عدد ثابت من الرموز اللي قبله (النافذة)، بدل ما يبصّ على كل السياق.
بالتفصيل
في الانتباه الكامل، كل رمز بينتبه لكل الرموز اللي قبله، فالتكلفة والذاكرة بيكبروا مع طول النص. في النافذة المنزلقة، النافذة ثابتة، فذاكرة المفاتيح والقيم (KV Cache) للطبقة دي ما بتكبرش مهما طال السياق.
ونموذج Mistral 7B سنة 2023 كان من أشهر النماذج اللي استخدمت SWA مع GQA، وقالت ورقته إن ده بيساعد على التعامل مع تسلسلات بأي طول بتكلفة استدلال أقل.
والاتّجاه الأحدث هو «الانتباه الهجين»: طبقات كتير بنافذة منزلقة، وطبقات قليلة بانتباه كامل عشان تربط السياق كلّه.
مثال عملي
نموذج Kolibri من Aleph Alpha فيه 50 طبقة: كل خامس طبقة فيها انتباه كامل، والـ40 الباقيين بنافذة منزلقة على آخر 512 رمز. يعني 10 طبقات بس هي اللي ذاكرتها بتكبر مع طول السياق. والشركة بتقول إن التصميم ده بيدعم تسلسلات أطول بأربع مرّات من نموذج كل طبقاته انتباه كامل، بنفس الحوسبة.
مصطلحات مرتبطة
- Grouped-Query Attention — انتباه الاستعلامات المجمّعة.
- Context Window — نافذة السياق.
- Sparse Attention — الانتباه المتفرّق.
المصادر: arXiv — Mistral 7B، MarkTechPost — Kolibri — 2023-10-10, 2026-10-04
