باختصار
الانتباه الحلقي (Ring Attention) طريقة لتوزيع عمل المحوّل (Transformer) على عدّة أجهزة، حتى يقرأ نصًّا من ملايين الرموز دون أن تنفجر ذاكرته.
بالتفصيل
المحوّل يحبّ أن يرى كل شيء دفعة واحدة، والذاكرة لا تحبّ ذلك. هذه هي المشكلة التي بدأت منها الورقة (أكتوبر 2023): متطلّبات الذاكرة تمنع المحوّل من معالجة التسلسلات الطويلة، مثل الفيديو والأفعال المتتابعة.
والحلّ يشبه جلسة قراءة جماعية:
- يُقسَم الحساب إلى كتل (Blockwise)، للانتباه الذاتي (Self-Attention) وللشبكة ذات التغذية الأمامية.
- يحمل كل جهاز جزءًا من النصّ الطويل.
- تدور كتل المفاتيح والقيم بين الأجهزة في حلقة، بينما يحسب كل جهاز في الوقت نفسه، فلا ينتظر أحد أحدًا.
والنتيجة، بحسب الورقة: تسلسلات أطول بعدد الأجهزة من أفضل المحوّلات الموفّرة للذاكرة قبلها، دون تقريب ودون تكلفة إضافية في الاتّصال أو الحساب.
مثال عملي
تخيّل ثمانية أصدقاء يقرؤون رواية ضخمة، كلّ منهم فصلًا، ثم يمرّرون ملخّصاتهم حول الطاولة حتى يعرف كل واحد ما في فصول الآخرين. لو كان كل جهاز يتّسع لـ100 ألف رمز، فثمانية أجهزة تتيح نظريًا 800 ألف.
وأظهرت تجارب الورقة على نمذجة اللغة والتعلّم المعزّز أن الطريقة تتيح سياقًا بملايين الرموز وتحسّن الأداء. الحلقة هنا ليست رمزًا شعريًا.. إنها طريقة توزيع العمل حرفيًا.
مصطلحات مرتبطة
- Long Context — السياق الطويل.
- Model Parallelism — التوازي على مستوى النموذج.
- FlashAttention — الانتباه السريع.
- KV Cache — ذاكرة المفاتيح والقيم.
المصادر: arXiv — Ring Attention (Liu et al.) — 2023-10-03
