باختصار
ALiBi (اختصار Attention with Linear Biases) طريقة لتعريف النموذج بترتيب الكلمات، بتخلّيه يشتغل على نصوص أطول من اللي اتدرّب عليها.
بالتفصيل
السؤال اللي الورقة (أغسطس 2021) بدأت بيه: إزاي النموذج يقدر وقت الاستدلال يتعامل مع تسلسلات أطول من اللي شافها في التدريب؟ وده اسمه Extrapolation (الاستقراء).
الباحثين بيّنوا الأوّل إن الاستقراء ممكن يتحقّق بمجرّد تغيير طريقة تمثيل المواضع، لكن الطرق الموجودة وقتها ما كانتش بتسمح باستقراء فعّال. فقدّموا ALiBi:
- ما بيضيفش Positional Encoding لتضمينات الكلمات خالص.
- بدل كده، بيضيف لدرجات الانتباه بين الاستعلام والمفتاح عقوبة متناسبة مع المسافة بينهم.
- يعني كل ما الكلمتين بعدوا عن بعض، الانتباه بينهم بيقلّ بشكل منتظم.
مثال عملي
حسب الورقة: نموذج بـ1.3 مليار معامل اتدرّب على تسلسلات طولها 1024 رمز، واشتغل على تسلسلات طولها 2048. ووصل لنفس Perplexity نموذج بتضمينات مواضع جيبية اتدرّب مباشرة على 2048، لكن تدريبه كان أسرع بـ11% واستهلك ذاكرة أقلّ بـ11%.
وميل ALiBi للكلمات القريبة خلّاه يتفوّق على طرق مواضع قويّة كتير على اختبار WikiText-103.
الفكرة البديهية: الكلمة اللي قبلك بكلمتين غالبًا أهمّ لفهمك من كلمة قبلك بألف كلمة، فخلّي النموذج يبدأ بالافتراض ده.
مصطلحات مرتبطة
- Positional Encoding — الترميز الموضعي.
- Rotary Position Embedding (RoPE) — التضمين الموضعي الدوّار.
- Context Window — نافذة السياق.
- Attention Score — درجة الانتباه.
المصادر: arXiv — ALiBi (Press et al.) — 2021-08-27
