باختصار
الترميز الموضعي الدوراني (Rotary Position Embedding) طريقة لإدخال معلومات ترتيب الكلمات في نماذج المحوّلات (Transformers)، عن طريق تدوير تمثيل كل رمز بمصفوفة دوران تعتمد على موقعه.
بالتفصيل
آلية الانتباه (Attention) لوحدها ما بتعرفش الترتيب: جملة «الكلب عضّ الراجل» و«الراجل عضّ الكلب» فيهم نفس الكلمات. عشان كده بنحتاج نضيف معلومات الموقع، وده اسمه الترميز الموضعي (Positional Encoding).
الطرق القديمة كانت بتضيف «متّجه موقع» لكل كلمة. RoPE، اللي اقترحها باحثين في ورقة RoFormer سنة 2021، بتعمل حاجة مختلفة: بتلفّ التمثيل بزاوية بتكبر مع الموقع. والجميل إنها بترمّز الموقع المطلق بمصفوفة دوران، وفي نفس الوقت بتدخّل الموقع النسبي بشكل صريح في حسابات الانتباه الذاتي.
تشبيه: تخيّل كل كلمة عقرب ساعة. الكلمة الأولى متلفّة درجة، والتانية درجتين، وهكذا. لمّا تقارن كلمتين، اللي يهمّ هو الفرق بين الزاويتين، يعني المسافة بينهم، مش مكان كل واحدة لوحدها.
بحسب الورقة، RoPE ليها مزايا مهمّة: مرونة في طول التسلسل، وتأثير بيقلّ بين الرموز كلّ ما المسافة بينها زادت، وإمكانية استخدامها مع الانتباه الخطّي. وبقت واحدة من أكتر طرق الترميز الموضعي استخدامًا في النماذج الحديثة.
مثال عملي
نموذج Nemotron 3 Diarization من NVIDIA لفصل المتحدّثين بيستخدم مشفّر محوّلات من 31 طبقة مع RoPE. الصوت بيتحوّل لإطارات كل واحد 80 مللي ثانية، وRoPE بتخلّي النموذج يعرف ترتيب الإطارات والمسافة بينها، وده ضروري عشان يفرّق بين متحدّث بيكمّل كلامه ومتحدّث جديد دخل بعد ثانية.
مصطلحات مرتبطة
- Positional Encoding — الترميز الموضعي.
- Self-Attention — الانتباه الذاتي.
- Context Window — نافذة السياق.
المصادر: arXiv (RoFormer)
