باختصار
YaRN (اختصار Yet another RoPE extensioN method) طريقة موفّرة للحوسبة لتوسيع Context Window (نافذة السياق) للنماذج اللي بتستخدم RoPE لتمثيل المواضع.
بالتفصيل
حسب الورقة (أغسطس 2023):
- RoPE طريقة فعّالة لترميز معلومات الموضع في النماذج المبنية على Transformer.
- لكن النماذج دي بتفشل في التعميم بعد طول التسلسل اللي اتدرّبت عليه.
- YaRN بيوسّع نافذة السياق بحوسبة قليلة: محتاج رموز أقلّ 10 مرّات وخطوات تدريب أقلّ 2.5 مرّة من الطرق السابقة.
والنتايج:
- نماذج LLaMA مع YaRN قدرت تستخدم بفعالية أطوال سياق أطول بكتير من اللي تدريبها الأصلي كان يسمح بيه.
- تفوّق على أفضل الطرق السابقة في توسيع نافذة السياق.
- قدر يستقرئ لأبعد من السياق المحدود لبيانات الضبط الدقيق نفسها.
مثال عملي
تدريب نموذج من الصفر على سياق طويل جدًا مكلف. الطرق زي YaRN بتسمح بأخذ نموذج جاهز متدرّب على سياق أقصر، وتمديده بتدريب إضافي قصير.
والكود متاح للعامة حسب الورقة، فتقدر تجرّب الطريقة على نماذجك.
مصطلحات مرتبطة
- Rotary Position Embedding (RoPE) — التضمين الموضعي الدوّار.
- Context Length — طول السياق.
- Long Context — السياق الطويل.
- ALiBi — الانتباه بانحيازات خطّية.
المصادر: arXiv — YaRN (Peng et al.) — 2023-08-31
