باختصار
PagedAttention خوارزمية انتباه مستوحاة من تقنيات الذاكرة الافتراضية والتقسيم لصفحات (Paging) في أنظمة التشغيل، هدفها إدارة ذاكرة KV Cache بكفاءة وقت خدمة النماذج اللغوية.
بالتفصيل
المشكلة حسب الورقة (سبتمبر 2023): عشان تخدم نموذج لغوي بإنتاجية عالية، لازم تجمع طلبات كتير في دفعة واحدة. لكن ذاكرة KV Cache لكل طلب ضخمة، وبتكبر وتصغر ديناميكيًا. ولو اتدارت بشكل سيّئ، جزء كبير منها بيضيع بسبب:
- Fragmentation (التجزئة): مساحات فاضية متناثرة ما ينفعش تتستخدم.
- التكرار غير الضروري لنفس البيانات.
وده بيحدّ من حجم الدفعة، فبيقلّل الإنتاجية.
فوق PagedAttention، الباحثين بنوا نظام خدمة اسمه vLLM بيحقّق:
- هدر قريب من الصفر في ذاكرة KV Cache.
- مشاركة مرنة للذاكرة دي جوّه الطلب الواحد وبين الطلبات المختلفة.
مثال عملي
حسب الورقة، vLLM رفع إنتاجية نماذج لغوية مشهورة من 2 لـ4 أضعاف بنفس مستوى زمن الاستجابة، مقارنةً بأنظمة زي FasterTransformer وOrca. والتحسّن بيكبر مع التسلسلات الأطول والنماذج الأكبر وخوارزميات فك الترميز الأعقد.
بالتشبيه: بدل ما تحجز لكل ضيف في الفندق دور كامل علشان «ممكن» يحتاجه، بتدّيه أوضة وتزوّده أوض لما يحتاج. نفس عدد الأوض بيستوعب ضيوف أكتر بكتير.
مصطلحات مرتبطة
- KV Cache — ذاكرة المفاتيح والقيم.
- Model Serving — تقديم النماذج.
- Batch Inference — الاستدلال بالدفعات.
- Latency — زمن الاستجابة.
المصادر: arXiv — PagedAttention / vLLM (Kwon et al.) — 2023-09-12
