باختصار
AWQ (اختصار Activation-aware Weight Quantization) طريقة لتكميم أوزان النماذج اللغوية لعدد بتّات قليل، مناسبة للأجهزة، وبتحمي الأوزان الأهمّ عن طريق النظر للتنشيطات.
بالتفصيل
الملاحظات الأساسية في الورقة (يونيو 2023):
- مش كل الأوزان في النموذج اللغوي بنفس الأهمية. حماية 1% بس من الأوزان «البارزة» (Salient) بتقلّل خطأ التكميم بشكل كبير.
- عشان تعرف القنوات البارزة، لازم تبصّ على توزيع التنشيطات، مش على الأوزان.
- بدل التكميم بدقّة مختلطة (غير مناسب للأجهزة)، الباحثين أثبتوا رياضيًا إن تكبير القنوات البارزة بيقلّل خطأ التكميم.
- معاملات التكبير بتتحدّد بجمع إحصائيات التنشيطات مسبقًا.
- AWQ ما بيعتمدش على Backpropagation أو إعادة بناء، فبيعمّم على مجالات ووسائط مختلفة من غير ما يعمل فرط تخصيص على بيانات المعايرة.
مثال عملي
مع AWQ، الباحثين بنوا إطار استدلال اسمه TinyChat للنماذج بـ4 بتّات على الأجهزة. حسب الورقة، أسرع بأكتر من 3 مرّات من تطبيق Hugging Face بدقّة FP16 على بطاقات رسوميات المكتب والموبايل، وسمح بتشغيل Llama-2 بـ70 مليار معامل على بطاقات رسوميات الموبايل.
لما تلاقي على Hugging Face نسخة نموذج مكتوب جنبها AWQ، ده معناه إنها مكمّمة بالطريقة دي وجاهزة لتشغيل أخفّ.
مصطلحات مرتبطة
- Quantization — التكميم.
- GPTQ — جي بي تي كيو.
- GGUF — صيغة ملفّات النماذج.
- On-Device AI — الذكاء الاصطناعي على الجهاز.
المصادر: arXiv — AWQ (Lin et al.) — 2023-06-01
