تكميم جي بي تي كيو (GPTQ) هو مصطلح ظهر في مقالات قرمصيص ويستحق شرحاً مستقلاً. طريقة تكميم بعد التدريب تضغط أوزان النماذج الكبيرة إلى دقة منخفضة مع تقليل خطأ التقريب. فهمه يساعدك على قراءة الشروحات ونتائج التجارب من غير خلط بين الاسم ووظيفته الفعلية.
باختصار
طريقة تكميم بعد التدريب تضغط أوزان النماذج الكبيرة إلى دقة منخفضة مع تقليل خطأ التقريب.
بالتفصيل
تُكمم الأوزان على أجزاء باستخدام عينات معايرة، من دون إعادة تدريب النموذج كاملاً. يسمح ذلك بتشغيل نموذج أكبر في ذاكرة أقل، خصوصاً عند 4 بت، مع احتمال فقد محدود في الجودة يعتمد على النموذج والمهمة.
الفكرة العملية هي النظر إلى مكان المصطلح داخل خط العمل: ما البيانات التي تدخل إليه، وما النتيجة التي ينتجها، وما التكلفة أو الافتراض الذي يضيفه. المقارنة العادلة تحتاج تجربة على بيانات منفصلة ومقياس مناسب، لا الاعتماد على الاسم أو الشهرة وحدهما.
مثال عملي
يمكن ضغط نموذج لغوي إلى GPTQ ثم تشغيله على بطاقة رسومية لا تتسع للنسخة ذات 16 بت.
خلي بالك: الصيغة ليست مناسبة تلقائياً لكل عتاد، ويجب اختبار السرعة والدقة والتوافق مع مكتبة التشغيل.
مصطلحات مرتبطة
Quantization، Post-training Quantization، VRAM. قراءة هذه المصطلحات معاً توضح العلاقة بين البيانات والتدريب والتقييم والتشغيل.
المصادر: Hugging Face Transformers
