قرمصيص للأخبار أخبار الذكاء الاصطناعي بالعربي
باختصار
الـ LoRA هو تقنية ضبط دقيق خفيفة بتعدّل جزء صغير بس من معاملات النموذج بدل ما تعدّل كلها. ده بيوفّر موارد حاسوبية كبيرة وبيخلّي أي حد يقدر يخصّص نموذج ذكاء اصطناعي كبير حتى لو إمكانياته محدودة.
بالتفصيل
تخيّل إنك عندك بدلة غالية جاهزة ومش عايز تفصّل واحدة جديدة من الأول. كل اللي محتاجه إنك تروح للخياط يعمل تعديلات بسيطة — يضيّق هنا ويوسّع هنا — والبدلة تبقى مظبوطة عليك. الـ LoRA بيعمل نفس الكلام مع نماذج الذكاء الاصطناعي: بدل ما تدرّب النموذج كله من الأول (تفصّل بدلة جديدة)، بتعمل تعديلات بسيطة ومحسوبة على أجزاء معيّنة.
الاسم الكامل هو Low-Rank Adaptation، والفكرة الرياضية وراه إنك بتضيف مصفوفات صغيرة (low-rank matrices) جنب المصفوفات الكبيرة الأصلية في النموذج. المصفوفات الصغيرة دي بتتعلم التعديلات المطلوبة، بينما المصفوفات الأصلية بتفضل زي ما هي مش بتتغير.
ليه ده مهم؟ لأن النماذج الكبيرة زي Llama أو GPT عندها مليارات المعاملات (Parameters). لو عايز تعمل Fine-tuning كامل لنموذج فيه 70 مليار معامل، هتحتاج كروت شاشة بمئات الآلاف من الدولارات. لكن مع الـ LoRA، أنت بتدرّب أقل من 1% من المعاملات، وده معناه:
- ذاكرة أقل بكتير (ممكن كارت شاشة واحد يكفي)
- وقت تدريب أسرع
- تكلفة أقل بمراحل
- تقدر تحفظ أكتر من تخصيص (adapter) لنفس النموذج
الجميل في الـ LoRA كمان إنك تقدر تعمل أكتر من adapter لنفس النموذج — واحد للطب وواحد للقانون وواحد للبرمجة — وتبدّل بينهم بسهولة زي ما تبدّل الأكسسوارات على نفس البدلة.
مثال عملي
لو شركة عربية عايزة تخصّص نموذج Llama 3 عشان يفهم المصطلحات الطبية بالعربي، بدل ما تحتاج سيرفرات بملايين الجنيهات عشان تدرّب النموذج كله، تقدر تستخدم LoRA وتدرّبه على بيانات طبية عربية بكارت شاشة واحد كويس. النتيجة هتكون نموذج بيفهم المصطلحات الطبية كويس جدًا والتكلفة أقل بـ 100 مرة.
مصطلحات مرتبطة
- الضبط الدقيق (Fine-tuning)
- التكميم (Quantization)
- المعاملات (Parameters)
- النموذج المُدرَّب مسبقًا (Pre-trained Model)
