انتقل إلى المحتوى

قاموس قرمصيص

مصطلحات

مصطلحات الذكاء الاصطناعي بالعربي والإنجليزي، مشروحة من البداية وبأمثلة واضحة.

705 مصطلحًا مشروحًا، والقاموس يكبر كل يوم.

توجيه النموذج بتعديل تنشيطاته وقت التشغيلActivation Steering توجيه التنشيطات بيتحكّم في مخرجات النموذج بإضافة «متّجه توجيه» لتنشيطاته الداخلية أثناء التشغيل. طريقة ActAdd بتحسب المتّجه من زوج موجّهات زي «حبّ»…

التراكب: لما الشبكة تحشر مفاهيم أكتر من عدد خلاياهاSuperposition التراكب هو إن الشبكة العصبية بتخزّن خصائص أكتر من عدد خلاياها، فالخلية الواحدة بتشيل كذا مفهوم مالهمش علاقة ببعض. وده سبب أساسي…

الأداة اللي بتفكّ «المفاهيم» جوّه النموذج اللغويSparse Autoencoder (SAE) المُرمِّز التلقائي المتناثر بيعيد بناء التنشيطات الداخلية للنموذج اللغوي من مجموعة خصائص متناثرة، كل واحدة غالبًا ليها معنى واحد مفهوم. أداة أساسية…

توقّع كذا رمز في نفس الوقتMulti-Token Prediction بدل ما النموذج يتدرّب على توقّع الرمز الجاي بس، بيتوقّع الرموز الـn الجاية برؤوس مخرجات مستقلة. ده حسّن الأداء في البرمجة، وخلّى…

توسيع نافذة السياق للنماذج اللي بتستخدم RoPEYaRN YaRN طريقة لتوسيع نافذة سياق النماذج المبنية على RoPE بكفاءة: محتاجة رموز أقلّ 10 مرّات وخطوات تدريب أقلّ 2.5 مرّة من الطرق…

انتباه بانحيازات خطّية: درّب على قصير واختبر على طويلALiBi ALiBi طريقة لتمثيل المواضع في Transformer من غير تضمينات مواضع: بتعاقب درجات الانتباه بقيمة متناسبة مع المسافة بين الكلمات. نموذج اتدرّب على…

إدارة ذاكرة KV Cache زي نظام التشغيلPagedAttention PagedAttention خوارزمية انتباه مستوحاة من الذاكرة الافتراضية في أنظمة التشغيل، بتقلّل هدر ذاكرة KV Cache لقرب الصفر. وعليها اتبنى vLLM اللي رفع…

الضبط الدقيق لنموذج مكمّم على بطاقة رسوميات واحدةQLoRA QLoRA بيخلّيك تضبط نموذج بـ65 مليار معامل على بطاقة رسوميات واحدة بذاكرة 48 غيغابايت، عن طريق تجميد النموذج بدقّة 4 بتّات وتدريب…

التكميم الواعي بالتنشيطات لضغط النماذج اللغويةAWQ AWQ طريقة تكميم بتلاحظ إن مش كل الأوزان بنفس الأهمية: حماية 1% بس من الأوزان المهمّة بتقلّل خطأ التكميم بشكل كبير. والأوزان…

المستند الافتراضي اللي بيحسّن البحثHyDE HyDE طريقة بحث بتطلب من نموذج لغوي يكتب «مستند افتراضي» بيجاوب السؤال، وبعدين تدوّر على مستندات حقيقية شبهه. المستند ممكن يكون فيه…