أطلقت شركة Aleph Alpha الألمانية Kolibri، نموذجًا لغويًا مفتوح الأوزان بمعمارية مزيج الخبراء، مصمّمًا للألمانية والإنجليزية. يضمّ 78.1 مليار معامل كلّي، لكنه ينشّط 3.46 مليار فقط (4.4%) لكل رمز، ويقبل سياقًا يصل إلى 1,048,576 رمزًا، ويتيح ضبط جهد التفكير لكل طلب، بحسب MarkTechPost.
«سيادة» من البيانات إلى التدريب
- طوّرته فرق في ألمانيا من البداية إلى النهاية: البيانات والمعمارية والبنية والتدريب اللاحق والتقييم. وجرى التدريب على بنية في ألمانيا وفنلندا.
- مصمّم للامتثال لمدوّنة الممارسات الأوروبية للذكاء الاصطناعي العام وقانون الذكاء الاصطناعي الأوروبي وGDPR، وخطّ بياناته يحذف المعلومات الشخصية قبل التدريب.
- الترخيص Apache 2.0 على Hugging Face، والهدف القطاعات المنظّمة مثل الإدارة العامة والصناعة والطيران.
المعمارية
- 384 خبيرًا في كل طبقة مزيج خبراء، يُوجَّه كل رمز إلى أفضل 6 منها، مع خبير مشترك يعمل دائمًا.
- انتباه هجين: كل خامس طبقة انتباه كامل، والباقي «انتباه بنافذة منزلقة» (Sliding Window Attention) على 512 رمزًا سابقًا. فعشر طبقات فقط تكبر ذاكرتها مع طول السياق، وتقول الشركة إن ذلك يدعم تسلسلات أطول بأربع مرّات بالحوسبة نفسها.
- يستخدم «انتباه الاستعلامات المجمّعة» (Grouped-Query Attention) بـ48 رأس استعلام و4 رؤوس مفاتيح وقيم.
مقسِّم رموز للألمانية
مفردات من 128 ألف رمز تصل إلى 4.90 بايت لكل رمز في النص الألماني، مقابل 4.35 لمقسِّم GPT-5، أي رموز أقل بنحو 11.2% للنص الألماني نفسه، وبالتالي تكلفة وسياق أفضل. وجرى التدريب المسبق على 20 تريليون رمز باستخدام 768 بطاقة B200، مع أكثر من 2 تريليون رمز ألماني إضافي.
التشغيل
نسخة FP8 بحجم نحو 78 غيغابايت تعمل على بطاقة B200 أو B300 أو H200 واحدة، أو على بطاقتي H100، عبر vLLM.
ليه ده مهم؟
Kolibri مثال على «الذكاء الاصطناعي السيادي» بلغة محدّدة: نموذج مفتوح يُدرَّب محليًا ويُحسَّن لغويًا لسوق بعينه. والدرس الأوضح للعربية هو مقسِّم الرموز: النماذج العامة غالبًا تقسّم اللغات غير الإنجليزية إلى رموز أكثر، فتكلّف أكثر وتستهلك السياق أسرع، ومقسِّم مصمّم للّغة يوفّر ذلك.
المصادر: MarkTechPost — 2026-10-04
