باختصار
الـConformer كتلة معمارية بتدمج الانتباه الذاتي متعدّد الرؤوس مع طبقة التفاف زمني، فتجمع بين قدرة الترانسفورمر على العلاقات بعيدة المدى وقدرة الالتفاف على البنية المحلّية.
بالتفصيل
كتلة الترانسفورمر التقليدية بتجمع الانتباه الذاتي متعدّد الرؤوس (Multi-Head Self-Attention) مع شبكة تغذية أمامية. الانتباه ممتاز في ربط عناصر متباعدة، لكنه مش بيحمل انحيازًا استقرائيًا للبنية المحلّية — فبينتهي بإنفاق جزء كبير من طاقته على العلاقات القريبة.
الكونفورمر بيحلّ ده بإضافة التفاف زمني داخل الكتلة نفسها. الشكل النموذجي: طبقتا تغذية أمامية بنصف خطوة تحيطان بالانتباه الذاتي وبطبقة الالتفاف الزمني.
النتيجة إن النموذج بيبقى عنده آليّتان متكاملتان: الانتباه بينمذج العلاقات بعيدة المدى، والالتفاف بيوفّر انحيازًا نحو البنية الزمنية المحلّية. وعمليًا، ده بيحرّر الانتباه ليركّز على المسافات البعيدة.
الأثر ده مرصود بصريًا. لما IBM قارنت أنماط الانتباه بين نسخة الترانسفورمر ونسخة الكونفورمر على عيّنات حقيقية من مجموعة بيانات ETTh1، ظهر إن جزءًا كبيرًا من انتباه الترانسفورمر بيتركّز قرب القطر — أي بيلتقط العلاقات المحلّية — بينما انتباه كتلة الكونفورمر بيُظهر تركيزًا بعيد المسافة، لأن طبقة الالتفاف غطّت المسافات القصيرة نيابةً عنه.
أصل الفكرة من تطبيقات معالجة الكلام، وهو منطقي: الإشارة الصوتية فيها بنية محلّية قوية جدًا (الصوتيات) وبنية بعيدة المدى (السياق الدلالي). ومع الوقت انتقلت البنية لمجالات تانية زي السلاسل الزمنية — ففي نموذج Granite PatchTST-FM-r2 من IBM، تستخدم كتل الكونفورمر في العمود الفقري أحجام نواة التفاف متناوبة 3 و5 بنمط متكرّر {5، 5، 3، 3}.
مثال عملي
عندك بيانات استهلاك كهرباء كل ساعة لسنتين. البنية المحلّية هي دورة اليوم (ذروة الظهيرة)، والبنية البعيدة هي الموسمية (الصيف مقابل الشتاء). الالتفاف بيمسك الدورة اليومية بكفاءة، والانتباه بيمسك الموسمية — وده بالظبط سبب استخدام كونفورمر بدل ترانسفورمر صرف.
مصطلحات مرتبطة
- Temporal Convolution — الالتفاف الزمني، المكوّن المُضاف في الكتلة.
- Self-Attention — الانتباه الذاتي، المكوّن الأصلي.
- Time Series Foundation Model — نموذج أساس السلاسل الزمنية، أحد أبرز استخداماته اليوم.
المصادر: Hugging Face — 2026-09-09
