باختصار
Feedforward Neural Network أو FFN (الشبكة العصبية ذات التغذية الأمامية) شبكة عصبية من غير اتّصالات دائرية أو متكرّرة. البيانات بتمشي في اتّجاه واحد: من المدخلات للمخرجات.
بالتفصيل
حسب مسرد Google، الشبكات العصبية العميقة التقليدية كلها شبكات تغذية أمامية. وعكسها الشبكات المتكرّرة (RNN)، اللي فيها حلقات بترجّع المعلومة لنفس الطبقة.
المصطلح مهمّ النهارده لأن الـ FFN جزء أساسي من كل طبقة في معمارية Transformer. في ورقة Attention Is All You Need، كل طبقة في المُرمِّز والمُفكِّك فيها، جنب طبقة الانتباه، شبكة FFN:
- بتتطبّق على كل موضع (كل رمز) لوحده وبنفس الطريقة.
- مكوّنة من تحويلين خطّيين، وبينهم دالّة تنشيط ReLU.
- التحويلات واحدة عبر المواضع، لكن كل طبقة ليها معاملاتها الخاصّة.
- في النموذج الأصلي: بُعد المدخلات والمخرجات 512، والطبقة الداخلية 2048.
مثال عملي
تقدر تفكّر في طبقة الـ Transformer كخطوتين: الانتباه بيخلّي كل كلمة «تبصّ» على باقي الكلمات وتجمع معلومة منهم، وبعدين الـ FFN بتشتغل على كل كلمة لوحدها وتعالج المعلومة اللي اتجمعت.
ولاحظ إن الطبقة الداخلية في النموذج الأصلي أكبر 4 مرّات من بُعد النموذج (2048 مقابل 512). يعني الـ FFN بتوسّع تمثيل كل كلمة لمساحة أكبر، تطبّق عليه ReLU، وترجّعه لنفس البُعد عشان يدخل الطبقة اللي بعدها.
مصطلحات مرتبطة
- Transformer — المحوّل.
- Fully Connected Layer — الطبقة المكتملة الاتّصال.
- Recurrent Neural Network — الشبكة العصبية المتكرّرة.
- Activation Function — دالّة التنشيط.
المصادر: Google ML Glossary، Attention Is All You Need (ar5iv)
