باختصار
Superposition (التراكب) هو إن الشبكة العصبية بتمثّل خصائص أكتر من عدد خلاياها، عن طريق توزيع الخصائص على اتّجاهات في فضاء التنشيطات بدل ما كل خاصّية تاخد خلية.
بالتفصيل
الشبكات العصبية كتير بتحشر مفاهيم مش مرتبطة ببعض في خلية عصبية واحدة. الظاهرة دي اسمها Polysemanticity (تعدّد المعاني)، وبتخلّي التفسير أصعب بكتير.
ورقة Toy Models of Superposition (سبتمبر 2022) بنت نموذج مبسّط (Toy Model) تقدر تفهم فيه تعدّد المعاني بالكامل، وبيّنت إنه بيظهر لما النموذج بيخزّن خصائص متناثرة إضافية «في تراكب». ومن نتايجها:
- وجود Phase Change (تغيّر طوري): انتقال مفاجئ بين التمثيل العادي والتمثيل بالتراكب.
- علاقة مفاجئة بهندسة متعدّدات السطوح المنتظمة.
- أدلّة على ارتباط بالأمثلة العدائية (Adversarial Examples).
الكلمة المهمّة هنا «متناثرة»: لو الخصائص نادرًا ما بتظهر مع بعض، الشبكة تقدر تشاركها نفس المساحة من غير تداخل كبير في أغلب الأوقات.
مثال عملي
تخيّل مكتبة صغيرة فيها 10 رفوف، وعندك 50 نوع كتاب. لو كل نوع نادرًا ما بيتطلب مع التاني، تقدر ترصّ كذا نوع على نفس الرفّ بنظام معيّن. بس اللي يدخل يدوّر هيلاقي على كل رفّ خليط مش مفهوم.
وده اللي بتحاول أدوات زي Sparse Autoencoder تفكّه: حسب ورقة المُرمِّزات المتناثرة (2023)، التراكب سبب مفترض لتعدّد المعاني، والمُرمِّز المتناثر بيدوّر على الاتّجاهات اللي الخصائص متخزّنة فيها.
مصطلحات مرتبطة
- Sparse Autoencoder — المُرمِّز التلقائي المتناثر.
- Mechanistic Interpretability — التفسيرية الميكانيكية.
- Neuron (Artificial) — الخلية العصبية الاصطناعية.
- Adversarial Attack — الهجوم العدائي.
المصادر: arXiv — Toy Models of Superposition (Elhage et al.)، arXiv — Sparse Autoencoders Find Interpretable Features (Cunningham et al.) — 2022-09-21, 2023-09-15
