باختصار
Sparse Autoencoder أو SAE (المُرمِّز التلقائي المتناثر) شبكة صغيرة بتتعلّم تعيد بناء التنشيطات الداخلية لنموذج لغوي من مجموعة كبيرة من «الخصائص»، بشرط إن عدد قليل بس منها ينشط في كل مرّة.
بالتفصيل
المشكلة اللي SAE بيحلّها، حسب الورقة (سبتمبر 2023):
- Polysemanticity (تعدّد المعاني): الخلايا العصبية بتنشط في سياقات مختلفة دلاليًا، فصعب نشرح كل خلية بمعنى واحد.
- سبب مفترض لده هو Superposition (التراكب): الشبكة بتمثّل خصائص أكتر من عدد خلاياها، فبتحطّ الخصائص في اتّجاهات داخل فضاء التنشيطات بدل خلايا منفردة.
الـ SAE بيحاول يلاقي الاتّجاهات دي. والباحثين لقوا إن الخصائص اللي اتعلّمها:
- أكثر قابلية للتفسير وأحادية المعنى (Monosemantic) من اتّجاهات الطرق البديلة، بمقاييس تفسير آلية.
- بتسمح بتحديد الخصائص المسؤولة سببيًا عن سلوك معيّن في مهمّة لغوية بدقّة أعلى من التحليلات السابقة.
مثال عملي
تخيّل خلية عصبية بتنشط مع «القطط» ومع «أسعار البورصة» ومع «الشعر العربي». مش مفهومة لوحدها. الـ SAE بيفصل التنشيط لخصائص: واحدة للقطط، وواحدة للبورصة، وواحدة للشعر، وكل واحدة بتنشط لوحدها.
والورقة شايفة إن ده بيثبت إن حلّ مشكلة التراكب ممكن بطريقة غير مُشرَف عليها وقابلة للتوسّع، وإنها ممكن تبقى أساس لشغل Mechanistic Interpretability الجاي، عشان النماذج تبقى أوضح وأسهل في التوجيه.
مصطلحات مرتبطة
- Superposition — التراكب.
- Mechanistic Interpretability — التفسيرية الميكانيكية.
- Autoencoder — المُرمِّز التلقائي.
- Linear Probe — المسبار الخطّي.
المصادر: arXiv — Sparse Autoencoders Find Interpretable Features (Cunningham et al.) — 2023-09-15
