باختصار
Activation Steering (توجيه التنشيطات)، وجزء من مجال اسمه Activation Engineering، هو تعديل التنشيطات الداخلية للنموذج وقت الاستدلال عشان تتحكّم في مخرجاته.
بالتفصيل
حسب الورقة (أغسطس 2023)، Prompt Engineering والضبط الدقيق بيحاولوا يحسّنوا أداء النموذج على مقياس معيّن، لكنهم مش بيطلّعوا كل قدراته. فالباحثين قدّموا طريقة اسمها ActAdd (Activation Addition):
- تشغّل النموذج على زوج موجّهات متضادّين، زي «حبّ» و«كره».
- تحسب الفرق بين التنشيطات الوسيطة في الحالتين، وده يبقى «متّجه التوجيه» (Steering Vector).
- تضيف المتّجه ده للتنشيطات أثناء Forward Pass (التمرير الأمامي) في أي استدلال جديد.
مميّزاتها حسب الورقة:
- خفيفة: ما محتاجاش أي تحسين آلي، وبتشتغل بزوج بيانات واحد، فتقدر تجرّب بسرعة.
- بتتحكّم في خصائص عامة للمخرجات زي الموضوع والمشاعر، مع الحفاظ على الأداء في المهام التانية.
مثال عملي
بإضافة متّجه «حبّ ناقص كره» أثناء التمرير الأمامي، الباحثين وصلوا لأفضل نتايج وقتها في تحويل المشاعر من سلبية لإيجابية، وفي تقليل السُمّية، على نماذج منها LLaMA-3 وOPT.
الفكرة: بدل ما تقول للنموذج في الموجّه «كن إيجابي» وتتمنّى إنه يسمع، بتدخل جوّه وتزقّ تنشيطاته نفسها ناحية الإيجابية.
مصطلحات مرتبطة
- Mechanistic Interpretability — التفسيرية الميكانيكية.
- Linear Probe — المسبار الخطّي.
- Latent Space — الفضاء الكامن.
- Prompt Engineering — هندسة الموجّهات.
المصادر: arXiv — Steering LMs With Activation Engineering (Turner et al.) — 2023-08-20
