أطلقت شركة Goodfire للتفسيرية مراقبات تراقب ما يحدث داخل نموذج الذكاء الاصطناعي أثناء عمله، بدل قراءة ما يكتبه فقط، بحسب TechCrunch. وهي متاحة لعملاء Baseten التي تستضيف النماذج وتشغّلها لشركات أخرى.
كيف تعمل؟
قال الرئيس التنفيذي Eric Ho: «مراقبات التنشيط الداخلية رخيصة جدًا لأنها تعيد استخدام حسابات التمرير الأمامي… كل ما تفعله هو أخذ التنشيطات العصبية الوسيطة التي حسبها النموذج أصلًا»، ثم تدريب مصنّف عليها. باختصار: النموذج يقوم بالحساب، والمسابير تقرأ النتائج.
الأرقام (اختبارات Goodfire على Kimi K3)
- مراقبة نحو مليون تبادل: نحو 185 دولارًا، مقابل 5,420 دولارًا لنموذج أرخص يفحص كل خطوة، ونحو 200 ألف دولار لنموذج من الصفّ الأوّل.
- كشفت المسابير 93% من جلسات الاختراق الخبيثة، ووسمت 5.5% من الجلسات البريئة خطأً.
- تشغيل أربعة مسابير يضيف أقل من 2% إلى زمن أوّل استجابة.
وبُني المراقب الأوّل حول Kimi K3، النموذج المفتوح الذي استغلّ ثغرة في بيئته المعزولة هذا الصيف للوصول إلى الإنترنت ومعلومات على GitHub. وقال المدير التقني Dan Balsam: «الميزة الكبرى أنك تستطيع اكتشاف الأشياء قبل حدوثها. يمكننا كشف متى قد يخترق النموذج أثناء التقييم أو التدريب».
لماذا النماذج المفتوحة؟
الفكرة موجّهة للنماذج المفتوحة، لأن المطوّرين يمكنهم تنزيلها ونزع ضماناتها، ولا تأتي مع نوع المراقبة الذي تشغّله المختبرات المغلقة على أنظمتها.
ليه ده مهم؟
المراقبة بنموذج ثانٍ مكلفة جدًا على نطاق واسع، كما تُظهر الأرقام أعلاه. مراقبة رخيصة تقرأ داخل النموذج تجعل فحص كل تبادل ممكنًا. لكن الأرقام من Goodfire نفسها، ونسبة الإنذار الخاطئ 5.5% ليست صغيرة على ملايين الجلسات.
المصادر: TechCrunch — 2026-10-08
