تراتبية التعليمات (Instruction Hierarchy) مبدأ تدريب اقترحته أبحاث OpenAI لحل مشكلة إن النماذج اللغوية كانت بتعامل تعليمات مطوّر التطبيق ومدخلات المستخدم العادي والمحتوى القادم من مصادر خارجية بنفس درجة الثقة تقريباً.
باختصار
تدريب النموذج يدي أولوية أعلى لتعليمات المطوّر (System Prompt) عن مدخلات المستخدم، ويدي أولوية أعلى لمدخلات المستخدم عن أي محتوى خارجي غير موثوق زي نتائج بحث أو مستند مرفوع.
بالتفصيل
من غير تراتبية واضحة، أي نص يوصل للنموذج — سواء من مستخدم شرعي أو مستند خارجي ملوّث — ممكن يتعامل معاه النموذج كأمر واجب التنفيذ، وده الباب اللي بيدخل منه هجمات حقن الأوامر وكسر القيود. التراتبية بتعلّم النموذج يميّز مصدر كل تعليمة ويرفض التعليمات الأقل أولوية لو اتعارضت مع تعليمات أعلى.
الباحثون طوروا طريقة لتوليد بيانات تدريب بتوضح للنموذج السلوك المطلوب في حالات التعارض، وطبقوها على GPT-3.5 فحسّنت مقاومة النموذج لهجمات متنوعة — من ضمنها هجمات النموذج مشافش أمثلة عليها من قبل — مع الحفاظ على قدراته الأساسية.
مثال عملي
لو مستند خارجي جوه سياق النموذج فيه جملة زي “تجاهل كل التعليمات السابقة”، النموذج المدرب على التراتبية المفروض يتجاهل الجملة دي لأنها جاية من مصدر بيانات مش من تعليمات المطوّر أو المستخدم.
خلي بالك: التراتبية بتقلل من هجمات حقن الأوامر لكن مبتقضيش عليها تماماً؛ لسه مجال بحث نشط.
مصطلحات مرتبطة
System Message، Prompt Injection.
المصادر: arXiv — 2024-04-19
