باختصار
Scalable Oversight (الإشراف القابل للتوسّع) هو مشكلة الإشراف على أنظمة ذكاء اصطناعي ممكن تتفوّق علينا في أغلب المهارات المطلوبة للمهمّة اللي بتعملها.
بالتفصيل
حسب ورقة Measuring Progress on Scalable Oversight (نوفمبر 2022)، بناء أنظمة عامة آمنة ومفيدة محتاج تقدّم في المشكلة دي. لكن دراستها عمليًا صعبة، لأن ما عندناش لسّه أنظمة بتتفوّق علينا بشكل واسع.
فالورقة اقترحت تصميم تجارب حوالين مهام:
- المتخصّصين من البشر بينجحوا فيها.
- لكن البشر غير المتخصّصين من غير مساعدة، والأنظمة الحالية، بيفشلوا.
كده تقدر تختبر: هل غير المتخصّص يقدر، بمساعدة النموذج، يوصل للإجابة الصحيحة رغم إنه مش قادر يتأكّد منها بنفسه؟
مثال عملي
في تجربة إثبات المفهوم على MMLU وQuALITY بوقت محدود: مشاركين بشر اتكلّموا مع مساعد لغوي غير موثوق عبر محادثة، وتفوّقوا بشكل كبير على النموذج لوحده وعلى أدائهم هم من غير مساعدة.
واختبار GPQA (2023) اتعمل للغرض ده تحديدًا: أسئلة بيجاوبها الخبراء بنسبة 65% وغير المتخصّصين بـ34% حتى مع الإنترنت. فهو بيئة واقعية لتجارب الإشراف.
السؤال العملي اللي ورا المصطلح: لما نموذج يكتب لك كود معقّد أو تحليل قانوني إنت مش خبير فيه، إزاي تتأكّد إنه صح؟
مصطلحات مرتبطة
- Weak-to-Strong Generalization — التعميم من الضعيف للقوي.
- Alignment — المحاذاة.
- Human-in-the-Loop (HITL) — الإنسان في الحلقة.
- GPQA — اختبار أسئلة الدراسات العليا.
المصادر: arXiv — Measuring Progress on Scalable Oversight (Bowman et al.)، arXiv — GPQA (Rein et al.) — 2022-11-04, 2023-11-20
