نشرت Microsoft بالتعاون مع Hugging Face اختبار ThinkingBox، الذي يقيّم وكلاء الذكاء الاصطناعي بالسجلّات التي يتركونها في الأنظمة الخلفية، لا بالجمل التي يولّدونها، ثم يسأل: هل يستطيع الوكيل فعل ذلك 20 مرّة متتالية؟
المثال الذي يلخّص الفكرة
عميلة تكتب أن جهاز مطبخ بـ745 دولارًا عالق لدى شركة الشحن منذ 15 يومًا. ينفّذ الوكيل تسعة استدعاءات أدوات صحيحة الشكل: يسحب الطلب، ويتحقّق من التتبّع، ويبحث في سياسة الاسترداد، ويفتح تذكرة، ويوثّق الجدول الزمني. ثم يغلق التذكرة كـ«محلولة». لكن مشكلة الشحن ما زالت مفتوحة، والحالة المطلوبة «معلّقة». مقيّم يفحص استدعاءات الأدوات سيرى تسعة استدعاءات سليمة، وقاعدة البيانات هي ما يكشف الخطأ.
الاختبار
- 507 سير عمل أعمال ذات حالة، في التجزئة والتأمين على السيارات والسفر والبنوك الرقمية والاستشارات.
- كل مهمّة تُشغَّل 20 مرّة مستقلة من نقطة بداية نظيفة.
- يُقاس النجاح بالحالة النهائية للنظام والآثار الجانبية: القيم الخاطئة، والآثار الإضافية غير المقصودة، والآثار المطلوبة الغائبة.
النتائج
- في تجربة على 12 نموذجًا وأكثر من 121 ألف محاولة، فشلت نحو 80 ألف محاولة في الفحوص. و67% من هذه الفاشلة انتهت «بشكل نظيف» دون أي خطأ ظاهر في الأدوات.
- في المحاولة الواحدة يتصدّر Claude Opus 5.5 بـ67.16%، ويليه Claude Opus 5 (66.50%) وGPT-5.4 (65.36%). وأقوى نموذج مفتوح هو Kimi-K3 بـ57.37%، قريبًا من GPT-6 Astra (58.31%).
- عند 20 تكرارًا: يحتفظ GPT-6 Astra بـ78% من نسبة نجاحه في المحاولة الواحدة، وOpus 5.5 وOpus 5 بـ71%. أما GLM-5.1 وKimi-K2.6 وDeepSeek-V4-Pro فيحتفظ كل منها بنحو 8% فقط.
- المجال يصنع فرقًا كبيرًا: Claude Opus 4.6 سجّل 68.62% في التجزئة و8.30% فقط في تأمين السيارات.
الاختبار متاح عبر Hugging Face ومنصّة OpenEnv لتشغيله بنفسك.
ليه ده مهم؟
تلخّص Microsoft الفكرة: «المسار ادّعاء. حالة قاعدة البيانات هي الدليل. والتكرار هو اختبار الثقة». وكيل ينجح مرّة ويخطئ أربع مرّات ليس وكيلًا يمكن الاعتماد عليه، ونسبة النجاح في محاولة واحدة، وهي ما تنشره أغلب لوحات الترتيب، تخفي هذه الحقيقة.
المصادر: Hugging Face — Microsoft — 2026-10-03
