باختصار
Unsupported-Claim Rate أو UCR (معدّل الادّعاءات غير المدعومة) هو نسبة الادّعاءات في ردّ النموذج اللي مش Grounded، يعني مش مستندة لمصدر يثبتها.
بالتفصيل
لما نموذج لغوي يجاوب، الإجابة غالبًا بتتكوّن من كذا ادّعاء (معلومة). بعض الادّعاءات دي مسنودة بالمصادر اللي النموذج اعتمد عليها، وبعضها لأ. الـ UCR بيحسب نسبة اللي «طالع من دماغ النموذج».
حسب مسرد Google، الـ UCR العالي معناه إن النموذج بيهلوس كتير.
المقياس ده مهمّ بالذات في أنظمة RAG (التوليد المعزّز بالاسترجاع)، اللي المفروض فيها النموذج يجاوب من مستندات معيّنة. لو النموذج بيضيف معلومات من عنده، يبقى النظام مش بيعمل شغله، حتى لو المعلومات دي صحيحة بالصدفة.
وبيتقاس معاه عادةً مقياسين تانيين: Citation Precision (هل الاستشهادات صحيحة؟) وCitation Recall (هل المصادر المستخدمة اتذكرت؟).
مثال عملي
مثال المسرد: ردّ النموذج فيه 10 ادّعاءات، واحد بس منهم مسنود. يبقى الـ UCR = 9 ÷ 10 = 90%.
تطبيق عملي: عندك مساعد بيجاوب الموظفين من سياسات الشركة. سألته عن الإجازات وردّ بخمس معلومات. تلاتة موجودين في ملف السياسات، واتنين مش موجودين خالص. الـ UCR هنا 40%، وده كفاية إنك ما تثقش في المساعد ده من غير مراجعة.
مصطلحات مرتبطة
- Hallucination — الهلوسة.
- Groundedness — الاستناد إلى المصادر.
- Citation Precision — ضبط الاستشهادات.
- RAG — التوليد المعزّز بالاسترجاع.
المصادر: Google ML Glossary
