باختصار
Citation Precision (ضبط الاستشهادات) مقياس بيجاوب: من كل الاستشهادات اللي في ردّ النموذج، كام في المية كانت صحيحة وبتدعم الكلام فعلًا؟
بالتفصيل
النماذج اللي بتبحث وتجاوب بمصادر بقت منتشرة. لكن وجود رابط جنب الجملة ما يعنيش إن الرابط ده بيقول نفس الكلام. حسب مسرد Google، الاستشهاد «الصحيح» هو اللي فيه الحقائق الدقيقة أو المعلومات اللازمة للتحقّق من الادّعاء اللي النموذج قاله.
وليها أخت اسمها Citation Recall (استدعاء الاستشهادات)، وبتسأل سؤال تاني: من كل المستندات اللي النموذج استخدمها عشان يكتب ردّه، كام واحد فعلًا اتذكر في الاستشهادات؟
- Citation Precision واطية: النموذج بيحطّ مصادر شكلها مقنع لكنها مش بتثبت كلامه.
- Citation Recall واطية: النموذج بياخد معلومات من مصادر وما بيقولش عليها.
مثال عملي
من أمثلة المسرد:
- ردّ استشهد بـ10 مستندات، 7 منهم بس صحيحين وداعمين. يبقى الـ Citation Precision = 0.7.
- النموذج اعتمد على 20 مستند عشان يكتب ردّه، لكن استشهد بـ11 بس. يبقى الـ Citation Recall = 0.55.
نصيحة عملية: لما مساعد بحث يدّيك إجابة بمصادر، افتح مصدر أو اتنين وشوف بنفسك. لو لقيت إن المصدر مش بيقول الكلام ده، يبقى إنت قست الـ Citation Precision بإيدك.
مصطلحات مرتبطة
- Citation Recall — استدعاء الاستشهادات.
- Unsupported-Claim Rate — معدّل الادّعاءات غير المدعومة.
- Groundedness — الاستناد إلى المصادر.
- Precision — الضبط.
المصادر: Google ML Glossary
