باختصار
ROUGE (اختصار Recall-Oriented Understudy for Gisting Evaluation) عيلة مقاييس لتقييم نماذج التلخيص الآلي والترجمة الآلية. بيقيس قد إيه النصّ المولّد بيتقاطع مع Reference Text (نصّ مرجعي).
بالتفصيل
كل فرد في العيلة بيقيس التقاطع بطريقة مختلفة: ROUGE-N وROUGE-L وROUGE-S. وكل واحد بيطلّع عادةً تلات أرقام: Precision وRecall وF1. ومسرد Google بينبّه إن ROUGE بيستخدم الـ Precision والـ Recall بشكل مختلف شوية عن معناهم التقليدي في التصنيف.
الفرق المهمّ بينه وبين BLEU: الـ BLEU بيركّز على الـ Precision، فبيناسب تقييم الترجمة. أما ROUGE فبيركّز على الـ Recall، فبيناسب التلخيص: السؤال هنا «الملخّص غطّى المعلومات المهمّة؟».
مثال عملي
مثال المسرد على ROUGE-L، اللي بيعتمد على أطول تسلسل مشترك بين النصّين:
- النصّ المرجعي (مترجم بشري): I want to understand a wide variety of things. وفيه 9 كلمات.
- النصّ المولّد (النموذج): I want to learn plenty of things. وفيه 7 كلمات.
- أطول تسلسل مشترك: 5 كلمات (I want to of things).
الـ Recall = 5 ÷ 9 = 0.56. والـ Precision = 5 ÷ 7 = 0.71. والـ F1 = 0.63.
لاحظ إن الجملتين معناهم قريب جدًا، لكن الدرجة 0.63 بس. ده لأن ROUGE بيعدّ الكلمات المشتركة، مش المعنى. فاستخدمه للمقارنة بين نماذج على نفس البيانات، مش كحكم نهائي على الجودة.
مصطلحات مرتبطة
- BLEU — مقياس بلو.
- Reference Text — النصّ المرجعي.
- F1 Score — مقياس F1.
- Automatic Evaluation — التقييم الآلي.
المصادر: Google ML Glossary
