باختصار
Reference Text (النصّ المرجعي) هو ردّ خبير على موجّه معيّن. بنستخدمه كمسطرة نقيس بيها النصّ اللي النموذج ولّده.
بالتفصيل
في تقييم النماذج اللي بتولّد نصوص، زي الترجمة والتلخيص، محتاجين حاجة نقارن بيها. هنا بييجي النصّ المرجعي: إجابة كتبها خبير على نفس السؤال اللي اتسأله النموذج.
بعدين مقاييس زي ROUGE بتحسب قد إيه النصّ المولّد (Generated Text) بيتقاطع مع النصّ المرجعي. كل ما التقاطع زاد، الدرجة علت.
ملاحظة من مسرد Google: الخبير اللي بيكتب النصّ المرجعي غالبًا إنسان، لكن ممكن يكون نموذج تعلّم آلي.
وفيه حدّ مهمّ للفكرة دي: النصّ المرجعي إجابة واحدة كويسة، مش الإجابة الوحيدة. فالنموذج ممكن يكتب إجابة ممتازة بكلمات مختلفة وياخد درجة قليلة. وده سبب إن التقييم البشري لسّه مهمّ.
مثال عملي
مثال المسرد: الموجّه هو «ترجم السؤال What is your name? من الإنجليزي للفرنساوي». ردّ الخبير (النصّ المرجعي) ممكن يكون: Comment vous appelez-vous?
لو النموذج كتب نفس الجملة، هياخد أعلى درجة. ولو كتب صيغة تانية صحيحة وأقلّ رسمية، ممكن درجته تقلّ مع إن الترجمة سليمة. هنا محتاج تفهم الرقم مش تصدّقه على طول.
مصطلحات مرتبطة
- ROUGE — مقياس روج.
- Golden Response — الاستجابة الذهبية.
- Ground Truth — الحقيقة المرجعية.
- Human Evaluation — التقييم البشري.
المصادر: Google ML Glossary
