باختصار
BLEURT (اختصار Bilingual Evaluation Understudy from Transformers) مقياس للترجمة الآلية يحكم على المعنى، لا على عدد الكلمات المتطابقة.
بالتفصيل
بحسب مسرد Google:
- في الترجمة من الإنجليزية وإليها، يقترب BLEURT من أحكام البشر أكثر من BLEU.
- يركّز على تشابه المعنى، ويقبل إعادة الصياغة.
- يعتمد على نموذج لغوي مدرّب مسبقًا (BERT تحديدًا)، مضبوط على نصوص مترجمين بشريين.
والورقة الأصلية عنوانها BLEURT: Learning Robust Metrics for Text Generation.
المقياس القديم BLEU يشبه مصحّحًا صارمًا يمسك قائمة كلمات ويشطب كل ما لا يطابقها. أمّا BLEURT فيقرأ الجملة ويسأل: هل قالت الشيء نفسه؟
مثال عملي
النصّ المرجعي: «القطّة تجلس على السجّادة». وترجمة النموذج: «القطّة جالسة فوق البساط».
- BLEU يجد كلمة واحدة مشتركة («القطّة») فيعطي درجة منخفضة.
- BLEURT يرى أن المعنى واحد تقريبًا فيعطي درجة أعلى.
الثمن أن BLEURT يشغّل نموذجًا لغويًا في كل تقييم، فهو أبطأ وأغلى. الفهم، كما في الحياة، يكلّف أكثر من العدّ.
مصطلحات مرتبطة
- BLEU — مقياس بلو.
- ROUGE — مقياس روج.
- BERT — بيرت.
- Machine Translation — الترجمة الآلية.
المصادر: Google ML Glossary
