باختصار
الـBLEU اختصار لـBilingual Evaluation Understudy، وهو مقياس بين 0.0 و1.0 لتقييم الترجمات الآلية.
بالتفصيل
لحساب الدرجة، بيقارن BLEU عادةً ترجمة نموذج التعلّم الآلي — أي النصّ المولّد (Generated Text) — بترجمة خبير بشري، أي النصّ المرجعي (Reference Text).
والدرجة بتتحدّد بمدى تطابق التتابعات اللفظية (N-grams) بين النصّ المولّد والنصّ المرجعي. يعني المقياس ما بيفهمش المعنى — هو بيقيس تداخل سلاسل الكلمات.
وده مصدر قوّته وضعفه في آن. قوّته إنه آلي ورخيص وقابل للتكرار، فتقدر تقيس آلاف الترجمات في ثوانٍ بدون بشر. وضعفه إن ترجمة صحيحة تمامًا لكن بصياغة مختلفة عن المرجع هتاخد درجة منخفضة.
والمشكلة دي أوضح في العربية من كتير من اللغات، لأن مرونة الترتيب والاشتقاق بتخلّي عددًا كبيرًا من الصياغات صحيحًا لنفس الجملة.
الورقة الأصلية للمقياس عنوانها «BLEU: a Method for Automatic Evaluation of Machine Translation». وفيه امتداد أحدث اسمه BLEURT بيحاول يعالج بعض القيود دي.
مثال عملي
المرجع البشري: «القطّة تجلس على السجّادة».
ترجمة النموذج الأولى: «القطّة تجلس على السجّادة» — تطابق كامل، درجة عالية.
ترجمة النموذج الثانية: «الهرّة قاعدة فوق البساط» — ترجمة سليمة المعنى تمامًا، لكن تداخل التتابعات اللفظية مع المرجع شبه معدوم، فالدرجة هتبقى منخفضة.
ولهذا لا يُعتمد على BLEU وحده في القرارات المهمّة، بل يُستخدم جنب التقييم البشري.
مصطلحات مرتبطة
- Automatic Evaluation — التقييم الآلي.
- Human Evaluation — التقييم البشري.
- Reference Text — النصّ المرجعي.
المصادر: Google ML Glossary
