باختصار
Human Evaluation (التقييم البشري) عملية بيحكم فيها بشر على جودة مخرجات نموذج تعلّم آلي، بدل ما نعتمد على مقياس آلي بس.
بالتفصيل
حسب مسرد Google، التقييم البشري مفيد بشكل خاص للنماذج اللي مالهاش «إجابة صحيحة واحدة» (No One Right Answer). سؤال زي «اكتب ملخّص للمقال ده» ليه مية إجابة كويسة، ومفيش مقياس آلي يقدر يحكم عليهم كلهم بنفس كفاءة إنسان فاهم.
وفيه بديلين بيتقارنوا بيه:
- Automatic Evaluation (التقييم الآلي): برنامج بيحسب رقم، زي ROUGE أو BLEU، بمقارنة النصّ المولّد بنصّ مرجعي.
- Autorater Evaluation (التقييم بنموذج حَكَم): نموذج ذكاء اصطناعي تاني بيقيّم المخرجات.
التقييم البشري عادةً الأدقّ في الحكم على الجودة الحقيقية، لكنه الأبطأ والأغلى، وصعب تكرّره بنفس الشروط. عشان كده الفرق بتستخدمه غالبًا كمرجع تعاير عليه المقاييس الآلية.
مثال عملي
مثال المسرد: عندك نموذج ترجمة من الإنجليزي للعربي. تجيب ناس بيتكلّموا اللغتين ويقيّموا جودة الترجمة.
تخيّل الجملة الإنجليزية ليها ترجمتين صحيحتين حرفيًا، لكن واحدة منهم ركيكة. مقياس آلي بيقارن الكلمات ممكن يدّيهم نفس الدرجة. المترجم البشري هيعرف فورًا أنهي ترجمة طبيعية وأنهي مش مفهومة لقارئ عربي.
مصطلحات مرتبطة
- Autorater Evaluation — التقييم بنموذج حَكَم.
- Automatic Evaluation — التقييم الآلي.
- Rater — المقيّم.
- Reference Text — النصّ المرجعي.
المصادر: Google ML Glossary
