باختصار
التقييم الآلي (Automatic Evaluation) هو استخدام البرمجيات للحكم على جودة مخرَج النموذج.
بالتفصيل
لما يكون مخرَج النموذج مباشرًا نسبيًا، يقدر سكريبت أو برنامج يقارن المخرَج بالاستجابة الذهبية (Golden Response). والنوع ده من التقييم الآلي بيتسمّى أحيانًا التقييم البرمجي (Programmatic Evaluation). ومقاييس زي ROUGE وBLEU غالبًا بتبقى مفيدة في التقييم البرمجي.
لكن لما يكون المخرَج معقّدًا أو ليست له إجابة صحيحة واحدة، بيقوم بالتقييم الآلي أحيانًا برنامج تعلّم آلي منفصل اسمه المقيّم الآلي (Autorater).
والتقييم الآلي يقابل التقييم البشري (Human Evaluation).
ولاختيار بينهما منطق اقتصادي واضح. التقييم الآلي رخيص وسريع وقابل للتكرار تمامًا، فتقدر تشغّله على كل تغيير في الكود. أما التقييم البشري فمكلف وبطيء وغير قابل للتكرار حرفيًا، لكنه بيلتقط أشياء لا يلتقطها أي مقياس آلي: الطبيعية، والنبرة، ومناسبة السياق الثقافي.
والممارسة الشائعة هي المزج: تقييم آلي مستمرّ كبوّابة سريعة، وتقييم بشري دوري على عيّنة كبوّابة نهائية قبل الإطلاق.
مثال عملي
بتطوّر مساعدًا عربيًا يلخّص المقالات. بعد كل تعديل، بتشغّل تقييمًا آليًا يقارن ملخّصات النموذج بملخّصات مرجعية على 500 مقال، ويرجّع درجة خلال دقيقة — فتعرف فورًا لو التعديل كسر شيئًا.
لكن قبل الإطلاق، بتدّي 50 ملخّصًا لمحرّرين بشر يقيّموا الركاكة والأسلوب — وهي أشياء الدرجة الآلية ما بتشوفهاش.
مصطلحات مرتبطة
- Human Evaluation — التقييم البشري.
- Golden Response — الاستجابة الذهبية.
- BLEU — مقياس تقييم الترجمة.
المصادر: Google ML Glossary
