باختصار
التقييم بالمُقيِّم الآلي (Autorater Evaluation) آلية هجينة للحكم على جودة مخرجات نموذج ذكاء اصطناعي توليدي، بتجمع التقييم البشري (Human Evaluation) مع التقييم الآلي.
بالتفصيل
الـAutorater هو نموذج تعلّم آلي بيتدرّب على بيانات ناتجة من تقييم بشري. الهدف المثالي إنه يتعلّم يقلّد المقيّم البشري. والمهم إن «الـ Autorater» لما يشتغل يبقى عملية آلية بالكامل؛ البشر «بس» بيوفّروا البيانات اللي بتدرّبه.
حسب المسرد، فيه Autoraters جاهزة، لكن الأفضل هي اللي بتتظبّط (Fine-tuned) خصّيصًا للمهمّة اللي بتقيّمها.
ليه بنحتاجه؟ ورقة FLAMe البحثية بتشرح إن تقييم مخرجات النماذج اللغوية بيبقى أصعب مع تقدّمها، بسبب ارتفاع تكلفة التقييم البشري. الباحثون درّبوا عائلة نماذج على أكتر من 100 مهمّة تقييم جودة فيها أكتر من 5 ملايين حكم بشري، وأفادوا بإنها تفوّقت على نماذج مثل GPT-4 وClaude-3 في كتير من المهام، وإنها أقل انحيازًا في اختبار متخصّص لانحياز المقيّمين. وده نتائج الورقة نفسها، مش حكمًا عامًا على كل الحالات.
مثال عملي
فريق بيطوّر مساعدًا ذكيًا وعايز يقارن نسختين على 10,000 سؤال. التقييم البشري لكل الأسئلة غالي وبطيء. فبيقيّم فريق بشري 500 إجابة بعناية، والتقييمات دي بتدرّب Autorater، وبعدها بيحكم الـ Autorater على الـ10,000 كلها، ويراجع البشر عيّنات منها للتأكّد إنه لسّه بيتّفق معاهم.
مصطلحات مرتبطة
- Human Evaluation — التقييم البشري.
- Reward Model — نموذج المكافأة.
- Benchmark — اختبار قياس الأداء.
المصادر: Google ML Glossary، arXiv — Foundational Autoraters (FLAMe) — 2024-07-15
