قرمصيص للأخبار أخبار الذكاء الاصطناعي بالعربي
باختصار
الـ Benchmark هو اختبار أو مجموعة اختبارات موحّدة بنستخدمها عشان نقارن أداء نماذج الـ AI ببعض — زي امتحان موحّد لكل النماذج عشان نعرف مين أشطر.
بالتفصيل
تخيّل إن عندك 5 طلاب وعايز تعرف مين أشطر واحد فيهم. مش هتخلّي كل واحد يحل امتحان مختلف — لازم كلهم يحلوا نفس الامتحان عشان المقارنة تبقى عادلة. ده بالظبط اللي بيعمله الـ Benchmark في عالم الـ AI: بيحط كل النماذج قدام نفس الأسئلة أو المهام عشان نقدر نقارن بينهم بشكل منصف.
في عالم نماذج اللغة الكبيرة (LLMs)، في Benchmarks مشهورة زي MMLU اللي بيختبر المعرفة العامة في 57 موضوع مختلف، وHumanEval اللي بيختبر قدرة النموذج على كتابة كود برمجي، وHellaSwag اللي بيختبر الفهم والمنطق. كل Benchmark بيركّز على مهارة معينة، وبكده بنقدر نعرف النموذج ده قوي في إيه وضعيف في إيه.
المشكلة إن الـ Benchmarks مش كاملة. زي ما الامتحان المدرسي مش بيقيس كل حاجة — مش بيقيس الإبداع أو الذكاء الاجتماعي مثلًا — الـ Benchmarks بتقيس جوانب محددة بس من قدرات النموذج. وكمان في مشكلة إن بعض النماذج ممكن تتدرّب على أسئلة الـ Benchmark نفسه (ده اسمه Data Contamination)، وده بيخلّي النتايج مش دقيقة.
عشان كده، الشركات الكبيرة زي OpenAI وGoogle وAnthropic بتنشر نتايج نماذجها على Benchmarks متعددة مش واحد بس. ولما بتقرأ إن نموذج جديد “حقق أعلى نتيجة”، لازم تسأل: على أي Benchmark؟ لأن نموذج ممكن يكون الأحسن في الرياضيات بس متوسط في الكتابة الإبداعية.
مثال عملي
لما OpenAI أعلنت عن GPT-4، نشرت نتايجه على عشرات الـ Benchmarks — منها إنه قدر يعدّي امتحان المحاماة الأمريكي (Bar Exam) في أعلى 10% من المتقدمين. ده Benchmark حقيقي بيقارن أداء النموذج بأداء البشر. بنفس الطريقة، لما بتشوف مقارنة بين موبايلين على AnTuTu أو Geekbench — دول Benchmarks للأجهزة بتقيس سرعة المعالج. نفس المبدأ بيتطبّق على نماذج الـ AI.
مصطلحات مرتبطة
- نموذج ذكاء اصطناعي (AI Model)
- الحيرة (Perplexity)
- مجموعة البيانات (Dataset)
- المعاملات (Parameters)
