اختبار هيلاسواج (HellaSwag) هو مصطلح ظهر في مقالات قرمصيص ويستحق شرحاً مستقلاً. مجموعة تقييم متعددة الخيارات تقيس اختيار الاستكمال الأكثر منطقية لموقف يومي. فهمه يساعدك على قراءة الشروحات ونتائج التجارب من غير خلط بين الاسم ووظيفته الفعلية.
باختصار
مجموعة تقييم متعددة الخيارات تقيس اختيار الاستكمال الأكثر منطقية لموقف يومي.
بالتفصيل
بُنيت الأمثلة من أوصاف أحداث مع إجابة صحيحة واستكمالات خاطئة مولدة آلياً ثم صُفّيت لتكون صعبة على النماذج. كان البشر يحلون النسخة الأصلية بسهولة أكبر بكثير من النماذج وقت نشرها.
الفكرة العملية هي النظر إلى مكان المصطلح داخل خط العمل: ما البيانات التي تدخل إليه، وما النتيجة التي ينتجها، وما التكلفة أو الافتراض الذي يضيفه. المقارنة العادلة تحتاج تجربة على بيانات منفصلة ومقياس مناسب، لا الاعتماد على الاسم أو الشهرة وحدهما.
مثال عملي
يعرض الاختبار بداية سيناريو، ثم يطلب من النموذج اختيار ما يحدث تالياً بين أربعة استكمالات تبدو لغوياً ممكنة.
خلي بالك: النتيجة لا تقيس كل جوانب الحس العام، وقد تتأثر بالتلوث وبمشكلات صياغة اكتشفتها أبحاث لاحقة.
مصطلحات مرتبطة
Benchmark، NLP، MMLU. قراءة هذه المصطلحات معاً توضح العلاقة بين البيانات والتدريب والتقييم والتشغيل.
المصادر: HellaSwag paper — 2019-05-19
