باختصار
SQuAD (اختصار Stanford Question Answering Dataset) امتحان قراءة للنماذج: نصّ من Wikipedia، وأسئلة عليه، وبعض الأسئلة بلا إجابة عن قصد. وقُدّمت في ورقة بعنوان SQuAD: 100,000+ Questions for Machine Comprehension of Text.
بالتفصيل
بحسب مسرد Google:
- كتب الأسئلةَ أشخاصٌ عن مقالات من Wikipedia.
- بعضها له إجابة في النصّ، وبعضها لا إجابة له عمدًا.
- فتقيس المجموعة أمرين: هل يجيب النموذج حين توجد إجابة؟ وهل يعرف أن يقول «لا أعرف» حين لا توجد؟
- وأشهر مقياسين عليها Exact Match مع F1 Score.
الجزء الثاني هو الأذكى في التصميم. فالنموذج الذي يخترع إجابة لسؤال لا إجابة له يقع في Hallucination (الهلوسة)، وهذه مشكلة أنظمة البحث والإجابة اليوم بالضبط.
مثال عملي
فقرة من Wikipedia عن نهر النيل. اسأل: «في أيّ بحر يصبّ النيل؟» الإجابة في النصّ. ثم اسأل: «كم سمكة في النيل؟» والفقرة لا تقول شيئًا.
النموذج الجيد يجيب عن الأوّل، ويعترف في الثاني بأن الفقرة لا تحوي الإجابة. أمّا النموذج الضعيف فيعطيك رقمًا بثقة رجل يعرف كل شيء.. ولا يعرف شيئًا.
مصطلحات مرتبطة
- Question Answering — الإجابة عن الأسئلة.
- Exact Match — التطابق التامّ.
- F1 Score — مقياس F1.
- Groundedness — الاستناد إلى المصادر.
المصادر: Google ML Glossary
