باختصار
Data Contamination (تلوّث البيانات، ويُعرف أيضًا بتلوّث المعايير القياسية أو Benchmark Contamination) يحدث حين تتسرّب أسئلة أو إجابات اختبار قياس أداء (benchmark) إلى بيانات تدريب نموذج ما — عن غير قصد غالبًا — فيبدو أداء النموذج على ذلك الاختبار أعلى بكثير مما هو عليه فعليًا في مواقف جديدة لم يرها من قبل.
بالتفصيل
مع تدريب النماذج اللغوية على كميات هائلة من نصوص الإنترنت، يصبح احتمال وجود أسئلة اختبارات معروفة أو نسخ منها ضمن بيانات التدريب مرتفعًا — خصوصًا للاختبارات المنشورة علنًا منذ سنوات. أظهرت أبحاث في هذا المجال أن تغييرات بسيطة على أسئلة الاختبار — مثل إعادة الصياغة أو الترجمة إلى لغة أخرى — تكفي لتجاوز أساليب «إزالة التلوّث» (decontamination) التقليدية القائمة على مطابقة النصوص الحرفية.
كشفت إحدى الدراسات وجود تداخل يتراوح بين 8٪ و18٪ من أسئلة اختبار HumanEval الشهير (لقياس قدرة النماذج على البرمجة) داخل مجموعات بيانات تدريب واسعة الاستخدام، إضافة إلى تلوّث في بيانات صناعية مولّدة بواسطة نماذج أخرى. النتيجة العملية: نموذج صغير نسبيًا قد يحقق نتيجة تضاهي نموذجًا أضخم بكثير على اختبار معيّن، فقط لأنه «حفظ» إجاباته بدل أن يستدل عليها فعليًا.
مثال عملي
حين تعلن شركة أن نموذجها الجديد «تفوّق على المنافسين» في اختبار معياري معروف بفارق كبير وغير متوقع، يكون التحقق من احتمال تلوّث البيانات أحد الأسئلة الأولى التي يطرحها باحثون مستقلون قبل تصديق الرقم كما هو.
مصطلحات مرتبطة
Benchmark (المعيار القياسي) — الاختبار الذي قد يتعرّض للتلوّث. Overfitting (الإفراط في التخصيص) — مشكلة قريبة المفهوم لكنها تحدث داخل بيانات التدريب نفسها لا بين التدريب والاختبار. Human Evaluation (التقييم البشري) — أحد الحلول البديلة لتقييمات المعايير القياسية الملوّثة.
المصادر: arXiv
