باختصار
معدّل خطأ فصل المتحدّثين (Diarization Error Rate) هو المقياس المعتمد عمليًا لتقييم ومقارنة أنظمة فصل المتحدّثين (Speaker Diarization). وكلّ ما كان أقل، كان أحسن.
بالتفصيل
المعادلة بسيطة:
DER = (الإنذار الكاذب + الكلام الفائت + الخلط) ÷ الإجمالي
- الإنذار الكاذب (False Alarm): مدّة صمت أو ضوضاء النظام اعتبرها كلام.
- الكلام الفائت (Missed Detection): مدّة كلام حقيقي النظام ما اكتشفهوش.
- الخلط (Confusion): مدّة كلام النظام اكتشفه في وقته الصحّ، لكن نسبه للمتحدّث الغلط.
- الإجمالي: مجموع مدّة كلام كل المتحدّثين في التسجيل المرجعي.
نقطة مهمّة: المقياس بيحسب الكلام المتداخل. لو اتنين اتكلّموا في نفس اللحظة، كل واحد فيهم بيتحسب في الإجمالي. فالنظام اللي ما بيكتشفش التداخل بياخد «كلام فائت» أكتر.
ولأن تحديد لحظة بداية ونهاية كل كلام يدويًا مش دقيق لمستوى الجزء من الثانية، أبحاث كتير بتستبعد «هامش» (Collar) حوالين حدود كل دور، غالبًا ربع ثانية قبل وبعد. ولذلك رقم DER لوحده مش كفاية: لازم تعرف هل الهامش صفر ولا لأ، وهل التداخل محسوب ولا مستبعد، قبل ما تقارن نظامين.
مثال عملي
تسجيل اجتماع فيه 100 ثانية كلام إجمالي. النظام فوّت 5 ثواني، واعتبر 3 ثواني ضوضاء كلام، ونسب 7 ثواني للشخص الغلط. يبقى:
DER = (3 + 5 + 7) ÷ 100 = 15%
للمقارنة، نموذج Nemotron 3 Diarization من NVIDIA أعلن عن معدّل 14.72% على معيار VoiceArena، بهامش صفر ومع احتساب التداخل.
مصطلحات مرتبطة
- Speaker Diarization — فصل المتحدّثين.
- Speech Recognition — التعرّف على الكلام.
- Benchmark — المعيار القياسي.
المصادر: pyannote.metrics
