انتقل إلى المحتوى

أدوات

Nemotron 3 Diarization من NVIDIA: نموذج مفتوح يعرف «مين قال إيه» لحدّ 8 متحدّثين

أطلقت NVIDIA نموذج Nemotron 3 Diarization مفتوح الأوزان بحجم 100 مليون معامل لفصل المتحدّثين في المحادثات الحيّة والمسجّلة، ويتصدّر لوحة VoiceArena بمعدّل خطأ 14.72%. ماذا يفعل، ولمن يناسب، وما حدوده.

Nemotron 3 Diarization من NVIDIA: نموذج مفتوح يعرف «مين قال إيه» لحدّ 8 متحدّثين

كل محادثة تحمل طبقتين من المعلومات: ماذا قيل، ومن قاله. التعرّف على الكلام يلتقط الكلمات، أمّا فصل المتحدّثين (Speaker Diarization) فيحدّد من تكلّم ومتى. نفرّغ اجتماعًا بدقّة كاملة لكن بدون أسماء، فلا نعرف من التزم بمهمّة ومن اعترض ومن قاطع.

هذه هي المشكلة التي يعالجها Nemotron 3 Diarization من NVIDIA، الذي أُعلن عنه يوم 23 سبتمبر.

ماذا يفعل؟

  • نموذج واحد للبثّ المباشر والتسجيلات: مفتوح الأوزان بحجم 100 مليون معامل، يدعم حتى ثمانية متحدّثين، ويتعامل مع الكلام المتداخل.
  • إعدادات زمن استجابة مرنة: أربعة إعدادات موصى بها لحجم المخزن المؤقت: 30.4 ثانية للمعالجة شبه غير المتّصلة، ثم 1.04 و0.64 و0.32 ثانية للبثّ الحيّ.
  • بدون حدّ ثابت لطول التسجيل: بفضل المعالجة على دفعات مع ذاكرة للمتحدّثين السابقين.

تقنيًا، يستقبل النموذج صوتًا أحادي القناة بتردّد 16 كيلوهرتز، ويحوّله إلى مخطّط طيفي بمقياس ميل (Mel Spectrogram)، ثم يمرّره عبر مشفّر محوّلات من 31 طبقة يستخدم الترميز الموضعي الدوراني (RoPE). ويرتّب المتحدّثين بحسب ترتيب ظهورهم: أوّل صوت جديد يصبح المتحدّث الأوّل، وهكذا، ما يجعل التسميات ثابتة عبر المقاطع المتتالية.

الأداء

في النتائج الأولى لمعيار Diarization-Bench على VoiceArena، جاء النموذج في المركز الأوّل بين 12 نظامًا، بمعدّل خطأ فصل المتحدّثين (DER) قدره 14.72%، مقابل 19.3% للنظام التالي، على 139 محادثة إنجليزية بإجمالي نحو 22 ساعة. ومقارنة بنموذج NVIDIA السابق لأربعة متحدّثين، تقول الشركة إن متوسّط الانخفاض النسبي في الخطأ بلغ 41% عبر ثماني حالات تقييم عند زمن استجابة 1.04 ثانية.

وأضافت Argmax دعم النموذج في Argmax Pro SDK 3 لفصل المتحدّثين في الوقت الحقيقي على الأجهزة.

الاستخدام العملي

التثبيت عبر مكتبة NeMo:

uv pip install 'nemo-toolkit[asr]'

ثم تحميل النموذج:

from nemo.collections.asr.models import SortformerEncLabelModel
diar_model = SortformerEncLabelModel.from_pretrained("nvidia/Nemotron-3-Diarization")

الناتج قائمة مقاطع بصيغة «بداية نهاية متحدّث»، مثل 0.400 2.100 speaker_0، ويمكن أن تتداخل المقاطع عندما يتكلّم شخصان معًا. وتنشر NVIDIA قيم الإعدادات لكل مستوى من مستويات زمن الاستجابة.

الحدود

  • التسميات مجهولة (speaker_0، speaker_1)، والنموذج لا يحدّد هوية الأشخاص. ربطها بالأسماء مسؤولية تطبيقك.
  • مصمّم لأنظمة لينكس مع بطاقات NVIDIA من أجيال Ampere أو Hopper أو Blackwell.
  • قد يتراجع الأداء مع التسجيلات الطويلة جدًّا أو الضوضاء الشديدة أو الصدى أو الميكروفونات البعيدة.
  • لا يتفوّق دائمًا: في حالة المتحدّثين الاثنين من مجموعة CALLHOME، سجّل 5.98% مقابل 5.68% للنموذج السابق.
  • فصل المتحدّثين لا ينتج نصًّا؛ تحتاج لدمجه مع نموذج تعرّف على الكلام لتحصل على تفريغ منسوب للمتحدّثين.

لمن يناسب؟

لمطوّري تطبيقات تفريغ الاجتماعات، وتحليلات مراكز الاتّصال، والبودكاست، ووكلاء الصوت الذين يحتاجون تذكّر من قال ماذا. وبما أن NVIDIA تقول إن بيانات التدريب شملت مزيجًا متعدّد اللغات يغطّي 21 لغة، يستحق الأمر تجربته على تسجيلات عربية حقيقية قبل الاعتماد عليه، لأن المعيار المنشور إنجليزي فقط.

المصادر: Hugging Face / NVIDIA — 2026-09-23