باختصار
المخطّط الطيفي بمقياس ميل (Mel Spectrogram) صورة للصوت بتوضّح محتوى الترددات عبر الزمن، لكن محور الترددات فيها مقسوم بمقياس ميل (Mel Scale) اللي بيقلّد طريقة سمع الإنسان.
بالتفصيل
الموجة الصوتية الخام مجرّد أرقام بتتغيّر مع الزمن. عشان نشوف «مكوّناتها»، بنقسّمها لقطع قصيرة ونحسب الترددات في كل قطعة بتحويل فورييه قصير المدى (STFT). النتيجة مخطّط طيفي (Spectrogram): محور أفقي للزمن، ومحور رأسي للتردّد، واللون بيعبّر عن الشدّة.
المشكلة إن المخطّط العادي محور ترددّاته خطّي بالهرتز، بينما ودن الإنسان أحسن بكتير في التمييز بين الترددات المنخفضة من العالية، والحساسية دي بتقلّ بشكل لوغاريتمي. مقياس ميل مقياس إدراكي بيقرّب الاستجابة غير الخطّية دي.
عشان نعمل مخطّط ميل: بنعدّي كل طيف على مجموعة مرشّحات اسمها Mel Filterbank بتحوّل الترددات لمقياس ميل. وعادةً بنعبّر عن الشدّة بالديسيبل، فيبقى اسمه Log-Mel Spectrogram. عدد «نطاقات ميل» الشائع 40 أو 80.
ملاحظتين مهمّين:
- العملية فيها فقد للمعلومات، فالرجوع من مخطّط ميل لموجة صوتية صعب، وبيحتاج نماذج اسمها «مُرمِّزات صوتية» (Vocoders) زي HiFiGAN.
- مش كل مخطّطات ميل زي بعض: فيه أكتر من صيغة لمقياس ميل، ولو النموذج متوقّع صيغة معيّنة لازم تحسبها بنفس الطريقة بالظبط.
مثال عملي
نموذج Nemotron 3 Diarization من NVIDIA بياخد صوت بتردّد 16 كيلوهرتز، ويحوّله لمخطّط ميل بخطوة 10 مللي ثانية، وبعدين يدخّله لمشفّر محوّلات عشان يحدّد مين بيتكلّم إمتى. وبمكتبة librosa في بايثون تقدر تحسبه بسطر واحد:
S = librosa.feature.melspectrogram(y=array, sr=sampling_rate, n_mels=128, fmax=8000)مصطلحات مرتبطة
- Audio Embeddings — تمثيلات الصوت.
- Speech Recognition — التعرّف على الكلام.
- Text-to-Speech — تحويل النصّ إلى كلام.
المصادر: Hugging Face Audio Course
