باختصار
النموذج متعدّد الوسائط (Multimodal Model) هو نموذج تشمل مُدخَلاته أو مُخرَجاته — أو الاتنين معًا — أكثر من وسيط (Modality) واحد.
بالتفصيل
الوسيط هنا معناه نوع البيانات: نصّ، صورة، صوت، فيديو، بيانات جدولية — كلّ واحد وسيط مستقلّ له طبيعته الخاصّة.
مثال توضيحي: تخيّل نموذجًا بياخد صورة وتعليقًا نصّيًا كسمتين (وسيطان)، ويُخرج درجة بتشير لمدى ملاءمة التعليق النصّي للصورة. في هذه الحالة، مُدخَلات النموذج متعدّدة الوسائط (نصّ وصورة معًا)، ومخرَجه أحادي الوسيط (رقم واحد فقط).
ولاحظ الدقّة في التعريف: النموذج متعدّد الوسائط مش شرطًا يكون كل من المُدخَل والمخرَج متعدّد الوسائط في نفس الوقت. يكفي إن أحدهما فقط — المُدخَل أو المخرَج — يشمل أكثر من وسيط ليُصنَّف النموذج كمتعدّد الوسائط.
والتحدّي التقني الأساسي في بناء نموذج متعدّد الوسائط هو المحاذاة (Alignment): إزاي تحوّل أنواع بيانات مختلفة جذريًا في بنيتها — بكسلات صورة، وموجات صوتية، ورموز نصّية — إلى تمثيل مشترك يقدر النموذج يفهمه ويربط بينه.
والاتّجاه العملي الحديث واضح: معظم النماذج المتقدّمة اليوم مش أحادية الوسيط. مساعد يقدر يوصف صورة، ويحلّل مستند PDF فيه نصّ وجداول، ويستجيب صوتيًا — كلّها أمثلة على نماذج متعدّدة الوسائط بشكلها الحديث.
مثال عملي
تطبيق طبّي عربي بيسمح للمستخدم يرفع صورة أشعّة ويكتب وصفًا نصّيًا للأعراض، والنموذج بيُخرج تقييمًا أوّليًا نصّيًا.
المُدخَل هنا متعدّد الوسائط (صورة + نصّ)، والمخرَج أحادي الوسيط (نصّ فقط) — وده يكفي تمامًا لتصنيف النموذج ده كنموذج متعدّد الوسائط.
مصطلحات مرتبطة
- Vision-Language Model — نموذج الرؤية واللغة.
- Embedding Space — فضاء التضمين.
- Computer Vision — الرؤية الحاسوبية.
المصادر: Google ML Glossary
