باختصار
Masked Language Model (النموذج اللغوي المقنّع) نموذج لغوي بيتوقّع احتمالات الرموز المرشّحة عشان يملا فراغات في جملة.
بالتفصيل
الفكرة: تاخد جملة، تخبّي كلمة أو أكتر منها، وتطلب من النموذج يخمّن الكلمة المخبّية. الأبحاث عادةً بتستخدم الرمز MASK مكان الفراغ.
حسب مسرد Google، معظم النماذج اللغوية المقنّعة الحديثة ثنائية الاتّجاه (Bidirectional). يعني عشان تخمّن الكلمة الناقصة، بتبصّ على الكلام اللي قبلها والكلام اللي بعدها مع بعض.
وده الفرق الأساسي بينها وبين النماذج اللي بتولّد نصوص زي GPT. النماذج دي Autoregressive: بتتوقّع الكلمة الجاية بناءً على اللي فات بس، لأنها بتكتب كلمة ورا كلمة. أما النموذج المقنّع فشايف الجملة كلها، فبيفهم السياق أحسن، لكنه مش مصمّم إنه يكتب نصوص طويلة من الصفر.
ومن أشهر الأمثلة BERT: حسب المسرد، هو معمارية لتمثيل النصوص بتستخدم جزء المُرمِّز (Encoder) من الـ Transformer، وثنائي الاتّجاه، وبيعتمد على الإخفاء في تدريبه غير المُشرَف عليه، وممكن يبقى جزء من نموذج أكبر لتصنيف النصوص.
مثال عملي
مثال المسرد: الجملة The MASK in the hat came back.
النموذج بيحسب احتمالات لكل كلمة ممكن تتحطّ مكان الفراغ. ولأنه شايف كلمة hat (قبّعة) وcame back (رجع)، ممكن يدّي احتمال عالي لكلمة زي cat (قطّة).
بالعربي: «راح الولد [MASK] عشان يشتري عيش». نموذج ثنائي الاتّجاه هيشوف كلمة «يشتري عيش» اللي بعد الفراغ، فهيرشّح «المخبز» أو «الفرن» بدل أي مكان تاني.
مصطلحات مرتبطة
- BERT — بيرت.
- Bidirectional — ثنائي الاتّجاه.
- Autoregressive Model — النموذج الانحداري الذاتي.
- Pre-training — التدريب المسبق.
المصادر: Google ML Glossary
