المُجزّئTokenizer

باختصار

الـ Tokenizer (المُجزّئ) — أداة بتقطّع النص لوحدات صغيرة اسمها tokens، ممكن تكون كلمات أو أجزاء كلمات أو حتى حروف، عشان النموذج يقدر يعالجها.

بالتفصيل

اللغة البشرية معقّدة جدًا — نفس الكلمة ممكن تكون مدح أو ذم حسب السياق. فهم التعقيد ده هو تحدي معالجة اللغة الطبيعية.

معالجة اللغة الطبيعية من أقدم وأهم مجالات الذكاء الاصطناعي — والـ Tokenizer تقنية أساسية فيه. مع ظهور النماذج اللغوية الكبيرة (LLMs), المجال ده اتطور بشكل غير مسبوق. دلوقتي الآلات بتفهم السياق والنية والمشاعر ورا الكلام — مش بس الكلمات الحرفية.

مثال عملي

لما Google Translate بيترجملك مقال كامل من الإنجليزي للعربي في ثانية، أو لما ChatGPT بيفهم سؤالك ويرد بشكل منطقي — ورا الكواليس فيه تقنيات معالجة لغة زي الـ Tokenizer بتشتغل. من غير التقنيات دي، الآلات ما كانتش هتقدر تتعامل مع اللغة البشرية المعقّدة.

مصطلحات مرتبطة

• نموذج لغوي كبير (Large Language Model (LLM))
• المحوّل (ترانسفورمر) (Transformer)
• المحوّل التوليدي المدرّب مسبقًا (GPT (Generative Pre-trained Transformer))
• رمز (توكن) (Token)
• نافذة السياق (Context Window)