رمز (توكن)Token

باختصار

الـ Token (رمز (توكن)) — أصغر وحدة نصّية بيتعامل معاها النموذج اللغوي — ممكن تكون كلمة كاملة أو جزء من كلمة أو علامة ترقيم.

بالتفصيل

زي ما المترجم الشاطر بيفهم المعنى مش بس الكلمات — النماذج اللغوية بتحاول تعمل نفس الحاجة.

معالجة اللغة الطبيعية من أقدم وأهم مجالات الذكاء الاصطناعي — والـ Token تقنية أساسية فيه. مع ظهور النماذج اللغوية الكبيرة (LLMs), المجال ده اتطور بشكل غير مسبوق. دلوقتي الآلات بتفهم السياق والنية والمشاعر ورا الكلام — مش بس الكلمات الحرفية.

مثال عملي

لما Google Translate بيترجملك مقال كامل من الإنجليزي للعربي في ثانية، أو لما ChatGPT بيفهم سؤالك ويرد بشكل منطقي — ورا الكواليس فيه تقنيات معالجة لغة زي الـ Token بتشتغل. من غير التقنيات دي، الآلات ما كانتش هتقدر تتعامل مع اللغة البشرية المعقّدة.

مصطلحات مرتبطة

• نموذج لغوي كبير (Large Language Model (LLM))
• المحوّل (ترانسفورمر) (Transformer)
• المحوّل التوليدي المدرّب مسبقًا (GPT (Generative Pre-trained Transformer))
• نافذة السياق (Context Window)
• مُوجِّه (بروميت) (Prompt)