قرمصيص للأخبار أخبار الذكاء الاصطناعي بالعربي
باختصار
الـ Token (رمز (توكن)) — أصغر وحدة نصّية بيتعامل معاها النموذج اللغوي — ممكن تكون كلمة كاملة أو جزء من كلمة أو علامة ترقيم.
بالتفصيل
زي ما المترجم الشاطر بيفهم المعنى مش بس الكلمات — النماذج اللغوية بتحاول تعمل نفس الحاجة.
معالجة اللغة الطبيعية من أقدم وأهم مجالات الذكاء الاصطناعي — والـ Token تقنية أساسية فيه. مع ظهور النماذج اللغوية الكبيرة (LLMs), المجال ده اتطور بشكل غير مسبوق. دلوقتي الآلات بتفهم السياق والنية والمشاعر ورا الكلام — مش بس الكلمات الحرفية.
مثال عملي
لما Google Translate بيترجملك مقال كامل من الإنجليزي للعربي في ثانية، أو لما ChatGPT بيفهم سؤالك ويرد بشكل منطقي — ورا الكواليس فيه تقنيات معالجة لغة زي الـ Token بتشتغل. من غير التقنيات دي، الآلات ما كانتش هتقدر تتعامل مع اللغة البشرية المعقّدة.
مصطلحات مرتبطة
- نموذج لغوي كبير (Large Language Model (LLM))
- المحوّل (ترانسفورمر) (Transformer)
- المحوّل التوليدي المدرّب مسبقًا (GPT (Generative Pre-trained Transformer))
- نافذة السياق (Context Window)
- مُوجِّه (بروميت) (Prompt)
