الانتباه الذاتيSelf-Attention

باختصار

الـ Self-Attention (الانتباه الذاتي) — نوع من آلية الانتباه فيه كل كلمة في النص بتبص على كل الكلمات التانية عشان تفهم السياق، وده أساس عمل نماذج Transformer.

بالتفصيل

اللغة البشرية معقّدة جدًا — نفس الكلمة ممكن تكون مدح أو ذم حسب السياق. فهم التعقيد ده هو تحدي معالجة اللغة الطبيعية.

معالجة اللغة الطبيعية من أقدم وأهم مجالات الذكاء الاصطناعي — والـ Self-Attention تقنية أساسية فيه. مع ظهور النماذج اللغوية الكبيرة (LLMs), المجال ده اتطور بشكل غير مسبوق. دلوقتي الآلات بتفهم السياق والنية والمشاعر ورا الكلام — مش بس الكلمات الحرفية.

مثال عملي

لما Google Translate بيترجملك مقال كامل من الإنجليزي للعربي في ثانية، أو لما ChatGPT بيفهم سؤالك ويرد بشكل منطقي — ورا الكواليس فيه تقنيات معالجة لغة زي الـ Self-Attention بتشتغل. من غير التقنيات دي، الآلات ما كانتش هتقدر تتعامل مع اللغة البشرية المعقّدة.

مصطلحات مرتبطة

• نموذج لغوي كبير (Large Language Model (LLM))
• المحوّل (ترانسفورمر) (Transformer)
• المحوّل التوليدي المدرّب مسبقًا (GPT (Generative Pre-trained Transformer))
• رمز (توكن) (Token)
• نافذة السياق (Context Window)