باختصار
Logits هي متّجه التوقّعات الخام (غير المطبّعة) اللي نموذج التصنيف بيطلّعه، قبل ما يعدّي على دالّة تطبيع تحوّله لاحتمالات.
بالتفصيل
في مشكلة تصنيف متعدّد الفئات، النموذج بيطلّع رقم لكل فئة ممكنة. الأرقام دي ممكن تكون موجبة أو سالبة، ومجموعها مش واحد، فما ينفعش تتقرا كاحتمالات مباشرة.
عشان كده الـ Logits بتدخل عادةً على دالّة Softmax، اللي بتحوّلها لمتّجه احتمالات: قيمة لكل فئة، ومجموعهم كلهم 1.0 بالظبط.
الفكرة دي هي قلب النماذج اللغوية. الكلمة الجاية عبارة عن «تصنيف» على كل الرموز (Tokens) اللي في المفردات. النموذج بيطلّع Logit لكل رمز، والـ Softmax بتحوّلهم لاحتمالات، وبعدين بيتّاخد رمز منها. وفيه إعداد اسمه Temperature (درجة الحرارة) بيتحكّم في درجة عشوائية المخرجات: كل ما علي، المخرجات بقت أكثر عشوائية.
مثال عملي
مثال من مسرد Google على شكل المخرجات بعد الـ Softmax: نموذج بيصنّف صورة، والنتيجة:
- كلب: 0.85
- قطّة: 0.13
- حصان: 0.02
الأرقام دي احتمالات مجموعها 1.0. لكن قبلها بخطوة، النموذج كان طالع بتلات أرقام خام (Logits) الأكبر فيهم كان رقم الكلب. الـ Softmax حافظت على الترتيب وحوّلت الفروق لاحتمالات.
مصطلحات مرتبطة
- Softmax — دالّة سوفت ماكس.
- Temperature — درجة الحرارة.
- Multi-Class Classification — التصنيف متعدّد الفئات.
- Token — الرمز.
المصادر: Google ML Glossary
