إيه هي الـ Cross-entropy؟ | الإنتروبيا التقاطعية

باختصار

الـ Cross-entropy (الإنتروبيا التقاطعية) — دالة خسارة شائعة جداً في التصنيف — بتقيس الفرق بين التوزيع اللي النموذج توقّعه والتوزيع الحقيقي. كل ما قلّت، كل ما النموذج كان أدق.

بالتفصيل

زي ما الفيزياء محتاجة رياضيات عشان تفسّر الكون — الذكاء الاصطناعي محتاج رياضيات عشان يتعلّم ويفهم.

مش لازم تكون عالم رياضيات عشان تستخدم الـ AI — بس فهم الأساسيات الرياضية زي الـ Cross-entropy بيديك ميزة كبيرة. لو فهمت الرياضيات ورا النموذج، هتقدر تشخّص المشاكل وتحسّن الأداء بشكل أعمق من اللي بيتعامل مع النماذج كصندوق أسود.

مثال عملي

لما ChatGPT بيرد على سؤالك، ورا الكواليس بتحصل ملايين العمليات الرياضية اللي بتستخدم مفاهيم زي الـ Cross-entropy في كل خطوة. كل طبقة من طبقات النموذج بتنفّذ حسابات معقّدة بتحوّل كلامك لأرقام وتعالجها وتحوّلها تاني لكلمات مفهومة. من غير الرياضيات دي، الـ AI ما كانش هيبقى موجود.

مصطلحات مرتبطة

شاهد أيضاً

إيه هو الـ Mixture of Experts (MoE)؟ | مزيج الخبراء

باختصار الـ Mixture of Experts (MoE) (مزيج الخبراء) — بنية نموذج فيها عدة شبكات “خبيرة” …

اترك تعليقاً

لن يتم نشر عنوان بريدك الإلكتروني. الحقول الإلزامية مشار إليها بـ *