إيه هو الـ Perplexity؟ | الحيرة

باختصار

الـ Perplexity هو مقياس بيقيس قد إيه النموذج اللغوي “متحيّر” أو مش متأكد لما بيحاول يتوقع الكلمة الجاية. كل ما الرقم أقل، كل ما النموذج أحسن في التوقع.

بالتفصيل

تخيّل إنك بتلعب لعبة مع صاحبك: هو بيقول جملة وبيوقف قبل آخر كلمة، وأنت لازم تخمّن الكلمة الناقصة. لو قالك “أنا رايح السوبرماركت عشان أشتري …”، أنت غالبًا هتخمّن حاجة زي “حاجات” أو “أكل” — يعني مش “متحيّر” أوي. بس لو قالك “أنا رايح المكان عشان أعمل …”، هنا أنت “حيران” أكتر لأن الاحتمالات كتير. الـ Perplexity بيقيس نفس الإحساس ده بس للنموذج اللغوي.

رياضيًا، الـ Perplexity بيتحسب من حاجة اسمها الـ Cross-Entropy، ومعناه باختصار: قد إيه النموذج بيدّي احتمال عالي للكلمة الصح اللي فعلًا جت في النص. لو النموذج دايمًا بيتوقع الكلمة الصح باحتمال عالي، الـ Perplexity بتكون قليلة (وده كويس). لو النموذج بيتوقع غلط كتير أو مش متأكد، الـ Perplexity بتكون عالية (وده وحش).

ممكن تفكّر في الـ Perplexity كأنها عدد الاختيارات اللي النموذج “شايفها” قدامه في المتوسط. يعني لو الـ Perplexity = 10، كأن النموذج في كل خطوة متحيّر بين 10 كلمات محتملة. لو الـ Perplexity = 100، كأنه متحيّر بين 100 كلمة — يعني مش فاهم النص كويس.

الباحثين بيستخدموا الـ Perplexity كـ Benchmark أساسي لمقارنة النماذج اللغوية. لما بتسمع إن نموذج جديد حقق Perplexity أقل من النموذج القديم، ده معناه إنه بقى أحسن في فهم وتوقع اللغة. بس خلّي بالك — الـ Perplexity المنخفضة مش معناها بالضرورة إن النموذج بيكتب بشكل إبداعي أحسن أو بيفهم المعنى أعمق.

مثال عملي

لما بتكتب رسالة على الموبايل وKeyboard بيقترح عليك الكلمة الجاية — لو الاقتراح دايمًا بييجي صح ومناسب، ده معناه إن النموذج اللي وراه عنده Perplexity منخفضة (مش متحيّر). بس لو الاقتراحات غريبة ومش مناسبة، يبقى الـ Perplexity عالية. مثلًا لو كتبت “صباح” والنموذج اقترح “الخير”، ده توقع ممتاز وبيعكس Perplexity منخفضة. بس لو اقترح “الكرسي”، ده بيعكس إن النموذج متحيّر ومش فاهم السياق.

مصطلحات مرتبطة

شاهد أيضاً

إيه هو الـ TruthfulQA؟ | اختبار صدق الإجابات

باختصار الـ TruthfulQA (اختبار صدق الإجابات) — اختبار بيقيس مدى صدق إجابات النموذج — بيسأل …

اترك تعليقاً

لن يتم نشر عنوان بريدك الإلكتروني. الحقول الإلزامية مشار إليها بـ *