تكرار المصطلح والتردد العكسيTF-IDF

TF-IDF اختصار لـ Term Frequency–Inverse Document Frequency، مقياس إحصائي بيقيّم أهمية كلمة في مستند معين مقارنة بمجموعة مستندات أكبر (Corpus).

باختصار

مقياس بيدي وزن أعلى للكلمات اللي بتتكرر كتير في مستند واحد لكنها نادرة في باقي المستندات، وبيقلل من وزن الكلمات الشائعة اللي مالهاش قيمة تمييزية زي أدوات الربط.

بالتفصيل

المقياس بيتكوّن من جزئين: تكرار المصطلح (TF) وهو عدد مرات ظهور الكلمة في المستند، مقسوم غالباً على إجمالي عدد كلمات المستند. والتردد العكسي للمستند (IDF) وهو مقياس لوغاريتمي بيعكس ندرة الكلمة عبر كل المستندات — كل ما الكلمة اتكررت في مستندات أكتر، قل وزنها.

حاصل ضرب الاتنين بيدي درجة TF-IDF النهائية، اللي بتكون عالية للكلمات المتكررة في مستند واحد لكن النادرة في باقي المجموعة، وده بالظبط اللي بيميز محتوى المستند.

مثال عملي

دراسة استقصائية من سنة 2015 وجدت إن 83% من أنظمة التوصية بالنصوص في المكتبات الرقمية بتستخدم TF-IDF كطريقة أساسية لتمثيل النصوص.

خلي بالك: TF-IDF بيهتم بتكرار الكلمات الحرفي مش بمعناها، فكلمتين مترادفتين هيتعاملوا كأنهم مختلفين تماماً.

مصطلحات مرتبطة

BM25، Embedding، RAG.

المصادر: Wikipedia