انتقل إلى المحتوى

مصطلح في خيطين

خوارزمية أفضل مطابقةBM25

المعنى في سطر

دالة ترتيب إحصائية بتستخدمها محركات البحث وأنظمة RAG لتقييم مدى صلة المستندات بالاستعلام، بناء على تكرار الكلمات وندرتها وطول المستند.

BM25 (اختصار Best Matching 25) دالة ترتيب إحصائية بتستخدمها محركات البحث لتقدير مدى صلة مستند معين باستعلام بحث. طورها ستيفن روبرتسون وكارين سباك جونز في السبعينات والثمانينات، ولسه أساسية في أنظمة البحث حتى النهاردة.

باختصار

خوارزمية بترتب المستندات حسب صلتها باستعلام معين، بناء على تكرار كلمات الاستعلام في المستند وندرتها عبر كل المستندات وطول المستند نفسه.

بالتفصيل

الخوارزمية بتجمع بين ثلاث عناصر: تكرار المصطلح (Term Frequency) اللي بيقيس عدد مرات ظهور كلمة الاستعلام في المستند مع تناقص تدريجي في التأثير كل ما زاد التكرار، والتردد العكسي للمستند (Inverse Document Frequency) اللي بيدي وزن أكبر للكلمات النادرة عن الكلمات الشائعة، وتطبيع الطول اللي بيمنع المستندات الطويلة من التفوق ظلماً على القصيرة.

النتيجة معادلة واحدة بتدي درجة صلة لكل مستند مقابل استعلام معين، وترتيب المستندات حسب الدرجة دي هو أساس نتائج البحث.

مثال عملي

في نظام RAG بيبحث في آلاف المستندات عن سؤال المستخدم، BM25 بيرشح أسرع المرشحين الأوليين بالاعتماد على تطابق الكلمات، قبل ما نظام أكتر تعقيداً يعيد ترتيبهم.

خلي بالك: BM25 بيعتمد على تطابق الكلمات الحرفي، فمش بيفهم المعنى زي الـ Embedding؛ كتير من الأنظمة الحديثة بتجمع الاتنين مع بعض.

مصطلحات مرتبطة

RAG، Vector Database، TF-IDF.

المصادر: Wikipedia