باختصار
سياسة إبسيلون الجشعة (Epsilon-Greedy Policy) هي سياسة في التعلّم المعزّز بتتّبع إمّا سياسة عشوائية باحتمال إبسيلون، أو سياسة جشعة في باقي الحالات.
بالتفصيل
لو كانت قيمة إبسيلون 0.9، فالسياسة بتتّبع سياسة عشوائية 90% من الوقت، وسياسة جشعة 10% من الوقت.
السياسة العشوائية (Random Policy) معناها: الوكيل بيختار فعلًا عشوائيًا، بلا اعتبار لأي تقدير حالي لقيمة الأفعال. السياسة الجشعة (Greedy Policy) معناها العكس: الوكيل بيختار دائمًا الفعل اللي يعتقد — بناءً على ما تعلّمه لحدّ الآن — إنه الأفضل.
ليه نحتاج المزيج ده أصلًا؟ لأن الاعتماد على الجشع بحته من البداية بيخلّي الوكيل يعلق عند أول حلّ «معقول» يكتشفه، حتى لو فيه حلّ أفضل بكثير موجود لكن ما جرّبهوش لسّه. والاعتماد على العشوائية بحتها بيخلّي الوكيل ما يستفيدش من أي حاجة اتعلّمها.
الحلّ العملي: عبر تكرارات متتالية، الخوارزمية بتقلّل قيمة إبسيلون تدريجيًا، عشان تنتقل من اتّباع سياسة عشوائية إلى اتّباع سياسة جشعة. بتحويل السياسة تدريجيًا كده، الوكيل بيستكشف البيئة عشوائيًا الأول، وبعدين بيستغلّ نتائج الاستكشاف العشوائي جشعًا.
وده معروف في أدبيات التعلّم المعزّز بمعضلة الاستكشاف مقابل الاستغلال (Exploration vs. Exploitation).
مثال عملي
وكيل بيتعلّم لعب لعبة. في البداية، إبسيلون = 0.9: الوكيل بيجرّب أفعالًا عشوائية معظم الوقت، فبيكتشف استراتيجيات ما كانش هيوصلها لو التزم بأول استراتيجية «كويّسة» لقاها.
مع تقدّم التدريب، إبسيلون بتقلّ تدريجيًا إلى 0.1: الوكيل بقى يعتمد على الاستراتيجيات اللي أثبتت نجاحها، مع الاحتفاظ بمساحة صغيرة للاستكشاف العرضي.
مصطلحات مرتبطة
- Reinforcement Learning — التعلّم المعزّز.
- Bellman Equation — معادلة بلمان.
- Replay Buffer — مخزن الإعادة.
المصادر: Google ML Glossary
