باختصار
معادلة بلمان (Bellman Equation) هي المتطابقة اللي بتحقّقها دالّة Q المثلى في التعلّم المعزّز، وبتربط قيمة الحالة الحالية بالمكافأة الفورية وبأفضل قيمة ممكنة في الحالة التالية.
بالتفصيل
في التعلّم المعزّز، الوكيل بيحاول يتعلّم «قيمة» كل فعل في كل حالة. المشكلة إن قيمة الفعل مش بس المكافأة الفورية — فيه أفعال مكافأتها الآن صغيرة لكنها بتفتح الطريق لمكافآت أكبر بعدين.
معادلة بلمان بتحلّ ده بصياغة تعاودية. قيمة اتّخاذ الفعل a في الحالة s تساوي المكافأة الفورية r(s, a)، زائد قيمة مخصومة لأفضل فعل ممكن في الحالة التالية.
عامل الخصم (المرموز له بـgamma) هو اللي بيحدّد قدّ إيه الوكيل بيهتمّ بالمستقبل مقارنةً بالحاضر. قيمة قريبة من الصفر تعني وكيلًا قصير النظر؛ وقيمة قريبة من واحد تعني وكيلًا صبورًا.
وخوارزميات التعلّم المعزّز بتطبّق المتطابقة دي لإنشاء ما يُعرف بـQ-learning، عبر قاعدة تحديث بتقرّب التقدير الحالي تدريجيًا نحو القيمة الصحيحة، بمعدّل تعلّم يتحكّم في سرعة التقريب.
وتطبيقات المعادلة بتمتدّ خارج التعلّم المعزّز إلى البرمجة الديناميكية عمومًا.
مثال عملي
وكيل بيلعب لعبة متاهة. الوصول للمخرج مكافأته 100، وكل خطوة مكافأتها −1.
خطوة تبعده خطوة عن المخرج مكافأتها الفورية −1 — تبدو سيّئة. لكن لو الطريق ده هو الوحيد اللي بيلتفّ حوالين جدار، فقيمة بلمان بتاعته بتبقى عالية، لأن «أفضل ما يمكن بعده» بيقود للمخرج.
مصطلحات مرتبطة
- Reinforcement Learning — التعلّم المعزّز.
- Q-learning — تعلّم Q.
- Discount Factor — عامل الخصم.
المصادر: Google ML Glossary
