التحسين البايزي (Bayesian Optimization) أسلوب لإيجاد أفضل قيم لدالة مكلفة في حسابها، زي دقة نموذج تعلم آلة بناء على إعداداته. بيُستخدم لما تجربة كل احتمال تكون مكلفة في الوقت أو الموارد.
باختصار
طريقة ذكية لاختيار نقاط التجربة التالية بناء على نتائج التجارب السابقة، بدل التجربة العشوائية أو تغطية كل الاحتمالات.
بالتفصيل
الأسلوب بيبني نموذج احتمالي بديل (غالباً Gaussian Process) بيتعلم من نتائج التجارب السابقة، ويقدر يتوقع القيمة المحتملة ودرجة عدم اليقين في أي نقطة لسه متجربتش. بعدين دالة اكتساب (Acquisition Function) بتستخدم التوقعات دي لتختار النقطة التالية اللي تستاهل التجربة، موازنة بين استكشاف مناطق غير معروفة واستغلال المناطق الواعدة.
العملية بتتكرر: كل تجربة جديدة بتحسّن النموذج الاحتمالي، وده بيقلل عدد التجارب المطلوبة للوصول لأفضل إعداد ممكن.
مثال عملي
بدل ما تجرب كل تركيبة من معدل التعلم وحجم الدفعة يدوياً، أدوات زي Optuna بتستخدم التحسين البايزي عشان تقترح عليك التركيبة التالية الأكثر وعداً بناء على النتائج اللي شفتها قبل كده.
خلي بالك: التحسين البايزي مفيد لما التجربة الواحدة غالية، لكن لو التجارب رخيصة وسريعة، البحث الشبكي أو العشوائي ممكن يكفي.
مصطلحات مرتبطة
Hyperparameter، Grid Search، Random Search.
المصادر: Wikipedia
