برای بهینه سازی عملکرد الگوریتم گرادیان کاهشی یا Gradient descent‎ می‌توان از روش های زیر استفاده کرد:

تقسیم کردن فرآيند به کمک Mini Batch ها

استفاده از میانگین متحرک نمایی

تصحیح بایاس در میانگین متحرک نمایی

گرادیان کاهشی تکانه ای

RMSProp:در این روشبرای هر بُعدِ پارامتر نرخ یادگیری جداگانه‌ای در نظر گرفته می‌شود.

منبع: دوره تخصصی دیپ لرنینگ ، مدرس: Andrew Ng

0 پاسخ

دیدگاه خود را ثبت کنید

تمایل دارید در گفتگوها شرکت کنید؟
در گفتگو ها شرکت کنید.

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *