روش های بهینه سازی الگوریتم گرادیان کاهشی
برای بهینه سازی عملکرد الگوریتم گرادیان کاهشی یا Gradient descent میتوان از روش های زیر استفاده کرد: تقسیم کردن فرآيند به کمک Mini Batch ها استفاده از میانگین متحرک نمایی تصحیح بایاس در میانگین متحرک نمایی گرادیان کاهشی تکانه ای RMSProp:در این روشبرای هر بُعدِ پارامتر نرخ یادگیری جداگانهای در نظر گرفته میشود. منبع: دوره […]