梯度下降法的基本思想（梯度下降法）

大家好，我是小夏，我來為大家解答以上問題。梯度下降法的基本思想，梯度下降法很多人還不知道，現在讓我們一起來看看吧！

梯度下降和隨機梯度下降之間的關鍵區別：

1、標準梯度下降是在權值更新前對所有樣例匯總誤差，而隨機梯度下降的權值是通過考查某個訓練樣例來更新的。

2、在標準梯度下降中，權值更新的每一步對多個樣例求和，需要更多的計算。

3、標準梯度下降，由于使用真正的梯度，標準梯度下降對于每一次權值更新經常使用比隨機梯度下降大的步長。

4、如果標準誤差曲面有多個局部極小值，隨機梯度下降有時可能避免陷入這些局部極小值中。

相關知識：

1、梯度下降法是一個最優化算法，通常也稱為最速下降法。最速下降法是求解無約束優化問題最簡單和最古老的方法之一，雖然現在已經不具有實用性，但是許多有效算法都是以它為基礎進行改進和修正而得到的。最速下降法是用負梯度方向為搜索方向的，最速下降法越接近目標值，步長越小，前進越慢。

缺點：

（1）靠近極小值時收斂速度減慢。

（2）直線搜索時可能會產生一些問題。

（3）可能會“之字形”地下降。

2、隨機并行梯度下降算法，簡稱SPGD算法。作為一種無模型優化算法，比較適用于控制變量較多，受控系統比較復雜，無法建立準確數學模型的最優化控制過程。

本文到此講解完畢了，希望對大家有幫助。