梯度下降演算法在Neural Network下的理解

01-29

梯度下降演算法是在機器學習領域廣泛使用的一種演算法，而且效果挺不錯的。

先來點理論：

(1)簡單的神經網路

這個是最簡單的神經網路，我們可以這樣表示 Y= $sum_{i}{w_{i} x_{i}} + b$ ，這樣的表示只是數學的含義，我們還需要加上激活函數f(h)，而激活函數的類型有很多種，比如：tanh ， softmax，sigmoid等，在本文中將採用sigmoid作為激活函數，

sigmoid(x)=1/(1+ $e^{x}$ )，其圖形為：

sigmoid函數有很好的分離和過濾特性，能夠很好的判斷出結果值。