人工神經網路

簡單的神經網路有三層結構：輸入層，隱藏層，輸出層。如下圖所示：

在輸入層，我們對神經網路輸入變數；在隱藏層和輸出層，我們進行計算並輸出。在神經網路的隱藏層上，存在著依靠Activation function來進行運算的「神經元」。

矩陣W是連接輸入層與隱藏層的橋樑，叫做weight。然後，每個神經元上都有一個常數變數b，我們叫作bias。N個神經元有N的bias，所以這些bias構成了一個常數向量b。在隱藏層的神經元接收到了向量z之後，神經元會進行Activation function的計算。

g(z)就是所謂的Activation function，常用的選擇有sigmoid function，tanh等等。這是幾種常見Activation function的選擇列表（來自於Wikipedia）

而所謂的神經網路訓練，就是調節一系列權重（w）與bias （b） 與訓練數據「擬合」。

神經網路在分類問題中應用較好：

推薦閱讀：