機器視覺—7—18.7.12

1 人贊了文章

如何訓練神經網路

激活函數

過程

在卷積層或全連接層

數據乘權重矩陣 再輸入激活函數（非線性層）

sigmoid（不推薦）

數據被壓縮到0到1之間

飽和時 梯度消失

x為-10時 梯度為0

非零中心 梯度更新效率會低（？？？？）

零為中心 不會有第二個問題

但是任然飽和消梯度

RELU

max（0，x）

計算成本不高

非0中心

負半軸飽和

deadrelu 不會被更新

leaky relu

實際中

數據預處理：零均值化即可（不用歸一化）

W的初值

設為0 所有的神經元會做一樣的事

所有的權重是一個很小的隨機數

xavier