神經網路中的SIGMOID函數的意義？

01-02

為什麼神經元的激勵函數常常選SIGMOID函數有什麼特殊的意義和信息熵有什麼聯繫聯繫到EXP(ax)是微分運算元的特徵方程還有正太分布裡面的指數項有沒有大神能夠融匯貫通這些我總覺得是有聯繫的

其實沒有那麼多聯繫。

神經網路中的激活函數，其作用就是引入非線性。具體的非線性形式，則有多種選擇。

sigmoid的優點在於輸出範圍有限，所以數據在傳遞的過程中不容易發散。當然也有相應的缺點，就是飽和的時候梯度太小。

sigmoid還有一個優點是輸出範圍為(0, 1)，所以可以用作輸出層，輸出表示概率。

評論中 @林孟瀟指出了sigmoid的另一個優點：求導容易。

一種可能解釋是如果對binary RBM的能量函數定義的概率分布求marginal（或者conditional），那麼隱變數和顯變數的marginal（或者conditional）就是sigmoid形式...

sigmoid在指數函數族（Exponential Family）裡面是標準的bernoulli marginal，而exponential family是一個給定數據最大熵的函數族，在線性產生式模型（generative model）裡面是屬於「最優」的一類。直觀理解是熵大的模型比熵小的更健壯（robust），受數據雜訊影響小。

不過神經網路如果說最大熵就相當於是硬拉親戚了。。

我覺得可以從無窮級數的角度去理解，指數函數的無窮級數是各種分量的高階組合。sigmoid中有指數項，且導數形式好，值域也好。

因為Sigmoid的函數性質和神經學的神經元的突觸一致，而且好求導。

是有聯繫的，而且在很多的層面上。Sigmoid函數也是高斯分布的和，而高斯又是隨機變數的和，世界本源也是隨機的，大量的隨機似乎有時候顯示出一些規律，其實也是中心極限，這也是最大信息熵的來源，基礎都是和費馬原理。而要證明費馬原理，證明費馬原理，就需要證明可微可導的問題，那從哲學上，就需要說明人類認識的線性特徵，這樣就涉及到神經元對世界的反應方式。。。。這樣就實現了循環證明，說明是自洽的

求導容易噻，反向傳播多爽

哪有那麼多玄乎的東西，不過是一個兩頭平中間陡，值域是0到1，關於0,1/2對稱的函數罷了。就一個經驗的東西，你選arctanx也一樣用

單向遞增，輸出在0-1之間

Sigmoid函數這個名詞是表示形式S形的函數，對數幾率函數： $y=frac{1}{1+e^{z}}$ 是一種「Sigmoid」函數，也是其中最重要的代表。

廣泛使用的原因是：

使用該函數做分類問題時，不僅可以預測出類別，還能夠得到近似概率預測。這點對很多需要利用概率輔助決策的任務很有用。
對數幾率函數是任意階可導的凸函數，它有著很好的數學性質，很多數值優化演算法都可以直接用於求取最優解。