激活函數 cheat sheets & sigmoid 特點

08-07

偶然看到的這篇文章：Activation Functions: Neural Networks 有時間可以詳細看

關鍵是以下兩張圖，覺得挺有用，分享下：

第一幅圖的第三行，也就是 sigmoid 函數。

兩點跟 sigmoid 函數相關的：

sigmoid 是 softmax 二分類的情況

softmax 可以處理多分類

2. sigmoid 適合做激活函數的一個原因是它的導數形式很簡潔： $sigma^{』}(x) = sigma(x) * (sigma(x)-1)$

過程：

sigmoid: $sigma(x) = frac{1}{1+ e^{-x}}$

$f(x) = frac{1}{sigma(x)} = 1 + e^{-x}$

也就是： $-e^{-x} =1- frac{1}{sigma(x)} = frac{sigma(x) -1}{sigma(x)}$

$f^{}(x) = frac{df(x)}{d_x} = frac{d }{dx} (frac{1}{sigma(x)}) =sigma(x)^{-2}*sigma^{}(x) =frac{ sigma^{}(x) }{sigma(x)^{2}}$

$f^{}(x) = frac{d}{dx} (1+e^{-x}) = 0 + frac{d}{dx}e^{-x} = e^{-x}*(-1)= - e^{-x}$

所以： $-e^{-x} = frac{sigma(x) -1}{sigma(x)}= frac{ sigma^{}(x) }{sigma(x)^{2}}$

也就是 $sigma^{}(x) = sigma(x) *(sigma(x) -1)$