邏輯回歸之sigmoid函數追本溯源

邏輯回歸解決的是分類問題。為什麼選擇sigmoid函數呢，有人說是為了將線性回歸的值壓縮到0-1之間，但是符合這個條件的函數有很多，為什麼偏偏選擇了sigmoid函數。

一句話解釋：因為作為廣義線性模型（GLM）中的一類，邏輯回歸的連接函數的 canonical 形式就是 sigmoid函數

1、指數族分布

指數族分布 (The exponential family distribution),區別於指數分布（exponential distribution)。在概率統計中，若某概率分布滿足下式，我們就稱之屬於指數族分布：

統計中很多熟悉的概率分布都是指數族分布的特定形式，如伯努利分布，高斯分布，多項分布, 泊松分布等

2.廣義線性模型（GLM）

指數家族的問題可以通過廣義線性模型來解決。如何構建GLM呢？在給定 和參數後， 的條件概率 需要滿足下面三個假設：

1. 服從指數族分布
2. 給了 , 我們的目的是為了預測 在條件 下的期望。
3. ，即 和 是線性的

3、伯努利分布的指數族形式

伯努利分布就是我們常見的0-1分布，即它的隨機變數只取0或者1，各自的頻率分別取 和 ，我們數學定義為：

將伯努利分布寫成指數族形式則有：

其中

4、邏輯回歸

考慮LR二分類問題，y∈0,1,因為是二分類問題，我們很自然的假設分類結果y服從伯努利分布。由上面的伯努利分布的指數族形式可知，其 ，這就意味著我們希望預測

而根據伯努利分布期望性質，有

，又由可知

，

因此，

至此，得到邏輯回歸的模型。

這裡有一篇文章寫得比較詳細，