Logistic 回歸和費米分布有什麼聯繫嗎？

01-14

自由費米子系統的單個粒子的能量分布：
$f(epsilon) = frac{1}{e^{eta(mu+epsilon)}+1}$ 而Logistic回歸用於擬合的函數F(x)滿足 $1 - F(x) = frac{1}{e^{(eta_0+eta_1x)}+1}$
後者換一下參數就變成了前者。這有什麼更深層次的聯繫嗎？似乎不太可能是巧合吧。

從 Fermi 分布應該退回來一點，考慮一個吸附問題，粒子被吸附，能量 ε，不被吸附時能量 0，則單粒子配分函數為：

Z = exp(-βε) + 1

粒子不被吸附的概率即為：p=1/( exp(-βε) + 1)

這樣一個「二態問題」（對應一個「分類問題」）會是對應於 Logistic 回歸分類問題的物理問題，這個問題也比 Fermi 分布的問題更基本。因為 Fermi 分布可以看成這樣一個分類問題的多粒子版本，而 Fermi 分布的多粒子情形是與 Pauli 不相容原理有關的。

Logistic 回歸大部分的應用場景也是分類問題，這種情況下，理論上來說，我們需要的只是一個 Sigmoid 形式的函數。而 Sigmoid 函數可以有很多不同的取法（理論上來說是可以任意取的）。例如下面的圖中給出的各類函數（圖片來源：Sigmoid function）：

而之所以大家仍然喜歡並選擇 Logistic 函數，是因為它屬於廣義線性模型（Generalized linear model），說到底，是由於其逆函數（Logit）的形式簡單所導致的。

補一句，廣義線性模型除了常用的 logit 和 probit 外，任意累計分布函數 (cdf) 都可以使用。