如何理解logistic函數?

01-08

為什麼會有這個函數，他的物理意義，應用場景，發現(發明)背景，解決的問題都是什麼？

樓上的解釋都很新穎，我在這裡從統計學模型的角度給出一個回答。

Logisitc模型是廣義線性模型中的一類。常用於分類。在業界有相關廣泛的應用。常見的如信用評分模型，用於判定某個人的違約概率。

動機——logit變換

在現實生活中，有時候需要探究某一事件A發生的概率 $P$ 與某些因素 $X = (X_1,X_2,...,X_p)$ 之間的關係。考慮到很多情況下，在 $P=0$ 或 $P=0$ 附近，

$P$

對$X$的變化並不敏感，即這附近，X需要發生很大的變化才能引起P的微弱改變。如，「農藥的劑量為X的情況下，殺死害蟲的概率P」之間，就具有這種關係。因此，我們要構造這麼一個關於P的函數$ heta(P)$，使得它在P=0或P=1附近，P的微小變化對應 $heta(P)$ 的較大改變，同時， $heta(P)$ 要儘可能簡單。於是，自然有了如下構造的特性

$frac{partial heta(P)}{partial P} = frac{1}{P} + frac{1}{1-P}$

於是

$heta(P) = ln(frac{P}{1-P})$

$theta(P)$ 就是傳說中的Logit變換。

模型——Logistic回歸

為了建立因變數P與自變數X之間的合理變動關係，一個很自然的假設就是線性關係。即

$P = X$

但是正如前面所說的，某些情況下，在P=0或P=1附近，P對X的變化並不敏感，即這附近，X需要發生很大的變化才能引起P的微弱改變,而上式簡單的線性關係是不能反映這一特徵的。這個時候，我們構造的 $heta(P)$ 就派上用場了，於是有了

$lnfrac{P}{1-P} = X$

由

$ln(frac{P}{1-P}) = oldsymbol{X^T eta} implies frac{P}{1-P} = e^{oldsymbol{X^T eta}} implies P = frac{e^{oldsymbol{X^T eta}}}{1 + e^{oldsymbol{X^T eta}}}$

於是上式等價於

$P = frac{e^{X$

這就是$Logistic$回歸模型。

來個例子。

```{r,echo=TRUE,message=FALSE} #logistic example library(ggplot2) x&<- seq(from = 0, to = 20, 0.01) p&<- exp(-5+0.5*x)/(1+exp(-5+0.5*x)) mydata&<-data.frame(x =x , p = p) ggplot(mydata)+ geom_line(aes(x = x, y = p))+ ggtitle("The does Vs the probability of insect dying") ```

應用場景

到這裡，我們對$Logistic$回歸的應用場景就比較明了了。它多用於分類——因變數為定類尺度。在運用模型時，需要注意是否滿足隱含假設：在$P=0$或$P=1$附近，$P$對$X$的變化並不敏感。

謝邀。

樓上給的歷史很好的，我也不知道logistic函數有其生態學背景，大概其意思是

$frac{d f}{dx} = f(1-f)$

而f的解就是logistic函數。

而在物理學中，費米子在一個態的分配函數是

$mathcal{Z} = 1 + e^{-eta E}$ （一個態只可有一粒子）

而其態粒子數的期望值為

$frac{1}{mathcal{Z}}(0 + 1 cdot e^{-eta E})$

做點運算就可得logistic函數，也是物理學家的Fermi-Dirac分布。

我會理解為這是一個分類器，其函數給出的是某一數據分類為正的概率。

稍微系統的講講 Logistic 方程在生態學上的出現背景，意義和應用場景。

1.來源

1798年的時候一個叫 Malthus 的英國牧師在查看當地的人口出生記錄的時候發現人口的變化率是和人口的數目成正比的，當然你也可以認為這個正比的關係是生態學上的一個基本假設。

如果用 $N(t)$ 這個函數來表示 $t$ 時刻某個地區的人口總數（或者是牛羊的數目或者是細菌的數目）的話我們得到的應該是下面這個方程：

$frac{d N(t)}{d t} = r N(t)$

其中 $r$ 是常數，表示 $N(t)$ 的變化率。（注意這裡為了方便我直接寫了連續極限下的方程並且忽略掉了一些隨機效應的影響，理論上講只有系統尺寸趨於無窮大的情況下這個描述才是準確的，但這樣寫並不影響我們理解問題的本質。下面用了同樣的處理。）

這個微分方程可以直接積分解出：

$N(t) = N_0 e^{r t}$

其中 $N_0$ 是積分常數，不過這裡可以理解為系統的初值即 $N(0)=N_0$ 。如果考慮 $r>0$ 的情況下顯然 $N(t)$ 會隨著時間指數增長（如下圖），如果自然界確實是按照這個規律工作的那麼地球早該被各種生物塞的滿滿的。另一方面如果 $r<0$ 那麼 $N(t)$ 就會指數衰減，這部分就不細說了，後面主要還是關注種群增長的問題。

圖1: $N(t)$ 隨時間指數增長

為了克服數目無限增長的問題，模型必須做出修改才行，這個修改最早由
Pierre-Fran?ois Verhulst 在1838年提出：

$frac{d N(t)}{d t} = r N(t)left(1-frac{N(t)}{K} ight)$

這就是所謂的 Logistic 方程了。能看出是在原有模型的基礎上增加了 $(1-N/K)$ 這一項。 $K$ 也是個常數，用來表示系統的容量(capacity)，這裡認為不管是什麼物種生存環境總是有限制的，這個限制可以體現在空間或者資源上。

多了這一項最直接的結果就是系統不能無限制的增長了：隨著 $N(t)$ 隨時間的增長並不斷接近系統的容量 $K$ ， $N(t)$ 的增長率是逐漸減小的。後面我們會更詳細的考察這個方程的性質，這裡先直觀的看看模型設計成這樣的意義。

Logistic 方程描述的系統中人口的增長率除了和當時的人口數目成正比以外還要受到系統容量的限制；或者你可以理解為人口的增長速度除了和當時的人口數目成正比以外還和系統中的空位成正比。

為了下面討論方便，我們先把 Logistic 方程重新標度一下，令：

$f(t) = frac{N(t)}{K}$

並在方程兩邊同時除以 $K$ ，方程變為：

$frac{d f(t)}{d t} = r f(1-f)$

這是 Logistic 方程更一般的形式，這裡 $f(t)$ 表示人口在容量確定的系統中所佔的比例。

2. Logistic 方程的性質

實際上 Logistic 方程是可以直接解出的：

$f(t)=frac{f_0 e^{rt}}{1+f_0(e^{rt}-1)}$

為了更直觀的考察方程的性質，現在我們假設初始時刻 $f(0)$ 的取值是多種多樣的，我們關心的是隨著時間的流逝， $f(t)$ 是如何變化的，看圖：

圖2: $f(0)$ 分別取 $[0,1.4]$ 區間上一些不同的值的情況下 $f(t)$ 隨時間的變化情況

從圖中可以看到很多有意思的東西：

最明顯的，不管初值如何取， $f(t)$ 最終都會變到 $1$ ！無限制增長的問題被解決了。

細心的朋友應該發現圖中有些 $f(0)$ 是大於1的，如果要求一個蘿蔔一個坑的話這當然是不可能的，但如果系統容量的限制沒有那麼強允許大家都擠一擠的話這種情況還是可以理解的。有意思的儘管初值大於 $1$ ， $f(t)$ 還是很快就變到1了，完全符合邏輯。這麼一看 Logistic 方程雖然簡單但實在很巧妙。

另外圖中還有一條 $f(t)=f(0)=0$ 的線因為和橫軸重疊了所以看不清，這條線也好理解，如果一開始 $f=0$ 那麼 $f$ 就永遠等於 $0$ 。

下面這段話只作為輔助理解。 有朋友應該已經意識到了對 Logistic 方程來說， $f=1$ 和 $f=0$ 是兩個很特殊的點，當 $f$ 取到這兩個點的時候方程的右邊為0也即 $f$ 的變化率為0。我們稱這兩個點為不動點。但這兩個點又不一樣，其中1是穩定不動點，0是不穩定的，形象一點的理解的話0點在山的最高峰，1在最谷底，如果你恰巧落在了0點，那麼可以保持不動，除此之外落在其他的任何 $(0,infty)$ 上的地方都會最終跑到1處去。因為現實世界並非是確定性的，所以不太容易見到系統保持在0這樣的不穩定不動點上，相比之下1因為其穩定性要常見的多。 這裡並沒有討論 $f(0)<0$ 的情況，因為在生態學上這是沒有意義的，不過感興趣的朋友可以自己分析一下會是個什麼情況。

3.應用

3.1 生態學上的應用

因為 Logistic 方程形式簡單但內涵豐富所以本身就是個很好的模型，到現在也常常被拿出來說明問題。

有時也在其基礎上做一些改動來描述更加複雜的情況。比如下面這個方程：

$frac{d f(t)}{d t} = r f (1-f)(f-c)$

多出來的這個 $c$ 也是個常數，叫做 Allee 閾值，比較有趣的是 $c in (0,1)$ 的情況，看圖：

圖3: $c=0.5$ 的情況下不同初值隨時間變化的情況

多了 $(f-c)$ 這一項以後方程的不動點變成三個，穩定性也有所變化。直接從圖上看的話就是如果 $f(0)>0.5$ ， $f(t)$ 最後會趨於1；如果 $f(0)<0.5$ ， $f(t)$ 最後會趨於0。

這描述了這樣一個情景：如果在一個新的環境下群體的數目不是足夠多到超過了某個閾值，那麼這個群體會最終消亡；如果達到了這個閾值，則可以興盛繁榮。這個作用被稱為 Allee 效應，體現了群體裡面個體之間相互依存的關係。

3.2 在化學上的應用

考慮下面這個化學反應：

$A + B ightarrow A+A$ 速率為 $k_1$ $A+B ightarrow B + B$ 速率為 $k_2$

假設系統中總的粒子數是確定的用 $ho_A(t), ho_B(t)$ 分別表示兩種物質的濃度，並考慮 $ho_A(t)+ ho_B(t)=1$ 會得到下面的方程：

$frac{d ho_A(t)}{d t} = (k_1 - k_2) ho_A(1- ho_A)$

得到的也是個類 Logistic 形式的方程。這至少說明 Logistic 方程的形式有很強的普遍性。

其他方面的應用可以參考其他的答案，我不太懂就不多說了。

4.彩蛋

Logistic 方程其實遠不是表面上看起來的這麼簡單。考慮它的分立形式：

$x_{t+1}=rx_t(1-x_t)$

這就是大名鼎鼎的 Logistic 映射了，迭代這個映射會出現混沌！

圖4: Logistic 映射的分岔圖

5.參考文獻

對系統生物學感興趣的朋友可以看看這本：《Mathematical Biology (豆瓣)》對數學要求會高一點。

Logistic 方程是個簡單的非線性動力系統，簡單的分析可以參考《常微分方程 (豆瓣)》

如果你還對混沌感興趣的話那麼看這本：《Differential Equations, Dynamical Systems, and an Introduction to Chaos, Third Edition (豆瓣)》才發現這書已經出到第三版了

這個函數最初來自生態學模型。

考慮細菌在培養基中的增殖，細菌增長的速度正比於細菌的數量，除此之外沒有任何其它效應影響細菌數量，於是細菌將指數增長。

然而現實情況下，環境的承載力是有限的。隨著個體數目的增長，環境中的營養物將變得緊缺，於是對種群增長有一個負的作用。如果假設這個負效應正比於個體數量的平方（比如，認為這種阻礙作用來源於兩個個體間的相互作用，那麼這種阻礙作用的總和就正比於個體數量的平方），那麼綜合起來我們得到一個微分方程，方程的解就是logistic函數。

介紹一個簡單的經濟學理解角度吧。我們往往需要做線性類比。常用的保守分布是負指數分布A，不失一般性，其均值為1。在研究過程中，我們會發現另一類分布B也是保守的，假設其均值為 $mu$ ，並且事物B滿足 $B=mu +eta frac{dA}{A}$ ，從而兩邊積分，說明 $mu +eta lnAapprox mu +eta ln(e^{A}-1)$ 為我們研究的分布對象。這個事物B就滿足 $logistic(mu ,eta )$ 分布。

與負指數分布相比，他也滿足守恆，但是在滿足守恆的過程中又與守恆的運動量相聯繫。從復空間的角度看他才完備，實空間的運動是不符合這種規律的。

我們可以將其理解為一個簡單的財政補貼過程。貧富差距受囿於資源有限，一定會服從負指數分布越拉越大，所以我們必須要通過外生的財政補貼來使得其均衡，這種均衡很顯然通過給定貧困基本補貼 $mu$ 受固定影響和貧富差距變化率 $eta$ （在資源有限的影響條件下，可以用經濟增長率來替代）受隨機影響來實施。這樣的財政政策就會滿足 $logistic(mu ,eta )$ 分布，

性質方面， $logistic(mu ,eta )$ 十分均勻，眾數中位數和均值都相等。所以是非常符合財政政策修正貧富差距的理想目標，與正態分布相比，其貧富差距兩極分化的現象會更小。但是與正態分布一樣，這個政策也是無法解決內生的問題。正態分布受到自身0期望衝擊時，分布誤差會累積，而 $logistic(mu ,eta )$ 誤差累積會更快，因為其方差為 $frac{eta ^{2} pi ^{2} }{3}$ ，是正態分布影響的3倍多，因為其對貧富差距的修正作用大，所以外生衝擊越大，抵抗風險的能力就越低，隨著補貼的加大，其方差越來越大，所以越來越不穩定。

其實有個很簡單的解釋。

定義a為：

分類1的likelihood乘先驗概率，比上分類2的likelihood乘先驗概率

則分類1的後驗概率就是sigmoid(a)

如下圖（來自PRML）

最早應該是費爾哈斯特（1845）提出的，是研究種群的數量增長。

參見：Logistic Equation -- from Wolfram MathWorld

直觀理解非常容易：

1、生物種群在無約束情況下，數量呈指數增長，見公式（1）；

2、增加約束，設立上限，則自然地得出有約束的公式（2）；

3、公式（2）變形得到一般常用公式（3），注意x的取值範圍在[0,1]，剩下就交給數學了。

以上是最近在看複雜 (豆瓣) 的學習筆記。

說一點個人淺顯的理解。

df/dx=af(1-f)

大概就是通過這個構造出一個(0,1)的函數，而且f在接近0或1時隨x的變化很小。

但其實這種函數可以各種構造，比如加一個係數的arctan函數。

但據說有人證明過在實數集內參數為1.7的logistic函數和正態累計函數差在0.01以內。

所以logistic函數其實是正態累計函數的一個近似。

個人覺得從這個意義上去理解logistic函數會更好一些，畢竟正態分布在統計學中的意義是毋庸置疑的。

無心截圖，將就看看吧。

如圖。

概率論及logistic回歸講解 - gcaxuxi的博客 - CSDN博客

二能級的波爾茲曼分布