標籤:

假設檢驗的兩類錯誤為什麼不能同時變小?

題主還沒有學習統計軟體,最好是能單純的解釋其原因。


不改進模型的情況下其實是比較

frac{P(O|A)}{P(O|ar A)} egin{array}{cc}>\<end{array} c

c是個閾值,我們也只能調整這個閾值,前面計算出的似然值是固定的。這個似然值在貝葉斯方法當中代表frac{P(ar A)}{P(A)}也就是先驗概率的比值。

具體的效果取決於P(O|A)P(O|ar A)這兩個概率分布。一般來說無論怎麼調整,這兩個分布都是不可能完全分開的,一定存在一部分O,使得P(O|A)P(O|ar A)都不為0,這意味著相同的觀測值的情況下,A與非A都有可能,這就一定會產生錯誤,那麼無非是將A判斷為非A(叫做漏檢),和將非A判斷為A(叫做虛警)。我們無論如何都只能將這些O分成兩類:更可能是A,或者更可能是非A,但是這其中一定會出現兩種錯誤。我們分類的方法是根據似然值的比值划出一條線,比值超過閾值的分到A,不到閾值的分到非A。

當我們移動閾值的時候,如果增大閾值,則原來被判斷為非A的仍然會被判斷成非A,所以原來虛警的仍然會虛警;一部分原來判斷為A的會被判斷為非A,因此漏檢減少;但虛警反而增加。反過來,如果減小閾值,原來被判斷為A的仍然會判斷為A,所以漏檢不會減少,同前可以得到虛警減少但漏檢增加。

有些情況下,分子不是某個模型的似然值,而是全概率公式計算出的結果,通過變形之後會變成只有P(O|A)的形式,但結論是一樣的。


靈劍已經說的很好了,我來補幾張圖

作為簡化,假如理論告訴我們參數mu只可能在0,1之間取值,檢驗統計量服從N(mu,1)分布。檢驗統計量可取值於整個R,我們想要劃分RR_0,R_1,使得落在R_0時接受mu=0的假設,而落在R_1時接受mu=1的假設。

現在問題是如何劃分R_0,R_1。事實上不同的原則可以導出不同的劃分方法,其中每一個都是不同的檢驗。其中每種檢驗都對應相應的的第一類第二類錯誤概率值,所謂第一類第二類錯誤值不能同時減小,指的就是在這一階段不可能通過單純改變R_0,R_1的劃分方式來同時降低兩類錯誤概率。增大樣本規模降低兩類錯誤是把檢驗統計量本身改變了,屬於之前階段的問題。

至於為什麼這一階段不可能通過改變R_0,R_1劃分來降低兩類錯誤概率,由下圖所示:

若以1/2為分隔點,當檢驗統計量落在其左邊接受mu=0落在右邊時接受mu=1

mu的確為0時,即mu=0假設正確時,錯誤概率為落在1/2右邊的概率。如下圖所示:

當的確mu=1時,錯誤概率為落在1/2左邊,即

最直觀的感受兩個錯誤率此消彼長的過程是把上圖的分隔線左右平移,如移到0時,mu=0錯誤率升為

mu=1時錯誤率降為

顯然如果只是這麼滑來滑去不可能同時使兩個錯誤率同時下降,雖然倒是可以讓兩個錯誤率的和下降,取1/2時就是這種滑動可以取到的讓錯誤率和最小的極值點,也是「某種意義上合理」的各種意義之一。雖然按R_0=(-infty,1/2)quad R_1 = (1/2,+infty)的劃分某種意義上是最合理的,但並沒有什麼理由不能劃分為R_0 = R, quad R_1=emptyset。這麼劃分的話的確mu=0時錯誤概率為0,但mu=1時錯誤概率為1。同樣R_0,R_1也可以由無限個不相鄰的小區間取並或各種奇形怪狀的集合形狀,不過對於正常的分布,「最有效」的區間劃分通常包含在這些滑來滑去的直線之間,而不是某種怪異的拓撲。


這個問題 茆爺爺的書解釋的挺好。直接上圖了。

來自《概率論與數理統計教程·第二版》 茆詩松 程依明 濮曉龍 高等教育出版社


增加樣本量


推薦閱讀:

√2為什麼能用線段表示,而像超越數e,π卻不能?
怎樣理解閉合面的面積分等於散度的體積分這個定理的物理意義?
佛教中為什麼會產生的那麼多超級大的數量單位?
如何解決今年北大自主招生一道面試題?

TAG:數學 | 統計學 |