概率收斂、均方收斂、分布收斂等幾個概率之間的區別和聯繫是什麼？

12-05

也不知道問題提得是否對啊，可能還漏了別的相關的重要概念。
在看計量的時候看這幾個概率之間經常有相互推導（包含被包含關係），也不知道他們幾個具體區別在哪，如何形象直觀的理解，以及他們的重要作用有哪些。

註：本答案僅提供本人對各種收斂的直觀理解，以便讀者更直觀地了解各種收斂的聯繫。如果想了解更理論的部分，強烈推薦Yang的答案。

分布收斂(convergence in distribution):

定義：
$X_n$ 依分布收斂至X，記作 $X_n overset{d}{ ightarrow}X$ ，意味著： $F_n(x) ightarrow F(x)$ ，對於所有F的連續點x。

也就是說，當n很大的時候， $X_n$ 的累積函數和X的累積函數差不多。

直觀上而言，依分布收斂只在乎隨機變數的分布，而不在乎他們之間的相互關係。

舉例而言，倘若已知 $X_n overset{d}{ ightarrow}X$ ，假設 $Y=-X$ 。對於任意一個發生的事件，Y與X的取值正好差了一個負號。但這並不影響X與Y有相同的累積函數，即 $F_X(z)=F_Y(z)$ 。如此一來， $X_n overset{d}{ ightarrow}Y$ 。更一般的情況而言，只要X與Y有相同的累計函數，即same distributed，即使 $P(X=Y)<1$ ，也有 $X_n overset{d}{ ightarrow}Y$ 。因為依分布收斂僅僅在乎分布，而不在乎相互之間的關係。

概率收斂(convergence in probability):

定義：
$X_n$ 依概率收斂至X，記作 $X_n overset{P}{ ightarrow}X$ ，意味著： $P(|X_n-X|leq varepsilon ) ightarrow 1$ ，當 $n ightarrow infty$ ， $forall varepsilon >0$ 。

也就是說，當n很大的時候，對任意發生的事件， $X_n$ 的值和X的值差不多，即 $|(X_n-X)(omega )|$ 很小。

直觀上而言，依概率收斂在乎的是隨機變數的值。

這樣說來，前面依分布收斂的例子如果套在概率收斂上就會出現問題。如果 $X_n overset{P}{ ightarrow}X$ ，但對於任何一個與X分布一樣的Y，但 $P(X=Y)<1$ ， $X_n overset{P}{ ightarrow}Y$ 一定不成立，因為X與Y只是分布相同，而值不同。但反而言之，如果 $X_n overset{P}{ ightarrow}X$ ，即它們的值都差不多了，那麼它們的分布一定也差不多，即 $X_n overset{d}{ ightarrow}X$ 。因此，依概率收斂比依分布收斂要強，即 $X_n overset{P}{ ightarrow}XRightarrow X_n overset{d}{ ightarrow}X$ 。

但在某種情況下，取值就可以確定分布。即X取某個常數的情況下。此時X的取值和X的分布唯一確定。即此時會有依分布收斂和依概率收斂等價，即 $X_n overset{d}{ ightarrow}cLeftrightarrow X_n overset{P}{ ightarrow}c$ 。

Lp收斂(convergence in Lp):

定義：
$X_n$ 依Lp收斂至X，記作 $X_n overset{L_p}{ ightarrow}X$ ，意味著： $E(X_n-X)^p ightarrow 0$ ，當 $n ightarrow infty$ ， $pgeq 1$ 。
在p＝2時即為均方收斂。

直觀上而言，均方收斂在乎的也是隨機變數的值，但其要求比依概率收斂更加嚴格。

之所以更加嚴格，是因為概率測度可以被均方測度所限制，其思想可以近似由Chebyshev不等式看到。 $P(|X-mu|geq varepsilon )leq frac{E(X-mu)^2}{varepsilon ^2}$ 。因此 $X_n overset{L^2}{ ightarrow}XRightarrow X_n overset{P}{ ightarrow}X$ .

幾乎處處收斂(convergence almost surely):

定義：
$X_n$ 幾乎處處收斂至X，記作 $X_n overset{a.s.}{ ightarrow}X$ ，意味著： $P(X_n ightarrow X) = 1$ ，當 $n ightarrow infty$ 。

直觀上而言，幾乎處處收斂在乎的也是隨機變數的值，但其要求也比依概率收斂更加嚴格。

如果沒有接觸過實變函數的知識，幾乎處處收斂對於連續型隨機變數可能比較難以理解。我們這邊用離散型隨機變數進行直觀解釋，以避免0測度下的一些問題。

對於 $X_nsim Ber(p_n)$ ，即以概率 $p_n$ 取1，其餘為0的隨機變數。其依概率收斂到1意味著， $X_n$ 和1的值都差不多，而且隨著n越來越大，不相等的概率越來越小。轉而言之，出現0的概率越來越小，極限為0。但幾乎處處收斂至1要求，存在N， $n>N$ 時， $X_n=1$ ，即 $X_n$ 和1的值都在n很大時必須相等，即 $X_n$ 取0的概率在某個N後必須為0。前者限制其尾部概率收斂至0，但後者限制尾部概率為0。

結論：
(1)幾乎處處收斂和Lp收斂最強，依概率收斂其次，依分布收斂最弱。
(2)幾乎處處收斂和Lp收斂並無推導關係。
(3)在收斂到常數時，依概率收斂和依分布收斂等價。

題外話：在我學概率的時間裡，其實我只用到過最弱的收斂，依分布收斂。感覺很多定理，如：大數定理(LLN)和中心極限定理(CLT)都只用到它。但或許是我只是一個小碩，這些東西並不完全弄得明白。所以還希望各位不吝賜教。(? ??_??)?

上一張考qualify時候做的總結（電腦上打開看清楚一些）：

字跡有些潦草，湊合看。右邊豎著寫的是定義，上下框起來的部分和題目沒有太多關係，主要內容是中間部分。共有四種主要的收斂方式：
1. almost sure convergence (a.s.)
2. convergence in L(k) norm (k=2即均方收斂)
3. convergence in probability (P)
4. convergence in distribution (D)圖中實箭頭表示可以直接推出，虛箭頭表示需要一定條件才可推出，箭頭上帶叉表示反例。簡單總結如下：
1. a.s.和L(k)是最強的兩種收斂，依概率收斂次之，依分布收斂再次。如果almost sure convergence，則一定有convergence in probability，如果convergence in L(k)，則一定有convergence in probabiliby，如果convergence in probability，則一定有convergence in distribution。
2. almost sure convergence和convergence in L(k)之間沒有必然關係。
3. convergence in probability無法推出更強一級的收斂，convergence in distribution則更弱，連convergence in probability也無法推出。
4. 有比almost sure convergence更強的收斂，即為complete convergence。
5. 對於convergence in L(k)來說，更大的k可以推出更小的L(k)收斂，但反之不可。
6. almost sure convergence有等價的判定方法，即如果 $left| X_n-X ight| >epsilon$ infinitely often發生的概率等於0，則almost sure convergence。
7. convergence in probability也有等價的判定方法，若任取 $X_n$ 的一個子列，都有這一子列的子列almost sure收斂於 $X$ ，則 $X_n$ 依概率收斂於 $X$ 。
8. convergence in distribution有兩種等價的判斷方法，即Helly-Bray定理和Levy定理。

謝邀。
依概率收斂： $lim_{n ightarrow infty }Pleft( ||X_n-X||>epsilon<br /> ight) =0$
Almost sure： $Pleft( lim_{n ightarrow infty }X_n=X ight) =1$
簡單的理解就是，依概率收斂的意思是，當n趨向無窮， $X_n$ 與 $X$ 之間不相等的部分概率趨向於0，而Almost sure的意思是，當n趨向於無窮， $X_n$ 不收斂到 $X$ 的概率為0。a.s.收斂可以推出依概率收斂。
而均方收斂： $lim _{n ightarrow infty }Eleft( left| X_n-X ight| ^2 ight) =0$ ，實際上可以理解為兩個隨機變數的距離隨著n趨向於無窮而變為0。均方收斂可以推出依概率收斂，但是相反不成立。當然，如果加上一定的可積條件的話，依概率收斂可以推出均方收斂。
依分布收斂是個完全不同的概念。依分布收斂是一個分布函數收斂的概念，即 $lim_{n ightarrow infty }F_nleft( x ight) =Fleft( x ight)$ ，所以 $X_n$ 與 $X$ 甚至都可以不被定義在同一個概率空間之內。
至於具體的定義、差別，建議學習測度論和高等概率的內容。

這是比較完美的解答了

各種收斂之間的強弱關係和implication我就不說了，我舉一些簡單的形象的例子幫助大家理解：

1.分布收斂：最簡單的例子就是對於一個有限方差的總體做樣本量為n的抽樣，求其均值（或者和），重複這樣的試驗許多次，則樣本均值的分布將以總體均值u為期望，總體方差sigma^2/n為方差。對樣本均值進行標準化得到另一個變數Zn，當每次抽樣的樣本大小n趨向於無窮大時，Zn將最不限接近標準正態分布，也就是依分布收斂於標準正態分布。

2.概率收斂：假設一個人拉弓射箭射向靶心，令Xn為第n次他的得分。剛開始他非常可能得很多次0分，但是隨著時間的推移，他的射箭技術將逐步提高，他越來越可能擊中靶心並且得10分。在多年的訓練之後，他每次射擊擊中靶心10分的概率將不斷提高，或者他擊中靶心之外的概率將不斷減小。這樣，這個系列Xn就是依概率收斂於X＝10。重點在後面，也是和處處收斂的區別：但是，由於誤差的存在，他依然有可能在某一次試驗出現偏離靶心的情況，只不過這種可能性或許會越來越小，只是我們不能保證不發生。也就是不能保證Xn從哪一個時刻其永遠保持恆定狀態。

3.幾乎處處收斂：考慮一種短壽命的動物，我們記錄該動物某個個體每天消耗的食物數量Xn，這序列數字將不可預測，但是當時間（天數n）越來越大時，我們非常肯定有一天會變成0並且以後永遠是0, 因為這個動物最終將死去。

4.均方收斂：均方收斂同時考慮估計量的bias和方差，只有當n趨向無窮二者極限均為0時，才是均方收斂。

手機答題，公式沒法排版╮( ??ω?? )╭
下面的內容有很多是我自己的理解，不一定嚴格，所以看看就好，不要深究，有什麼理解錯誤的地方還請大神們指出╮( ??ω?? )╭

先說結論，根據條件嚴格程度排序，從弱到強依次為：
依分布收斂、依概率收斂、均方收斂和以概率1收斂

分別定義如下：
依分布收斂是n→∞時，分布累積函數Fn→F
依概率收斂是n→∞時，P(|Xn-X|≥ε)=0
以概率1收斂是n→∞時，P(Xn=X)=1
均方收斂是n→∞時，E((Xn-X)^2)=0

首先來看依分布收斂，根據定義可以發現，依分布收斂考察的是累積分布的收斂情況，而與定義在概率空間上的隨機變數X沒有關係，依分布收斂的隨機變數序列Xn在概率空間上不一定收斂於X

與之相對的是依概率收斂，依概率收斂要考察的是定義在整個概率空間上的隨機變數的收斂情況，根據測度論的觀點有，當n→∞時，隨機變數序列Xn不收斂於X的點的集合的測度為0，即依測度收斂於X

比依概率收斂更強的是以概率1收斂，根據定義有當n→∞時，幾乎處處Xn=X，即隨機變數Xn幾乎處處收斂於X。同依概率收斂相比，依概率收斂只要求隨機變數序列Xn不收斂於X的點足夠少，而對隨機變數序列本身是否收斂沒有要求。依概率收斂強調的是隨機變數在概率空間上的收斂情況，以概率1收斂強調的是Xn在概率空間上的幾乎所有點收斂於X

再來看均方收斂，由馬爾科夫不等式可以推出如下不等式
P(|Xn-X|≥a)≤(E(Xn-X))^2/a^2
可以得出均方收斂是依概率收斂的充分條件，而根據依概率收斂的定義可以推出
P((Xn-X)^2≥ε)=0
所以要想推出E((Xn-X)^2)=0還需要(Xn-X)^2是可積的，即∫(Xn-X)^2dx＜∞
形象的理解就是所有不收斂的點與X距離是有限的，這也是比依概率收斂嚴格的地方
但是，均方收斂和以概率1收斂並沒有直接關係，兩個收斂從不同的方面對依概率收斂更嚴格

為了形象的理解這些收斂之間的聯繫，下面就開始舉栗子啦ヽ(??????‵)?
考察隨機變數序列
Xn=1-cos(2πnω) ω∈(0,1)
該序列累積分布函數收斂於均勻分布的累積分布函數，所以該隨機變數序列依分布收斂於均勻分布，但是考察這個隨機變數序列與均勻分布沒有任何關係。

再看定義在(0,1)的隨機變數序列
Xn=1 ω∈(i/2^k,(i+1)/2^k)
Xn=0 ω?(i/2^k,(i+1)/2^k)
對於n∈N，有唯一的k,i使得n=2^k+i
顯然n→∞時，(i/2^k,(i+1)/2^k)的測度為0，然而這個序列不存在n→∞的極限，所以這是依概率收斂而不是以概率1收斂的

最後再來看看這樣一個隨機變數序列
Xn=δ(n)
顯然該函數只有當ω=n時不收斂，{n}的測度為0，即依概率收斂到X=0，但是有
E((Xn-X)^2)=E(Xn^2)=-d^2φ/dt^2|t=0
因為δ(n)的特徵函數為φ=e^(int)，所以
E((Xn-X)^2)=n^2
所以該隨機變數序列不是均方收斂的，如果令
Xn=δ(c),c∈N+
則還能證明該隨機變數序列是以概率1收斂的，但仍然不是均方收斂的

添一個實分析角度的回答，以概率收斂就是依測度收斂，均方收斂是L2收斂。我感覺真正理解這些東西得去學測度論，lebesuge積分。

強度：依概率1收斂&>依概率收斂&>依分布收斂；
k-階收斂(均方收斂是k=2的k-階收斂)&>依概率收斂&>依分布收斂。
1. 其中k-階收斂可以推出比k小的階收斂。
2. 依概率1收斂和k-階收斂沒有必然關係

你們回答了那麼多，我只想加一個問題，什麼是收斂？....