收斂論

02-09

對應課程：《高等概率論》

（註：在無特殊聲明下，序列的收斂默認為 a.e. 收斂，相等也默認為 a.e. 相等）

在給出現代測度論的框架後，我們討論現代測度體系下的收斂理論。在此之前，我們先給出幾個重要的關於概率的不等式（以下 ${f D}X:={f E}(X-{f E}X)^2$ 稱為 $X$ 的方差）：

Jensen 不等式： $Xin L^1(Omega)$ ， $varphi$ 為（下）凸函數，則： $varphi({f E}(X))le {f E}(varphi(X))$
Markov 不等式： $Xin L^r(Omega)$ ，則： ${f P}(|X|ge lambda)lefrac{{f E}|X|^r}{lambda^r}$ （ $forall lambda>0$ ）
Chebyshev 不等式： $Xin L^2(Omega)$ ，則： ${f P}(|X-{f E}X|ge lambda)lefrac{{f D}X}{lambda^2}$ （ $forall lambda>0$ ）
Kolmogorov 不等式： ${X_n}$ 為獨立隨機變數列， $X_nin L^2(Omega)$ ，則： ${f P}(max_{1le k le n}|S_k-{f E}S_k|ge lambda)lefrac{sum_{k=1}^{n}{f D}X_n}{lambda^2}$ （ $forall lambda>0$ ）。若還存在 $A$ 使得 $|X_k-{f E}X_k|le A$ ，則： ${f P}(max_{1le kle n }|S_k-{f E}S_k|gevarepsilon)ge1-frac{(varepsilon+A)^2}{sum_{k=1}^n{f D}X_k}$ 。

接下來，我們正式討論測度論中的收斂定理，以及應用於概率論得到的結果。

【一】測度論中的基本收斂

設 $(Omega,{cal F},mu)$ 為一測度空間， ${f_n}$ 為其上可測函數序列。

1. 測度的連續性

下連續性

若 ${A_n}subseteq {cal F}$ ，且 $A_n uparrow A$ ，則： $A in {cal F}$ ，且 $lim_{n ightarrow infty}mu(A_n)=mu(A)$ 。

上連續性

若 ${A_n}subseteq {cal F}$ ，且 $A_n downarrow A$ ， $mu(A_1)<infty$ ，則： $A in {cal F}$ ，且 $lim_{n ightarrow infty}mu(A_n)=mu(A)$ 。

2. 可測函數序列的收斂

由於有限測度下，函數序列具有更好的收斂關係，因此我們主要討論隨機變數序列與隨機元序列的收斂。

隨機變數序列的收斂

設 ${X_{n },X}$ 為 $(Omega,{cal F},{f P})$ 上的隨機變數序列：

（1）a.s. 收斂： $forall varepsilon>0$ ， $lim_{k ightarrow infty} {f P}(igcup_{n=k}^infty {|X_n-X|ge varepsilon})={f P}(overline{lim_{n ightarrow infty}}{|X_n-X|ge varepsilon})=0$ ；

（2）依概率收斂： $forall varepsilon>0$ ， $lim_{n ightarrow infty} {f P}(|X_n-X|ge varepsilon)=0$ ；

（3） $f L^r$ 收斂： $lim_{n ightarrow infty} {f E}(|X_n-X|^r)=0$ ；

（4）依分布收斂： $X_n$ 誘導的概率分布 ${f P}_{X_n}$ 弱收斂於 $X$ 誘導的概率分布 ${f P}_X$ 。注意，此時不需要 ${X_{n },X}$ 在同一個概率空間上！（其有以下幾個等價條件：（i） $forall xin C_G$ （即 $F(x)$ 所有連續點構成的全體），分布函數 $lim_{n ightarrow infty} F_{X_n}(x)= F_X(x)$ ；（ii）對應的特徵函數點點收斂： $lim_{n ightarrow infty} varphi_{X_n}(t)=varphi_X(t)$ ）

註：特徵函數定義見「中心極限定理」，弱收斂定義見「附錄」。

隨機元序列的收斂

設 ${X_{n },X}$ 為 $(Omega,{cal F},{f P})$ 上的隨機元序列（即狀態空間改為Polish空間 $(E,d)$ ）：

（1）a.s. 收斂： $forall varepsilon>0$ ， $lim_{k ightarrow infty} {f P}(igcup_{n=k}^infty {d(X_n,X)ge varepsilon})={f P}(overline{lim_{n ightarrow infty}}{d(X_n,X)ge varepsilon})=0$ ；

（2）依概率收斂： $forall varepsilon>0$ ， $lim_{n ightarrow infty} {f P}(d(X_n,X)ge varepsilon)=0$ ；

（3）依分布收斂： $X_n$ 誘導的概率分布 ${f P}_{X_n}$ 弱收斂於 $X$ 誘導的概率分布 ${f P}_X$ 。注意，此時不需要 ${X_{n },X}$ 在同一個概率空間上！

3. 積分的收斂

單調收斂定理

若 $f_nuparrow f$ ，且 $f_nge g$ （ $gin L^1(Omega)$ ），則： $lim_{n } int f_n =int f$ 。

Fatou引理

（1）若 $f_n ge g$ （ $gin L^1(Omega)$ ），則： $int underset { n } {underline{lim}} f_n le underset { n } {underline{lim}} int f_n$ ；

（2）若 $f_n le h$ （ $hin L^1(Omega)$ ），則： $int overline{lim_n} f_n ge overline{lim_n} int f_n$ 。

控制收斂定理

若 $f_nxrightarrow{a.e. } f$ ，且 $|f_n|le h$ （ $hin L^1(Omega)$ ），則： $f_nxrightarrow{L^1 } f$ （從而 $lim_{n } int f_n =int f$ ）。

【二】概率論：隨機級數與大數定律

設 ${X_{n }}$ 為 $(Omega,{cal F},{f P})$ 上的隨機變數序列，我們希望利用隨機級數研究其均值的收斂性。

1. 隨機級數的收斂

Borel 0-1 律

（1）若 $sum_{n=1}^{infty} {f P}(A_n)< infty$ ，則： ${f P}(overline{lim_{n ightarrowinfty}}A_n)=0$ ；

（2）若 ${A_n}$ 獨立，且 $sum_{n=1}^{infty} {f P}(A_n)= infty$ ，則： ${f P}(overline{lim_{n ightarrowinfty}}A_n)=1$ 。

Kolmogorov 0-1 律

若 ${X_{n }}$ 獨立，則對任意「尾事件」 $A$ ，有： ${f P}(A)=1$ 或 ${f P}(A)=0$ 。

注（尾事件）： ${cal J}_n:=sigma(X_k:kge n+1)$ ， ${cal J}:=cap_n {cal J}_n$ ， $cal J$ 中元素稱為「尾事件」。

隨機級數的收斂

（1）若 ${X_{n }}$ 獨立， $ilde{X}_n$ 為 $X_n$ 在 $A>0$ 處的「截斷」，則： $sum_{n=1}^{infty}X_n$ a.s. 收斂等價於以下三個隨機級數 a.s. 收斂：（i） $sum_{n=1}^{infty}{f P}(X_n eq ilde{X}_n )$ ；（ii） $sum_{n=1}^{infty}{f E} ilde{X}_n$ ；（iii） $sum_{n=1}^{infty}{f D} ilde{X}_n$ 。（令 $ilde{X}_n:=X_n 1_{{X_nle A}}$ ，稱其為 $X_n$ 在 $A$ 處的「截斷」。該定理稱為「三級數定理」）

（1）若 ${X_{n }}$ 獨立，且 $sum_{n=1}^{infty}{f D} X _n <infty$ ，則： $sum_{n=1}^{infty}( X_n-{f E} X _n )$ a.s. 收斂；

（2）若 $sum_{n=1}^{infty}frac{X_n}{a_k}$ a.s. 收斂，則： $frac{1}{a_n}sum_{k=1}^{n}X_k xrightarrow{a.s.}0$ 。

2. 弱大數定律

二階矩弱大數定律

若 ${X_{n }}$ 兩兩不相關，且 $sup_k {f D}X_k < infty$ ，則： $ar{X}_n-{f E}ar{X}_nxrightarrow{{f P}} 0$ 。

註：若條件減弱為滿足「Markov 條件」（即 ${f D}S_n=o(n^2)$ ），則結論也成立。

一階矩弱大數定律

若 ${X_{n }}$ 獨立同分布，且 $X_1in L^1(Omega)$ ，則： $ar{X}_n-{f E}X_1xrightarrow{{f P}} 0$ 。

推廣：若 ${X_{n }}$ 獨立同分布，且 $lim_{x ightarrow infty}x{f P}(|X_1>x|)=0$ ，則存在 ${a_n}subseteq {f R}$ ，使得 $ar{X}_n-a_nxrightarrow{{f P}}0$ 。

3. 強大數定律

二階矩弱大數定律

若 ${X_{n }}$ 兩兩不相關，且 $sup_k {f D}X_k < infty$ ，則： $ar{X}_n-{f E}ar{X}_nxrightarrow{a.s.} 0$ 。

一階矩弱大數定律

若 ${X_{n }}$ 獨立同分布，且 $X_1in L^1(Omega)$ ，則： $ar{X}_n-{f E}X_1xrightarrow{a.s.} 0$ 。

推廣：若 ${X_{n }}$ 獨立同分布，且 ${f E}|X_1|=infty$ ，則： $overline{lim_{n ightarrowinfty}}|ar{X}_n|=infty$ 。

【三】概率論：特徵函數與中心極限定理

設 ${X_{n }}$ 為 $(Omega,{cal F},{f P})$ 上的隨機變數序列，我們希望利用特徵函數研究其均值的極限分布。

1. 特徵函數

$({f R},{cal B} )$ 上的概率測度 $mu$ 誘導一個特徵函數 $varphi(t):=int_{{f R}}e^{itx}mathrm mu({d}x)$ ，且該誘導關係為一一對應！結合《測度論》中 L-S 測度，在 $({f R},{cal B} )$ 中，我們有如下一一對應關係：

概率測度 $mu$ $longleftrightarrow$ 概率分布函數 $F$ （右連續 $0 ightarrow 1$ 單增函數） $longleftrightarrow$ 特徵函數 $varphi$

特別的，若 $X$ 為 $(Omega,{cal F},{f P})$ 上的隨機變數，則 $X$ 誘導的概率分布 ${f P}_X$ 誘導的特徵函數 $varphi_X$ 稱為 $X$ 的特徵函數，且 $varphi_X={f E}e^{itX}$ 。其具有以下性質：

（1） $|varphi(t)|levarphi(0)=1$ ；

（2） $varphi(-t)=overline{varphi(t)}$ ；

（3） $varphi(t)$ 在 $f R$ 上一致連續；

（4） $varphi_{a+bX}=e^{itx}varphi_X(bt)$ ；

（5） $X$ 與 $Y$ 獨立，則： $varphi_{X+Y}(t)=varphi_X(t)cdot varphi_{Y}(t)$ ；

（6） $varphiin L^1({f R})$ ，則： $Fin C^1({f R})$ ，且 $F(x)=frac{1}{2pi}int_{-infty}^{infty}e^{-itx}varphi(t)mathrm{d}t$ 。

2. 中心極限定理

Lindeberg 中心極限定理

若 ${X_{n }}$ 獨立同分布，且 $X_1 in L^2(Omega)$ ，則： $frac{ar{X}_n-{f E}X_1} {sqrt {frac {{f D}X_1} {n } } } xrightarrow{d} X$ （其中 $Xsim N(0,1)$ ）。

注1（正態分布）：若 $X$ 的分布密度函數 $p(x)=frac{1}{sqrt{2pi}sigma}e^{-frac{(x-a)^2}{2sigma^2}}$ ，則稱 $X$ 服從正態分布，記 $Xsim N(a,sigma^2)$ 。且其特徵函數 $varphi_X(t)=e^{-frac{t^2}{2}}$ 。

注2（正態分布的標準化）：若 $Xsim N(a,sigma^2)$ ，則標準化 $frac{X-a}{sqrt{sigma^2}}sim N(0,1)$ 。

注3（獨立同分布正態分布序列）設 $X_nsim N(a,sigma^2)$ 獨立同分布，則 $ar X_nsim N(a,frac{sigma^2}{n})$ ，故標準化 $frac{ar X_n-a}{sqrt{frac{sigma^2}{n}}}sim N(0,1)$ 。

【附】淡收斂與弱收斂

給定拓撲可測空間 $(X,{cal B}(X))$ 後，我們想研究其上測度序列 ${mu_n,mu}$ 的淡收斂與弱收斂：

淡收斂： $forall fin C_c(X)$ ，有 $lim_{n ightarrowinfty}langle mu_n,f angle=langle mu,f angle$ （記作 $mu_n xrightarrow{v} mu$ ）；
弱收斂： $mu_n xrightarrow{v} mu$ ，且 $lim_{n ightarrow infty}mu_n(X)=mu(X)<infty$ （記作 $mu_n xrightarrow{w} mu$ ）。

由於一般拓撲可測空間中淡收斂的極限未必唯一，因此我們針對以下兩個空間研究，即：（1）局部緊 Hausdorff 空間中 Radon 測度的淡收斂；（2）度量空間中概率測度的弱收斂。

1. 局部緊 Hausdorff 空間：Radon 測度（淡收斂）

設 $(X,{cal B}(X))$ 為局部緊 Hausdorff 空間，我們在《測度論》中已經初步給出了其上 Radon 測度淡收斂的定義（與上述定義一致），此時淡收斂的極限唯一。

Def： $forall fin C_c(X)$ ，有 $lim_{n ightarrowinfty}langle mu_n,f angle=langle mu,f angle$ ，則記 $mu_n xrightarrow{v} mu$ 。

有可數基的局部緊 Hausdorff 空間

當 $(X,{cal B}(X))$ 為有可數基的局部緊 Hausdorff 空間時，我們可以對淡收斂的拓撲度量化：

Th：記 $cal R$ 為 $X$ 上所有 Radon 測度構成的全體，則存在其上的度量 $ho$ ，使得 $({cal R}, ho)$ 為 Polish 空間，且： $mu_n xrightarrow{v} mu$ $Leftrightarrow$ $ho(mu_n,mu) ightarrow 0$ 。

2. 度量空間：概率測度（弱收斂）

設 $(E,d)$ 為度量空間，考慮其上的概率測度序列 ${{f P}_n,{f P}}$ ，此時弱收斂的極限唯一，並且我們有關於其弱收斂的等價定義：

Def： $forall fin C_b(E)$ ，有 $lim_{n ightarrowinfty}langle {f P}_n,f angle=langle {f P},f angle$ ，則記 ${f P}_n xrightarrow{w} {f P}$ 。

註： ${f P}_n xrightarrow{w} {f P}$ $Leftrightarrow$ ${{f P}_n}$ 任意子序列 ${{f P}_{n_k}}$ 的子序列 ${{f P}_{n_{k_j}}} xrightarrow{w} {f P}$ 。

Polish空間

當 $(E,d)$ 為 Polish 空間（即完備可分度量空間）時，我們可以對弱收斂的拓撲度量化：

Th：記 ${cal P}(E)$ 為 $E$ 上所有概率測度構成的全體，則存在其上的度量 $ho$ ，使得 $({cal P}(E), ho)$ 為 Polish 空間，且： ${f P}_n xrightarrow{w} {f P}$ $Leftrightarrow$ $ho({f P}_n,{f P}) ightarrow 0$ 。