概率論回顧

02-27

基於陶哲軒Topics in random matrix theory1.1 章節

這個簡單的概率論/測度論回顧, 作為topics in random matrix theory 一書的準備章節, 主要目的是理解 bound 和 asymptotic convergence的概念和基本方法, 沒有特彆強調 measure 之類的概念, 很適合作為一個簡單的概率論/測度論的概念/方法回顧清單.

概率論: 總測度為1的測度空間的研究
樣本/概率空間 $Omega = (Omega, mathfrak{B}, {f P})$ set + $sigma$ -algebra (保證可運算) + 概率測度
樣本空間的延伸: 是否總可能? 空間中是否有足夠的隨機 (randomness)?
全集 <-> 空集, 補等概念和 set theory 中一致
union bound: $P(lor_i E_i) le sum_i P(E_i)$ : 一般情況下很弱, 除非事件之間獨立性很強, 也稱作 zeroth moment method.
各種 asymptotic notation:
O 和 o: $|X| le C Y$ 和 $|X| le c(n) Y$ , with $c(n) o 0$ when $n oinfty$ .
事件 $E_n$ 發生的概率(隨 $n$ 的變化)
surely/true
almost surely: $P(E_n) = 1$ : "有朝一日" 一定會發生
with overwhelming probability
with high probability: 存在 $C,c$ 使 $P(E_n) ge 1- C n^{-c}$ : 非常接近1的概率會發生, 但是無法排除"小概率"事件
asymptotically almost surely: 概率 $1-o(1)$ 漸進=1
uniformly in "參數": 對於任何該參數的取值, 能找到一個統一的概率關係(e.g., 概率參數和"參數"無關)
事件/隨機變數(r.v.): sets of measure 0 的影響
離散 r.v.
連續 r.v.
複數 r.v.
聯合(joint) r.v.
矢量形式 r.v.
矩陣形式 r.v.
point process: 例如矩陣特徵值的譜(spectrum) ${lambda_1, ldots, lambda_n}$
r.v. $X$ 的分布 $mu_X(S) equiv P(X in S)$ , 也成為 law
可以"產生"一個滿足一定分布的 r.v.
離散 r.v. 的分布是 Dirac masses 之和: $mu_X = sum_{X in R} p_X delta_X$
一些常用的離散分布
Dirac
uniform
Bernoulli
幾何(Geometric)
泊松(Poisson)
拓展到連續( $P(X =x)= 0$ )的情況: + some reference measure $dm$ (一般是 Lebesgue measure).Radon-Nikodym theorem告訴我們我們可以找到一個非復的, 絕對可積的函數 $f in L^1(R,dm)$ 滿足 $int_R f dm =1$ 使得 $mu_X(S) = int_S f dm$ , 或者說 $d mu_x = f dm$ . 我們將 $f$ 稱作概率分布 $mu_X$ 的概率密度函數.
在實數 r.v. 的情況下, 概率分布 $mu_x$ 也可以用累計分布函數(cdf)的概念進行描述 $F_X(x) equiv P(X le x) = mu_X ( (-infty, x]) )$ . $mu_X$ 是 $F_X$ 的 Lebesgue-Stieltjes measure, 在絕對連續的情況下是 $F_X$ 的導數.
常用的連續分布有
uniform
real normal distribution
complex normal distribution
期望(expectation)或者均值: ${f E}X equiv int_S x d mu_X (x)$ , 由Fubini-Tonelli theorem(交換積分順序)可以寫成 ${f E}X equiv int_S P(X ge lambda) dlambda$ .
絕對可積: ${f E}|X| < infty$
期望是線性的, 無論r.v.是否相關或者獨立
對於無符號 r.v. 來說, 期望是單調的
Markov inequality: $P( |X| ge lambda) le frac1{lambda}{f E}|X|$ .
first moment method: Markov inequality + monotonicity + linearity. 很好用, 但是往往不是最優的結果(由於沒有發掘系統中變數的獨立性)
Borel-Cantelli lemma: $E_1, E_2, ldots$ 為一些列事件, 滿足 $sum_i P(E_i) < infty$ . 則 almost surely, 最多有限個事件 $E_i$ 同時發生.
常用來證明 almost surely convergence
對於一個可測且絕對可積的函數 $F$ , 通過變數代換可得 ${f E}F(X) = int_S F(x) dmu_X (x)$ , 例如
$F(X) = |X|^k$ 時, 稱為 moments
$F(X) = e^{tX}$ , exponential moments
$F(X) = e^{itX}$ , Fourier moments 或characteristic function
** $F(X) = frac1{X-z}$ , resolvents**(預解?)
討論一個 r.v. bounded的程度:
surely bounded
almost surely bounded
subgaussian: 存在 $C,c$ 使得 $P(|X| ge lambda ) le C exp(-c lambda^2)$ : 變化可以被Gaussian law bound: 例如 Gaussian 和 Poisson
sub-exponential tail: 存在 $C,c,a$ 使得 $P(|X| ge lambda ) le C exp(-c lambda^a)$ : 例如 geometric
有 finite $k^{ m th}$ moment: ${f E}|X|^k le C$
absolutely integrable: ${f E}|X| < infty$
almost surely finite: Cauchy (常見的 heavy tail distribution)
P19: 未完待續