如何理解並記憶大數定律？

01-14

辛欽大數定律，伯努利大數定律，切比雪夫大數定律，如何記憶他們？死記硬背總是記不住。

記住那些公式幹嘛？

記住這句話就可以了：大數定理說明了，足夠大的樣本能幾乎肯定地反映出總體的真實組成。這讓我們放心地去抽樣調查，去monte carlo等等。

在公理化體系提出之前，人們對概率的研究局限在等可能事件。比如拋一枚硬幣，我可以認為拋出正面的概率就是1/2。若實際拋擲，拋10次，也許會有七次是正面，但如果拋很多很多次，那得到的正面佔比將十分接近50%，這就是「頻率接近於概率」的觀念。伯努利感興趣的是，如果拋100次，出現的正面數佔比在48%到52%之間的概率是多少？如果拋100萬次，這個概率又會變為多少？能否拋足夠多次，來讓正面數的佔比在49.9999%到50.0001%之間的概率達到99.9999%？

在這個問題上面工作了整整20年後，1705年左右，伯努利證明了第一個大數定理（他自己稱之為黃金定理），它指出，我們總可以拋擲足夠多次，使我們能幾乎確定得到的正面佔比很接近於50%。而且，在給定「幾乎確定」和「接近」的具體定義後，定理還給出用來計算這個「足夠」的拋擲次數的公式（不過，這後半部分的結果是粗糙的，由狄莫弗在1733年改進，得到了第一個中心極限定理。）。

後來，有了公理化體系，就有了現在教科書上標準的說法：對獨立同分布的隨機變數序列{xn, n=1,2,3,...}，設均值為Exn，方差存在。則[(x1+...+xn)-E(x1+...+xn)]/n依概率收斂到0。可見伯努利大數定理就是xn為二元隨機變數時的一個特例。至於其他那些帶著其他人名的大數定理，無非就是把條件放寬而已。如切比雪夫大數定律是把條件放寬為隨機變數序列兩兩不相關且方差存在（無需假定獨立同分布）。辛欽大數定律是把條件放寬為隨機變數序列獨立同分布且存在一階矩（無需假定方差存在）。

我覺得吧，如果不搞理論的話，沒必要去深究這些不同名稱大數定理到底在說什麼，記住開頭那句話就可以了。然後可以多花點時間琢磨中心極限定理，想想為什麼這些極限定理很重要。

P.S. 順帶推薦一篇決策心理學的經典論文：「小數定律」。

BELIEF IN THE LAW OF SMALL NUMBERS

http://pirate.shu.edu/~hovancjo/exp_read/tversky.htm

這都是在講：在獨立採樣過程中（採樣結果彼此不會對先驗概率產生影響），特定事件的在樣本中發生的頻率，這個隨機變數，是如何漸進的隨樣本數量的增長，收斂到這個事件的概率的。

換句話說，這些定理都是在說明，古典概率定義在大樣本條件下的精確度（比之於現代概率定義）