概率論快速學習02：概率公理

原創 2014年05月18日 22:36:38

前言

　　系列文章：[傳送門]

　　期末考試複習，就準備這系列的博客，記錄 概率論 複習的成果。

　　　　　

正文

　　內容來自 概率論相關書籍 及 資料，有疑問請留言。　

隨機試驗 · 樣本空間

　　任何一個過程，如果它的結果是隨機的(無法事前知道)，那麼該過程就稱為一個隨機試驗（E）。具有三個性質：

　　　　(1)每次試驗的可能結果不止一個，並且能事先明確試驗的所有可能結果。

　　　　(2)進行一次試驗之前無法確定哪一個結果會出現。　　　　(3) 可以在同一條件下重複進行試驗。

　　　　

　　實驗所有可能的結果組成一個集合(set)，叫做樣本空間(sample space)，用S表示。

舉個例子

　　連續擲一個硬幣兩次:

S={HH,HT,TH,TT}

H表示正面，T表示反面。上面括弧里包含了所有可能的結果：正正，正反，反正，反反。

　　　　　　　　　　

　　對於概率論來說，集合是「如來佛的手掌心」。事實上，整個現代數學體系都是建立在集合論的基礎上。集合本身沒有什麼神秘的，就是一些元素的集合。數學的關鍵是不同集合的特性、集合內部的結構和集合之間的關係。看似平常的集合給數學帶來許多意想不到的結果。

Python中的集合

　　集合這一數據結構在多種語言中都有。比如Python中的集合:

A = set([1, 2, 3, 4])B = set([3, 4, 5, 6])print(A & B) # intersectionprint(A | B) # unionprint(A - B) # difference, element in A, and not in Bprint(A ^ B) # symmetric difference, (A | B) - (A & B)

#實現了集合的運算。

　　用>, >=, <, <=來判斷兩個集合的歸屬關係，比如一個集合是另一個集合的子集。

A = set([1, 2])B = set([1, 2, 3])print(1 in A) # elementprint(A < B) # subset

　　set是一個數據容器，len(), max(), min()函數同樣可用於set，分別返回集合中元素總數，集合最大值，集合最小值。此外，set還有一些方法，比如下面的增加和刪除元素，注意set中不會有重複的元素:

A = set([1, 2])A.add(5) # add an elementprint(A)A.remove(2) # remove an elementprint(A)A.add(1)print(A) # a set has no repeated elements

#set中元素都為整數，還可以是其他的任意對象。

事件

　　樣本空間包含了概率論研究的基本元素，也就是實驗的結果。它們好象化學裡的原子。在擲撒子的遊戲中，1，2，3，4，5，6，這些結果就構成了我們的原子。然而，就像賭徒只對「大」和「小」感興趣一樣，在許多時候，我們會對分子那樣的原子集合更感興趣。在概率論里，這樣的「分子」就是樣本空間的子集。樣本空間的一個子集，被稱為一個事件(event)。比如說，在實驗1中，第一次投擲為正面的所有結果構成子集，即一個事件。該事件包含有兩個元素:

　　　　　　　　　　　　　　　　　　　　　　　　　　　　A={(H,H),(H,T)}

再比如，第二次投擲為正面也構成一個事件，即

　　　　　　　　　　　　　　　　　　　　　　　　　　　　B={(H,H),(T,H)}

我們可以將事件理解為一些特定結果的合集。通過事件，我們可以將結果「聚合」，從而在高一層的單位上進行概率研究。

既然事件是樣本空間的一個子集，那麼事件可以有補集。事件A的補集包含所有不屬於A的樣本空間元素。

　　　　　　　　　　　　　　　　　　　　　　　　　　　　Ac={TH,TT}

該補集代表的事件為: 第一次投擲是反面。

　　　　　　　　　　　　　　　　　　　　　　　　　　　　

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　補集

兩個集合可以有交集和並集運算。我們以集合A和集合B為例。

C=A∩B

交集C中包含了所有既在A中又在B中的元素。事件C表示第一次為正面且第二次為正面。C={(H,H)}

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　交集: 交叉陰影區域

D=A∪B

並集D中包含了所有在A中或者在B中的元素。事件D表示第一次為正面或者第二次為正面，D={(H,H),(T,H),(H,T)}

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　並集: 交叉陰影區域

空集Φ是一個不包含任何元素的集合。如果兩個集合的交集為空集，即M∩N=Φ，那麼這兩個集合不相交。在概率論中，不相交的兩個事件互斥。

和加法一樣，集合的交並集運算同樣有運演算法則。這些法則可以如上面那樣，畫出集合圖形，來輔助理解。

交換律

A∪B=B∪AA∩B=B∩A

結合律

(A∪B)∪C=A∪(B∪C)(A∩B)∩C=A∩(B∩C)

分配律

(A∪B)∩C=(A∩C)∪(B∩C)(A∩B)∪C=(A∪C)∩(B∪C)概率測度

　　我們上面定義了一些基本用語，即「試驗」，「樣本空間」，「事件」。我們下面要給「分子」上色：引入概率的概念。我們用函數來給每個事件分配一個概率，即分子和顏色的對應關係。

概率測度是基於樣本空間S的一個函數P。這個函數P定義了從樣本空間的子集(即事件)到實數的映射，且滿足下面的條件:

1.P(S)=1

2. 如果A?S, 那麼P(A)≥0

3. 如果A1和A2不相交，那麼

　　　　　　　　　　　　　　　　　　　　　　　　　　　　P(A1∪A2)=P(A1)+P(A2)

　　「概率測度」是一個有些抽象的概念。「測度」這個詞是在提示我們概率定義的基礎是「測度論」。粗糙的說，「測度論」用於研究一個集合的「大小」或者說「面積」。更嚴格的說，就像概率一樣，「測度」是集合的子集到實數的一個映射。比如一個正方形的面積為6，實際上是說，一個點的集合（正方形）的某個「測度」為6，即點的集合和實數6對應。「面積」的一個關鍵特點是可加。比如我們買地的時候，如果兩塊地不重疊，那麼它們的面積總和是兩個各自面積的和。概率測度有相同的特點，就是上面的第3點。第1，2兩點是概率的基本特徵，即所有情況的概率總和為1，而概率值不為負。基於這樣一種直觀但不嚴格的類比，我們可以把概率（也就是「概率測度」）想像成「集合的面積」。而「樣本空間的總面積為1」。

　　　　　　　　　　　　　　　　　　　　　　　　　　　　

　　以上是概率論的公理體系。利用上面的定義以及集合論工具，我們會進一步建立起概率論的體系。但要注意的是，上面公理化的定義，儘管嚴謹，但並沒有說明「概率是什麼」，而只是說「概率那個人啊，它應該長的方臉，長鼻子，小眼鏡」。這有些像編程中的"duck typing"，也就是根據對象的動作或者特點，來定義對象。即使是今天，概率的本質也存在爭議。主流的觀點分為兩派，即頻率觀點和貝葉斯觀點。在頻率觀點中，如果我們以相同的條件重複嘗試N次，那麼如果某個事件出現了n次，那麼該事件的概率為P(A)=n/N。在貝葉斯觀點中，概率代表了主觀上對某一論斷的信心。儘管對概率的理解不同，這兩個流派都開衍生出了非常有用的工具。

　　另一方面，定義也沒有告訴我們如何確定函數P，即如何計算概率測度。很多時候，函數P的確定依然基於一些假設和一定程度的直覺。比如在等概率條件下，我們利用計數方法，來獲得概率。比如一枚硬幣出現正反兩面的概率相同，結果總數為2，那麼P(H)=1/2。這也正是我們第一講中講解計數的目的所在。然而在其他情況下，比如不均勻硬幣，我們不能簡單的用1除以結果總數。我們可以利用頻率觀點，大量重複實驗，來獲得P函數。

總結

　　　　樣本空間，事件

　　　 互斥事件

　　　 概率測度

　　（生活離不開尋找數學，你說呢？）

　　

感謝及資源共享

　　　　

　　　　路上走來一步一個腳印，希望大家和我一起。

　　　　感謝讀者！很喜歡你們給我的支持。如果支持，點個贊。

　　　　知識來源：　概率論等書 和 python api

推薦閱讀：