Mandel書概率準備1

一本量子光學的教材，花了整整三章內容來講有關概率論的知識，雖然這本書是1995年出版的，如今已是2018年，書中的觀點可能很多已經不再適用了，但是這本經典教材，我希望能在這個暑假通讀一遍。感謝Mandel教授，希望您給我力量。

概率論的公理化：

最後一個互斥事件的定義依靠事件之間的運算定義，事件的基本運算由韋恩圖定義。所有的概率論的定理，都可以從這幾個公理導出，和歐幾里得的幾何原本很像。

注意的是下面這個公式：

它不是一個普通的等式，而是一個定義式，一開始我試圖從公理出發證明它，發現它其實只是一個定義式，任何一個可以從三個公理出發證明的等式必須在使用所有定義後，化成只包含公理中出現的符號形式，而該公式因為本身就是一個定義式。至於條件概率為什麼要這樣定義，這是從簡單的情況推得的。建議將該公式寫為：

對貝葉斯公式的理解：

這個公式證明其實就是分母用全概率公式展開而已，這個公式還有一個條件就是p(B)不為零，這個公式當A只包含一個事件時將恆等於1，這並不奇怪，因為這個公式還要求A是一個互斥完備的事件集，和前麵條件概率的表述容易使人誤會一樣，這裡可以換一種表述。

且規定 是互斥完備的事件集，所以該集合只有一個元素 時， ,整個式子就自然恆等於1了。這個公式里包含著由結果推原因的哲學思想，是貝葉斯統計的根基所在，在機器學習領域也有很重要的地位，這些思想需要幾個例子來幫助理解，在陳希孺書和本書中的兩個例子個人覺得是需要伴隨著這個公式一同記憶的極好的例子（有機會再把例子補上）。

期望和矩的定義（expectation期望）（moments矩）因為Mandel的書是英文原版，所以難免會被英文的陌生所困擾，這裡藉助陳希孺的書進行對照，順便將中文的名詞和英文的名詞之間建立起聯繫。

期望是隨機變數的期望expectation：

隨機變數的函數的期望：

隨機變數的r階原點矩定義為

如果隨機變數x取值範圍為分立的正整數則定義r階階乘矩rth factorial moment of n:

在陳希孺書中是先講方差再講矩，方差翻譯為variance或者mean-squared deviation(相對期望的偏差的平方平均值)，又或者叫做dispersion。其實方差就是二階中心矩，期望就是一階原點矩。陳書中是從特殊到一般的寫法，而本書是一般到特殊的寫法，兩者都有其有點。前者容易接受，但使人先入為主，忽略問題的一般性。後者開始比較難啃，但是不容易思維僵化，但是按科學的發展，總是從特殊到一般，但是普通人的大腦對於簡單的情況往往記憶深刻。所以建議先從一般入手，拿特殊作為例子，加深對一般的理解。

定義r階中心距為：

記： ,可以使今後的書寫變得簡便讀作誤差deviation或偏差。

偏度係數coefficient of skewness和峰度係數kurtosis的定義：

對於峰度係數的理解從側面糾正了先前對正態分布方差的理解，所有正態分布的峰度係數恆等於3。因為峰度係數是和變數的單位無關的，而方差是有單位的，因此可以用極限的思想來理解，對於一個服從正態分布的變數，如果橫坐標的刻度不變，因為之後峰度係數是沒有單位的。當給變數 乘上一個趨於0的係數變為 ，在坐標軸刻度不變的情況下，正態分布在波形上就變成了狄拉克函數了，此時方差變為無窮小，但是峰度係數是不變的。

中心矩和原點矩有著一般的關係式：

還是遵從「從一般到特殊」的原則，其實對於特殊情況我們是熟悉的，且對於特殊情況的證明我們也是熟悉的，在陳書中這種特殊情況寫成了我們熟悉的形式如下：

在Mandel書中寫成： ，好像Mandel書中的記號更加簡便，形式上的簡便有時候是有優勢的。

對於多變數的情況，分布函數表示為：

定義多變數中心矩central moment為： ,此時的階數稱為 階。

雙變數 階中心矩就是我們熟知的協方差covariance。陳書中的定義形式如下：

，對比而言Mandel的書更加簡潔。

當默認考慮的是 階中心矩時，下角標可以被用來區分不同的變數，此時協方差表示為：

兩個變數的協方差和各自的方差滿足不等式： ，協方差的平方小於各變數的方差之積。以上在陳書中的內容更加詳細，畢竟陳書是專門的概率論著作，而Mandel書中對於大多數的等式都是不加證明。

（不知道一個定理的證明過程，不妨礙我們從定理的形式上抓住定理在體系中的意義）

相關係數correlation coefficient的定義： ，顯然相關係數的取值範圍為 ，相關係數的意義在陳書中有獨到的解釋不再贅述。

因為Mandel書中未來可能涉及複數的大量運算，前面的所有定義的定理都必須有相應的複數版本，期望和誤差都是複數。

變數為複數時的協方差定義為：