概率與似然

先驗概率，條件概率與後驗概率

先驗概率是基於背景常識或者歷史數據的統計得出的預判概率，一般只包含一個變數，例如，。

條件概率是表示一個事件發生後另一個事件發生的概率，例如代表事件發生後事件發生的概率。

後驗概率是由果求因，也就是在知道結果的情況下求原因的概率，例如Y事件是X引起的，那麼就是後驗概率，也可以說它是事件發生後的反向條件概率。

似然函數

在數理統計學中，似然函數是一種關於統計模型中的參數的函數，表示模型參數中的似然性。似然函數可以理解為條件概率的逆反。

在已知某個參數時，事件會發生的條件概率可以寫作，也就是。我們也可以構造似然性的方法來表示事件發生後估計參數的可能性，也就表示為，其中。

這裡Wikipedia的解釋比較全面詳細，可以參見似然函數。

最大似然估計（MLE）與最大後驗概率（MAP）

最大似然估計是似然函數最初也是最自然的應用。似然函數取得最大值表示相應的參數能夠使得統計模型最為合理。從這樣一個想法出發，最大似然估計的做法是：首先選取似然函數（一般是概率密度函數或概率質量函數），整理之後求最大值。實際應用中一般會取似然函數的對數作為求最大值的函數，這樣求出的最大值和直接求最大值得到的結果是相同的。似然函數的最大值不一定唯一，也不一定存在。

這裡簡單的說一下最大後驗概率（MAP），如下面的公式

其中等式左邊表示的就是後驗概率，優化目標即為，即給定了觀測值以後使模型參數出現的概率最大。等式右邊的分子式即為似然函數，MAP考慮了模型參數出現的先驗概率。即就算似然概率很大，但是出現的可能性很小，也更傾向於不考慮模型參數為。

生成式模型與判別式模型

最後簡單說一下生成式模型與判別式模型。

判別式模型學習的目標是條件概率或者是決策函數，其實這兩者本質上是相同的。例如KNN，Decision Tree，SVM，CRF等模型都是判別式模型。

生成式模型學習的是聯合概率分布，從而求得條件概率分布。例如NB，HMM等模型都是生成式模型。

參考

• 似然函數

• 最大似然估計 （MLE） 最大後驗概率（MAP）

• 《統計學習方法》李航

推薦閱讀：