[貝葉斯八]之極大似然估計

03-03

<個人網頁blog已經上線，一大波乾貨即將來襲：https://faiculty.com/>

一、簡單介紹

極大似然估計是根據觀察數據來估計模型參數的方法，即「模型已定，模型未知」。它是參數估計的一種方法，請參考《概率論與數理統計(浙大第四版)》中參數估計。

舉個例子，大家都知道拋硬幣的實驗：假設有一枚不規則的硬幣，要計算它正面朝上的概率。其實就是估計一個二分布的參數。現在我們開始做實驗，拋了10次，得到相應的結果。那麼如何根據這些結果來估計我們的參數呢？這就是極大似然估計要處理的一個場景。

二、理論推導

我們假設 $[x_1, x_2, x_3, x_4, ......., x_n]$ 是獨立同分布的採樣， $heta$ 是模型參數。因為採樣是獨立的，所以該採樣出現的概率可以用如下連乘表示。

$egin{align} L( heta) &= L(x_1,x_2,......, x_n; heta) \ &= prod_{i=1}^n p(x_i; heta), quad heta in Theta. end{align}$

這一概率隨著 $heta$ 取值而變化，它是 $heta$ 的函數， $L( heta)$ 稱為樣本的似然函數(注意，這裡 $[x_1,x_2,x_3,x_4……x_n]$ 是已知的樣本值，他們都是常數)。顯然，這個事件已經發生了，那麼按照人類的常理來說，我們認為概率越大的事件越可能發生，也就是我們可以認為 $heta$ 參數肯定是在 $L( heta)$ 最大的時候取得的。由此，我們的問題變成了如何來最大化 $L( heta)$ 。這也就是極大似然估計的想法。

對於計算來說連乘不太好算，所以一般取對數。

$egin{align} LL( heta) &= log prod_{i=1}^n p(x_i; heta) \ &= sum_{i=1}^n log p(x_i; heta) end{align}$

最終我們要求的 $hat heta$ 可以寫成如下式子。

$egin{align} hat heta &= underset { heta}{argmax} LL( heta) end{align}$

三、例題

例題均來自於概率論浙大第4版(在此再次表示感謝~)。

例題1：

例題2：

四、參考文獻

[1] 《概率論與數理統計(浙大第4版)》[2] 周志華. 《機器學習》[M]. 清華大學出版社, 2016.[3] http://jermmy.xyz/2017/09/30/2017-9-30-maximum-likelihood-estimation/