[貝葉斯五]之樸素貝葉斯

03-02

<個人網頁blog已經上線，一大波乾貨即將來襲：https://faiculty.com/>

一、前因

這一章節依然是基礎知識，貝葉斯分類器的核心就是要計算出後驗概率 $p(w_i|x)$ ，依據貝葉斯定理 $p(w_i|x) = frac {p(x|w_i)p(w_i)}{p(x)}$

其中：

$egin{align} p(w_i) = frac {# 類別i訓練樣本數}{# 訓練樣本總數} end{align}$

但是似然(類別條件概率) $p(x|w_i)$ 該怎麼求？很多時候，樣本 $x$ 都是多屬性的(也就是機器學習中通常說的特徵空間是多維度的)。這就是樸素貝葉斯誕生原因。

不是說類別條件概率不好求么？而且不好求的原因是樣本 $x$ 是多屬性的。那麼我們就假設屬性之間是相互獨立的。這就是樸素貝葉斯。基於這個假設，我們用條件概率的乘法原理重寫貝葉斯公式。(假設輸入樣本是 $d$ 維的)

$egin{align} p(w_i|x) &= frac {p(x|w_i)p(w_i)}{p(x)}\ & = frac {p(w_i)}{p(x)} prod_{k=1}^d p(x_k|w_i) end{align}$

繼續改寫 $p(x)$ ，因為對於所有的類別來說都是相等的。

$egin{align} f &= underset {i}{argmax} p(w_i|x)\ &=underset {i}{argmax} p(w_i) prod_{k=1}^d p(x_k|w_i) end{align}$

這就是樸素貝葉斯的目標函數。

[1] 周志華. 《機器學習》[M]. 清華大學出版社, 2016.[2] 李航. 《統計學習方法》[M].清華大學出版社,2013.