樸素貝葉斯

02-28

通過給定輸入x，通過學習到的模型計算出後驗概率分布 $P(Y=c_k|X=x)$ ，將概率最大的類 $c_k$ 作為x的類標記。

聯合概率分布

訓練數據集 $T=[(x_1,y_1),(x_2,y_2)...(x_N,y_N)]$ 是由輸入空間上的隨即向量 $X$ 和輸出空間上的隨機變數 $Y$ 的聯合概率分布 $P(X,Y)$ 獨立同分布產生的，而樸素貝葉斯法就是通過訓練集來學習聯合概率分布 $P(X,Y)$ 。（不要把XY當成有因果關係）

具體的，通過學習先驗概率分布 $P(Y=c_k)$ 和條件概率分布 $P(X^{(1)}=x^{(1)},X^{(2)}=x^{(2)}..X^{(N)}=x^{(N)}|Y=c_k)$ 來得到聯合概率分布。

條件獨立性假設

樸素貝葉斯法對條件概率分布做了「條件獨立性」的假設，這個假設也正是樸素（naive）的由來。它假設了 $X^{(1)},...,X^{(n)}$ 是條件獨立的，也就是：

$P(X=x|Y=c_k)=P(X^{(1)}\=x^{(1)}...X^{(n)}=x^{(n)}|Y=c_k)\ =prod_{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)$

條件獨立性假設就是說特徵向量的各分量獨立。

樸素貝葉斯分類器

由於 $Y=c_k$ 是一個完備事件組，所以根據貝葉斯定理有： $P( Y=c_k|X=x)\=frac{P(X=x|Y=c_k)P(Y=c_k)}{sum_{k}{P(X=x|Y=c_k)P(Y=c_k)}}\ =frac{P(Y=c_k)prod_{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)}{sum_{k}{P(Y=c_k)}prod_{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)}$

貝葉斯分類器可以表示為： $y=f(x)=arg max_{c_k}frac{P(Y=c_k)prod_{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)}{sum_{k}{P(Y=c_k)}prod_{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)}\ =arg max_{c_k}P(Y=c_k)prod_{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)$