高斯混合模型(GMM)

04-26

二維高斯密度函數的等概率線為橢圓

上圖左面用單一高斯分布去描述，顯然沒有右圖用兩個高斯分布去描述的效果好。所以下面介紹高斯混合模型。

高斯混合模型，顧名思義，用多個高斯模型去描述數據的分布。

如上圖，我們用三個高斯分布去描述一個二維的數據。

現在我們定義K個高斯密度疊加：

$p(x)=sum_{k=1}^Kpi_kaleph( extbf{x}|{mu}_k,Sigma_k) (1)$

對於每一個高斯密度函數有自己的均值 $mu_k$ 和方差 $Sigma_k$ , $pi_k$ 作為混合的比例係數有：

$sum_{k=1}^Kpi_k=1$

(a)為不同混合比例下的高斯概率密度分布(b)為混合狀態下的概率密度分布(c)為概率密度分布的表面圖。

$p(x)$ 可以改寫為：

$p(x)=sum_{k=1}^Kp(k)p(x|k)$ 並與公式(1)對比，有

$pi_k=p(k)$ , $p(x|k)=aleph( extbf{x}|{mu}_k,Sigma_k)$

則後驗概率 $p(k|x)$ 根據貝葉斯理論，可表示為：

$gamma_k( extbf{x})equiv p(k|x)=frac{p(k)p( extbf{x}|k)}{sum_lp(l)p( extbf{x}|l)}=frac{pi_kaleph( extbf{x}|{mu}_k,Sigma_k)}{sum_l{pi_laleph( extbf{x}|{mu}_l,Sigma_l)}}$

因此GMM由 $f{pi,mu,Sigma}$ 確定，且有參數K的存在。下面一節我們將介紹EM(expectation maximization)方法。