概率圖模型簡單概述

01-29

前面介紹了統計語言模型的相關知識，通過計算條件概率來計算模型參數，因此也叫概率模型。而如果我們在概率模型的基礎上，使用基於圖的方法來表示概率分布，那麼我們稱這種模型為概率圖模型。

在概率圖模型的表達中，結點表示變數，結點之間直接相連的邊表示相應變數之間的概率關係。如果結點之間沒有邊，我們就認為這兩個變數是沒有概率關係的，即這兩個變數的出現都是獨立的。

根據圖模型的邊是否有向，概率圖模型通常被劃分為有向概率圖模型和無向概率圖模型。圖模型的細緻分類粗略可以表示如下圖所示：

動態貝葉斯網路用於處理隨時間變化的動態系統中的推斷和預測問題。其中隱馬可夫模型在語音識別、漢語自動分詞與詞性標註同統計機器翻譯等任務重被廣泛應用；卡爾曼濾波器在信號處理領域有廣泛用途；馬兒可夫網路（馬爾可夫隨機場MRF）下的條件隨機場（CRF）廣泛用於自然語言處理中的序列標註、特徵選擇、機器翻譯等任務；波爾茲曼機被應用於依存句法分析和語義角色標註等。

概率圖模型的演變過程：

從上圖橫向看，由點到線（序列結構）、到面（圖結構）。以樸素貝葉斯為基礎的隱馬爾科夫模型用於處理線性序列問題，有向圖模型用於解決一般圖問題；以邏輯回歸模型為基礎的線性鏈式條件隨機場用於解決「線性」序列問題，通用條件隨機場用於解決一般圖問題。

從縱向看，在一定條件下生成式模型可以轉變為判別式模型。

生成式模型與判別式模型的區別在於模型中觀測序列x 和狀態序列y 之間的決定關係，前者假定y 決定 x，後者假設x 決定y 。

生成模型以「輸出序列y按照一定的規律生成輸入序列x」為假設，針對聯合分布p(x,y)進行建模，並且通過估計使生成概率最大的生成序列來獲取y。生成式模型是所有變數的全概率模型，因此可以模擬（生成）所有變數的值。在這類模型中一般都有嚴格的獨立性假設，特徵是事先給定的，並且特徵之間的關係直接體現在公式中。這類模型優點是：處理單類問題時比較靈活，模型變數之間的關係比較清楚，模型可以通過增量學習獲得，可以用於數據不完整的情況。弱點在於模型的推導和學習比較複雜。典型生成式模型：n元語法模型，HMM，樸素貝葉斯分類器、概率上下文無關文法等。

判別式模型認為y由x決定，直接對後驗概率p(y|x)進行建模，它從x中提取特徵，學習參數，使得條件概率符合一定形式的最優。優點是：處理多類問題或分辯某一類與其他類之間的差異時比較靈活，模型簡單，容易建立和學習。弱點：模型描述能力有限，變數之間的關係不清楚，而且大多數判別式模型是有監督的學習方法，不能擴展成無監督的學習方法。代表模型有：最大熵模型、條件隨機場、支持向量機、最大熵馬兒可夫模型、感知機等。

圖模型的類別大概就是以上這些，後面一系列文章將依次介紹這些圖模型。