標籤:

[貝葉斯三]之決策函數和決策面

<個人網頁blog已經上線,一大波乾貨即將來襲:faiculty.com/>

/* 版權聲明:公開學習資源,只供線上學習,不可轉載,如需轉載請聯繫本人 .*/


一、決策面(Decision Surfaces)

1.1 概念

如果輸入的數據是一個L維空間特徵,考慮一個M分類問題,那麼分類器將會把這個L維空間的特徵點分為M個區域。每個區域顯然就屬於一個類別,如果輸入一個點x落在第i個區域,那麼x就屬於第i類。分割成這些區域的邊界就稱為決策面

1.2 例子

下面是一個簡答的例子:

輸入是一維,決策函數是p(x|w),將兩個類別的函數取值畫出(如圖的高斯函數圖形)。如圖虛線部分就是決策面(該決策面其實就是一個點x_0),點的左邊因為w_1函數值大,所以判定為第一類。

1.3 數學化

對於兩個相鄰的區域R_iR_j來說,如果輸入樣本x,我們分別計算該樣本屬於第i的概率P(w_i|x)和第j類的概率P(w_j|x),並定義函數g(x)=P(w_i|x)- P(w_j|x), 那麼此時g(x)有如下三種情況。

g(x) = 0就是分割 區域R_iR_j的決策面。

二、判決函數

如果f函數是單調遞增函數,那麼判決函數可以定義為如下:g_i (x)=f(p(w_i |x))決策規則和之前所闡述的一致。if quad g_i (x)> g_j (x), forall  i≠j 
ightarrow x in w_i

常用的判決函數有如下幾種。

egin{align} g_i(x) &= p(w_i|x)\ g_i(x) &= p(x|w_i)p(w_i)\ g_i(x) &= ln  p(x|w_i) + ln  p(w_i)\ g_i(x) &= f(p(x|w_i)) + h(x) end{align}

三、小節

  • 1維特徵空間:決策面是一個點
  • 2維特徵空間:決策面是一條線
  • 3維特徵空間:決策面是超平面(Hyperplane)
  • 決策區域是由決策面決定的

推薦閱讀:

Cousera deeplearning.ai筆記 — 淺層神經網路(Shallow neural network)
深入機器學習系列21-最大熵模型
機器學習-變數離散之MDLP-20180217
機器學習演算法簡介
機器學習入門之邏輯回歸分類

TAG:機器學習 |