SVM—線性支持向量機—二類分類模型

02-03

我連論文都不改

在這裡寫文章

（好吧，我承認只是單純的不想改）

然鵝

並沒啥子人看

我提摸的很難過

可能要去寫

情感類的文章了

SVM

支持向量機(Support Vector Machine，SVM)是常見的一種判別方法。在機器學習領域，是一個有監督的學習模型，通常用來進行模式識別、分類以及回歸分析。

線性二類分類模型

「SVM」既可「分類」又能「預測」，實乃吾輩居家旅行，行走江湖，湖光山色...（神經病啊你）必備之類利器。

這個 title 是SVM的一個分支，聞弦歌而知雅意，今天聊得是分類器，而且是分類器里很簡單的線性二分類（就是把兩個A和B分開），很基礎，很簡單，想這個標題很費腦。

內心OS：我很想把寫過的課程論文直接截圖啊喂！還有這裡的OS是指「Overlapping Sound」不是「Operating System」。

超平面

一個超簡單的平面：自由度比空間維度小1，即比所在維度低一維的空間就稱為高緯度的超平面。

怎麼理解自由度呢？你這麼想啊，你在三維空間裡面是不是可以畫零維的點，一維的線，二維的面，還可以做出任意的三維形狀（這裡你是神好不啦，畫的點是質點，先是直線，面是平面），但如果你在二維空間里（一個只有長寬沒有高低的世界），你怎麼搞三維？是不是不自由？憋屈不？

也就是三維空間內的超平面就的二維空間（其實要大於三維才會存在超平面這個概念，這裡出現是為了方便理解），向上推一下，四維空間的超平面就是三維空間咯（ $n$ 維空間的超平面就是n-1維）。需要指出的是，這裡的維度都是數學上定義的，下面給出超平面的表達式： $a^{T}x+b=0$

上式中的 $a=(a_{1},a_{2},···,a_{n})^{T}$ ， $x=(x_{1},x_{2},···,x_{n})^{T}$

$a$ 和 $x$ 都是 $n$ 維列向量， $x$ 為平面上的點的集合， $a$ 為平面上的法向量，決定了超平面的方向， $b$ 是一個實數，代表超平面到原點的距離。

如果在二維空間（再次聲明要大於三維才會存在超平面這個概念），那麼超平面就是一維直線，也就是一元一次函數 $ax+b=0$ ，下圖中 $b=0$ ，是不是就像是斜著切了一刀。

為什麼 $a$ 要決定了超平面的方向，因為二類分類模型就是把待分類目標分成兩類嘛，當考慮線性可分的情況，給定有 $l$ 個樣本 $left{ {x_i,y_i} right}_{i=1}^{l}$ 的訓練集合,其中，第 $i$ 個輸出數據 $y_{i}in left{ {+1,-1} right}$ 是類標（假設輸入任意一張貓或者狗的圖片 $x_i$ ,對應的輸出 $y_i=1$ 或者 $y_i=-1$ 就表示著這個分類器給出的結果）。定義判別函數 $f(x)=a^{T}x+b=0$ 這個判別函數是 $n$ 維矢量空間中的一個超平面，簡稱為分界面。為了使超平面能將 $y_i=1$ 和 $y_i=-1$ 的兩類樣本正確區分，應選擇適當的 $a,b$ 使樣本 $x_i$ 滿足條件

若 $y=+1$ ，則 $f(x)=a^{T}x+bgeq1$

若 $y=-1$ ,則 $f(x)=a^{T}x+bleq-1$

PS：網上找的圖，把 $w$ 換成 $a$ 就好了

$a$ 作為超平面法向量其實就是規定了一個正負。

現在知道什麼是超平面，什麼是二類分類模型了吧（吧啦叭叭叭）。

到底什麼是Support Vector

繼續看這張網上找來的圖，藍點所在虛線 $f(x)=a^{T}x+b=-1$ ，其更左的藍點（藍點為輸出數據 $y_i=-1$ 的點）全都符合 $f(x)=a^{T}x+bleq-1$ ，紅點所在虛線 $f(x)=a^{T}x+b=1$ ，其更右的紅點（紅點為輸出數據 $y_i=+1$ 的點）全都符合 $f(x)=a^{T}x+bgeq1$ ，醬紫是不是就完全把兩個類別清清楚楚的分開了（su服），在 $f(x)=a^{T}x+b=-1$ 和 $f(x)=a^{T}x+bleq-1$ 上的點就是傳說中的SVM啦。

又被兒子們連哄帶騙的忽悠出去玩了半天

所以我打算過兩天再寫

再深入的講一講

geometrical margin

Functional margin

······