（No.35）SVM（支持向量機）--知識串聯

05-16

1 最大化分隔的直觀解釋和統計支持。

（遠離敏感點，結構風險最小化（SRM），最大間隔分離超平面的存在具有唯一性）

2 目標的設定。

3 在數學上的表達

4 轉換問題為二次凸優化。

（滿足KKT條件，拉格朗日法，對偶問題）

得到目標：（在導數為0，或約束邊緣上取得極值）

5 加入鬆弛係數，滿足邊緣附件不好區分點的分類。

6 加入核函數

（低維--->高維，線性不可分-->線性可分）

7 常見核函數

（RBF可映射到無窮維，映射能力很強）

8 核函數對比

9 核函數選取經驗

下面是吳恩達的見解：
1. 如果Feature的數量很大，跟樣本數量差不多，這時候選用LR或者是Linear Kernel的SVM。
2. 如果Feature的數量比較小，樣本數量一般，不算大也不算小，選用SVM + Gaussian Kernel。
3. 如果Feature的數量比較小，而樣本數量很多，需要手工添加一些feature變成第一種情況。

10 一些參考資料：

1《統計學習方法》李航[著]
2 https://blog.csdn.net/macyang/article/details/38782399
支持向量機通俗導論（理解SVM的三層境界）。
3 https://www.zhihu.com/question/58584814
拉格朗日對偶性的理解。
4 https://www.cnblogs.com/JustForCS/p/5251657.html
對偶問題的詳細解讀。

5 https://zh.wikipedia.org/wiki/%E6%8B%89%E6%A0%BC%E6%9C%97%E6%97%A5%E4%B9%98%E6%95%B0
拉格朗日乘數-維基百科
6 https://blog.csdn.net/philthinker/article/details/78510361
約束問題&凸二次規劃
7 https://zh.wikipedia.org/wiki/卡羅需－庫恩－塔克條件
KKT條件（非線性規劃問題能有最優化解法的一個必要和充分條件）
8 http://bytesizebio.net/2014/02/05/support-vector-machines-explained-well/
圖示和視頻演示比較不錯。
9 https://v.qq.com/x/page/k05170ntgzc.html
空間轉換後變得線性可分的視頻演示。

10 https://v.qq.com/x/cover/m05175nci67/m05175nci67.html
svm是如何工作的，視頻講解推導、原理。
11 http://www.cnblogs.com/daniel-D/p/3237468.html
svm的推導過程。
12 https://blog.csdn.net/szlcw1/article/details/52259668
svm常見問題，可以輔助理解。
13 https://www.zhihu.com/question/21883548
svm核函數選取的討論。
14 https://www.zhihu.com/question/30371867
15 https://www.zhihu.com/question/24627666

16 https://zhuanlan.zhihu.com/p/29347604
核函數的說明
17 https://blog.csdn.net/wsj998689aa/article/details/47027365
18 https://blog.csdn.net/batuwuhanpei/article/details/52354822
常見核函數匯總