軟間隔SVM與表現定理（Representer Theorem）
05-09
這是對UC Berkley關於統計學習的課程CS281第22講做的筆記：
軟SVM
Hard支持向量機的表達式可以寫成
對超平面的優化問題是NP-hard的。
為了實現最小化凸函數
軟間隔可以寫成
這要求最優偏移變數滿足
軟間隔SVM的拉格朗日運算元
求偏導為零得到極值
所以，可以寫成對偶問題
C表示懲罰因子，C越大，對錯誤懲罰越大，C越小，愈加鬆弛。
如果把C換成v，引入變數
表徵離開決策邊界的距離，還是對拉格朗日因子求導，得到
所以，此新支持向量機的形式寫成
我們喚作它為v-SVM，其對偶形式就是
核邏輯回歸表現定理（Representer
Theorem）：
其優化參數，寫成如上形式，如果轉化為拉格朗日表達式
如果一個再生核，有損失函數
模型訓練，希望得到損失函數最小
假設投影到子空間
由於
得證
證明了支持向量機的垂直表達部分分量為0.
推薦閱讀：
※MATLAB 機器學習筆記--SVM
※想研究下SVM，有什麼好的文章或者經驗之談可以分享下不？
※來聊聊支持向量機
※現在還有必要對SVM深入學習嗎？