你說說為什麼SVM泛化能力好呢？

01-27

說起來LSVM的泛化能力比較好，這裡只討論LSVM，主要還是它建模的時候是對結構化風險建模的，這點相比於其它的一些演算法只對經驗風險最小化建模來說是有優勢的。這裡不提正則，只考慮簡單的模型。加了正則之後肯定模型都會有減少過擬合，增強泛化能力的表現了。

在李航博士的書中有介紹過這個東東，對於LSVM的original問題的表達形式如下： $[begin{array}{l} {min _{w,b,xi }} = frac{1}{2}{left| w right|^2} + Csumlimits_{i = 1}^N {{xi _i}} ;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;(1) s.t.;;;;;;;;;;;{y_i}(w{x_i} + b) ge 1 - {xi _i},;;;i = 1,2, cdots ,N;;;;;(2) ;;;;;;;;;;;;;;{xi _i} ge 0,;;;i = 1,2, cdots ,N;;;;;;;;;;;;;;;;;;;;;;;;(3) end{array}]$

其實，上面的這三個小等式可以由下面的一個式子來表示，那這個式子是什麼呢，應該猜到就是把（2）（3）合併到（1）中，這個式子是

$[begin{array}{l} {min _{w,b}} = frac{1}{2}{left| w right|^2} + Csumlimits_{i = 1}^N {[1 - {y_i}(w{x_i} + b)]} {;_ + };;;;;;;;(4); ;;;;;;;;;; = frac{1}{2}{left| w right|^2} +C sumlimits_{i = 1}^N {[xi ]} {;_ + };; end{array}]$

尾部的+號表示的意思是這個是一個合頁損失函數，如下所示

$[{[z]_ + } = left{ begin{array}{l} z,;;z > 0 0,;;z le 0 end{array} right.]$

可以從公式4中看到，這就是一個加了正則化的合頁損失函數的形式

筆者這裡簡化了一下東西，具體可以參考李航博士的《統計學習方法》

李航《統計學習方法》P114
為什麼svm不會過擬合？ SVM理解 - CSDN博客

筆者只是一些問題的搬運工，具體需要對問題進行深入的小夥伴還望自己閱讀相關文獻，這裡只是提出一些問題，以便於面試時問到，如果內容有一些錯誤，還望批評指正！