怎麼樣理解SVM中的hinge-loss？

01-15

看圖

Hinge Loss

from PRML

The Hinge Loss E(z) = max(0,1-z) is plotted in blue,

the Log Loss in red,

the Square Loss in green and the misclassification error in black.

初次答題。

---

1. 實現了軟間隔分類（這個Loss函數都可以做到）

2. 保持了支持向量機解的稀疏性

換用其他的Loss函數的話，SVM就不再是SVM了。

正是因為HingeLoss的零區域對應的正是非支持向量的普通樣本，從而所有的普通樣本都不參與最終超平面的決定，這才是支持向量機最大的優勢所在，對訓練樣本數目的依賴大大減少，而且提高了訓練效率。

謝謝！我嘗試把我自己理解的過程告訴樓主，理解這個問題先要弄懂硬間隔和軟間隔 兩個概念。

對於正類WT*X+b&>=1，對於負類WT*X+b&<=-1，這兩個式子可以寫成一個yi*(WT*X+b)&>=1，如果是軟間隔，則允許有少數點不滿足這個條件，那麼總有一些點yi*(WT*X+b)-1&<0，當然我們希望這樣的點越少越好，那麼在最小化目標函數1/2 ||W||**2的時候，加入這樣一個正則化項，使用0/1損失函數（這個函數性質不好，實際使用的時候用hinge、指數、對率損失函數），這裡就解答了樓主的問題，你還可以使用其他的函數，如果能比較好的傾向01損失函數的樣子都可以用。

具體樓主可以參考周志華老師的機器學習一書，第6章講的很清楚。

我說一個前面沒提到的，李航老師在他的《統計學習基礎》中有提到， hinge 的中文意思是「合頁」，就是圖中這個東西，hinge 損失的函數圖像長得像它。

要結合SVM的間隔來理解。Hinge-loss的公式中的 $Delta$ 可以認為是間隔， $s_j - s_y + Delta < 0$ ，（想像下圖y=wx+b的分割線左側）就認為不屬於同種分類，那麼不必理會，對Loss無貢獻。如果屬於同種分類，就對Loss有貢獻，要把偏差大的拉回來。