標籤:

kkt 條件

上周我們介紹了等式約束條件下的極值問題,運用的是拉格朗日乘子法

這周我們來介紹不等式約束條件下的極值問題,也即kkt條件

考慮frac{y}{x^{2}+bx+1 } ,在 frac{x^{2} }{4} +frac{y^{2} }{2} leq 1的條件下的極大值

case1: 如果frac{y}{x^{2}+bx+1 } 的極大值在frac{x^{2} }{4}+frac{y^{2} }{2} leq 1的內部的話,約束條件和等高線如下圖

此時的約束條件實際不起作用,也即直接求max frac{y}{x^{2}+bx+1}  ,等價於max frac{y}{x^{2}+bx+1 } +lambda (frac{x^{2} }{4} +frac{y^{2} }{2} -1), 其中lambda =0

case2: 如果frac{y}{ x^{2}+bx+1}的極大值在frac{x^{2} }{4} +frac{y^{2} }{2} leq 1的外部的話,約束條件和等高線如下圖

此時,相切的時候取得最大值,即紅線取最大值

此時就變成了等式約束條件,frac{y}{x^{2}+bx+c } subject to frac{x^{2} }{4} +frac{y^{2} }{2} =1,就是我們上周介紹的內容,即 max frac{y}{ x^{2} +bx+1}+lambda (frac{x^{2} }{4} +frac{y^{2} }{2} -1),其中 frac{x^{2} }{4} +frac{y^{2} }{2} -1=0,lambda >0

將case1和case2合在一起,用一個統一的數學公式來描述

max frac{y}{x^{2}+bx+1} subject to frac{x^{2} }{4} +frac{y^{2} }{2} leq 1

等價於max frac{y}{x^{2} +bx+1}+lambda (frac{x^{2} }{4} +frac{y^{2} }{2} -1) ,其中 lambda geq 0,lambda (frac{x^{2} }{4} +frac{x^{2} }{2} -1)=0

所以kkt 條件沒什麼神秘的,只是兩種case的數學統一表達而已

下周我們介紹對偶問題

推薦閱讀:

我所理解的 SVM(支持向量機)- 1
支持向量機技術在搜索引擎中的地位重要嗎?應用廣泛嗎?
機器學習演算法實踐-SVM核函數和軟間隔
為什麼svm不會過擬合?
支持向量機(SVM)是否適合大規模數據?

TAG:SVM |