【最優化】凸函數的駐點是全局最優點

一、定理

首先我們來看定理:

設f(x): R^n
ightarrow R 為可微凸函數,如果 x^astin R是駐點,那麼 x^ast 為f的最優點(global.opt)。

換句話說就是,如果函數是凸函數,那麼該函數的駐點就是全局最優點。

下面來證明一下:

要判斷一個點是全局最小值的話,比如 x^ast 是全局最小值,那麼該函數的其他任意點都會比駐點的函數值大,滿足: forall x ,f(x)geq f(x^ast)

也就是說,我們來證明上面這個公式成立即可。

二、證明

由凸函數的一階特徵可得下面結論:【最優化】凸函數及它的一階特徵

其中我們將令上述的 y=x,x=x^ast ,又因為 x^ast 是駐點,則 x^ast 的一階導數為0.

則推出:

所以我們推出了對於任意的x,都滿足 forall x ,f(x)geq f(x^ast)則證明了凸函數的駐點是全局最優點

推薦閱讀:

CTR預估[三]: Algorithm-LR and Regularization
這些機器學習基礎,你忽略了嗎?
關於機器學習,你必須知道的10件事情
LR和SVM的聯繫區別
CS231n課程筆記翻譯:神經網路筆記 2

TAG:最优化 | 凸优化 | 机器学习 |