【最優化】凸函數的駐點是全局最優點
01-25
一、定理
首先我們來看定理:
設f(x): 為可微凸函數,如果 是駐點,那麼 為f的最優點(global.opt)。換句話說就是,如果函數是凸函數,那麼該函數的駐點就是全局最優點。
下面來證明一下:
要判斷一個點是全局最小值的話,比如 是全局最小值,那麼該函數的其他任意點都會比駐點的函數值大,滿足: 。
也就是說,我們來證明上面這個公式成立即可。
二、證明
由凸函數的一階特徵可得下面結論:【最優化】凸函數及它的一階特徵
其中我們將令上述的 ,又因為 是駐點,則 的一階導數為0.
則推出:
所以我們推出了對於任意的x,都滿足 ,則證明了凸函數的駐點是全局最優點
推薦閱讀:
※CTR預估[三]: Algorithm-LR and Regularization
※這些機器學習基礎,你忽略了嗎?
※關於機器學習,你必須知道的10件事情
※LR和SVM的聯繫區別
※CS231n課程筆記翻譯:神經網路筆記 2