利普希茨連續的幾何意義是什麼?怎麼較好的理解它呢?
01-21
優化問題常用到利普希茨連續條件,但是自己一直不能理解它,生搬用套的搬定義公式很傷啊。
以陸地為例。
島嶼:不連續一般陸地:連續
丘陵:李普希茲連續懸崖:非李普希茲連續山包:可導平原:線性
半島:非凸想了半天用什麼來表達亞連續(semi-continuity),好像只能用瀑布了
===
稍微具體點的話,李普希茲連續就是說,一塊地不僅沒有河流什麼的玩意兒阻隔,而且這塊地上沒有特別陡的坡。其中最陡的地方有多陡呢?這就是所謂的李普希茲常數。懸崖的出現導致最陡的地方有「無窮陡」,所以不是李普希茲連續。
維基百科上的圖。
Photo Credit: Army1987 at en.wikipedia [GFDL (GNU Free Documentation License v1.3- GNU Project) or CC BY-SA 3.0 (Creative Commons)], via Wikimedia Commons
Lipschitz連續蘊涵絕對連續,絕對連續蘊涵一致連續。函數一致連續_絕對連續_李普希茲連續的統一定義_圖文_百度文庫。所以總體來說,Lipschitz連續的函數是比連續函數較更加「光滑」,但不一定是處處光滑的,比如.但不光滑的點不多,放在一起是一個零測集,所以他是幾乎處處的光滑的。
定義:Lipschitz連續,要求函數圖像的曲線上任意兩點連線的斜率一致有界,就是任意的斜率都小於同一個常數,這個常數就是Lipschitz常數。
- 從局部看:我們可以取兩個充分接近的點,如果這個時候斜率的極限存在的話,這個斜率的極限就是這個點的導數。也就是說函數可導,又是Lipschitz連續,那麼導數有界。反過來,如果可導函數,導數有界,可以推出函數Lipschitz連續。
- 從整體看:Lipschitz連續要求函數在無限的區間上不能有超過線性的增長,所以這些函數在無限區間上不是Lipschitz連續的。
利普希茨連續不就是函數上任意兩點連線的斜率是有界的嗎?也就是斜率不能無窮大。考慮這個函數雖然在上一致連續,但是兩點間斜率可以無限大,因此不是利普希茨連續。
Lipschitz用公式來描述如下:
可以描述為:函數 二次可微,且Hessian矩陣在 上有界。
題外話
Lipschitz連續對分析複雜函數非常有用,因為它可以近似將優化複雜函數的問題,轉化為二次規劃問題。
如果我們有 是Lipschitz連續的,則對於任意的 我們肯定有
其中 為Lipschitz常數。即,可以將優化複雜的函數 等價地優化它的上界。
推薦閱讀:
※運籌學與最優化有什麼關係?
※如何理解分形的維度?
※Fokker-Planck方程具體如何刻畫SDE的?
※生男生女概率各50%,每個家庭都生到第二個男孩就不再生,那麼產生的男女比例是多少?