標籤:

利普希茨連續的幾何意義是什麼?怎麼較好的理解它呢?

優化問題常用到利普希茨連續條件,但是自己一直不能理解它,生搬用套的搬定義公式很傷啊。


以陸地為例。

島嶼:不連續

一般陸地:連續

丘陵:李普希茲連續

懸崖:非李普希茲連續

山包:可導

平原:線性

半島:非凸

想了半天用什麼來表達亞連續(semi-continuity),好像只能用瀑布了

===

稍微具體點的話,李普希茲連續就是說,一塊地不僅沒有河流什麼的玩意兒阻隔,而且這塊地上沒有特別陡的坡。其中最陡的地方有多陡呢?這就是所謂的李普希茲常數。

懸崖的出現導致最陡的地方有「無窮陡」,所以不是李普希茲連續。


維基百科上的圖。

Photo Credit: Army1987 at en.wikipedia [GFDL (GNU Free Documentation License v1.3
- GNU Project) or CC BY-SA 3.0 (Creative Commons)], via Wikimedia Commons


Lipschitz連續蘊涵絕對連續,絕對連續蘊涵一致連續。函數一致連續_絕對連續_李普希茲連續的統一定義_圖文_百度文庫。所以總體來說,Lipschitz連續的函數是比連續函數較更加「光滑」,但不一定是處處光滑的,比如|x|.但不光滑的點不多,放在一起是一個零測集,所以他是幾乎處處的光滑的。

定義:Lipschitz連續,要求函數圖像的曲線上任意兩點連線的斜率一致有界,就是任意的斜率都小於同一個常數,這個常數就是Lipschitz常數。

  • 從局部看:我們可以取兩個充分接近的點,如果這個時候斜率的極限存在的話,這個斜率的極限就是這個點的導數。也就是說函數可導,又是Lipschitz連續,那麼導數有界。反過來,如果可導函數,導數有界,可以推出函數Lipschitz連續。

  • 從整體看:Lipschitz連續要求函數在無限的區間上不能有超過線性的增長,所以x^2,e^x這些函數在無限區間上不是Lipschitz連續的。


利普希茨連續不就是函數上任意兩點連線的斜率是有界的嗎?也就是斜率不能無窮大。考慮f(x) = sqrt{x} 這個函數雖然在[0,+infty )上一致連續,但是兩點間斜率可以無限大,因此不是利普希茨連續。


Lipschitz用公式來描述如下:

||
abla f(x) - 
abla f(y)|| leq L || x - y||,~~~x,yin R^n

可以描述為:函數 f(x) 二次可微,且Hessian矩陣在 R^n 上有界。


題外話

Lipschitz連續對分析複雜函數非常有用,因為它可以近似將優化複雜函數的問題,轉化為二次規劃問題。

如果我們有 
abla f 是Lipschitz連續的,則對於任意的 x,y 我們肯定有 f(y) leq f(x) + 
abla f(x)^T (y-x) + frac{L}{2}||y-x||_2^2

其中 L 為Lipschitz常數。即,可以將優化複雜的函數 f(y) 等價地優化它的上界。


推薦閱讀:

運籌學與最優化有什麼關係?
如何理解分形的維度?
Fokker-Planck方程具體如何刻畫SDE的?
生男生女概率各50%,每個家庭都生到第二個男孩就不再生,那麼產生的男女比例是多少?

TAG:數學 | 最優化 |