標籤:

導數、偏導、次梯度關係

導數(Derivative)

導數一般針對一維情況。對於多維,一般是指方嚮導數、偏導數(沿某個方向)或梯度。梯度為變化最大的方嚮導數。

是微積分中的重要基礎概念。當函數 f(x) 的自變數X在一點 x_0 上產生一個增量 Delta x 時,函數輸出值的增量 Delta y 與自變數增量 Delta x 的比值在 Delta x 趨於0時的極限 a 如果存在, a 即為在 x_0 處的導數,記作 f(x_0)a=df/dx_0

如果一個函數在 x_0 處可導,那麼它一定在 x_0 處是連續函數。函數可導定義:

  1. f(x)x_0 及其附近有定義,則當 a 趨向於0時, 若 [f(x_0+a)-f(x_0)]/a 的極限存在, 則稱 f(x)x_0 處可導。
  2. 若對於區間 (a,b) 上任意一點 (m,f(m)) 均可導,則稱 f(x)(a, b) 上可導。

偏導數(partial derivative)

設有二元函數 z=f(x,y) ,點 (x_0,y_0) 是其定義域 mathcal{D} 內一點。把 y 固定在 y_0 而讓 xx_0 有增量 Delta x ,相應地函數 z=f(x,y) 有增量Delta z=f(x_0+Delta x,y_0) - f(x_0,y_0) 。(稱為對 x 的偏增量) 。如果 Delta zDelta x 之比,當 Delta x 
ightarrow 0 時的極限存在,那麼此極限值稱為函數 z=f(x,y)(x_0,y_0) 處對 x 的偏導數。記作 f_x(x_0,y_0)

導數和偏導沒有本質區別,都是當自變數的變化量趨於0時,函數值的變化量與自變數變化量比值的極限。

  • 一元函數,一個 f(x) 對應一個 x ,導數只有一個。
  • 二元函數,,一個 f(x,y) 對應一個 x 和一個 y ,那就有兩個導數了,一個是 f(x,y)x 的導數,一個是 f(x,y)y 的導數,稱之為偏導。

梯度、全微分、法向量

梯度與曲線的切向量垂直,即梯度方向是法向量方向。討論梯度與切向量、法向量的關係時,切法向量均是對曲線來說的,而不是整個曲面的法向量。因為梯度的維度比曲線的維度低,這是需要記住的。

u=u(x,y,z) ,首先三維中梯度的定義是 
abla u = ieu/ex+jeu/ey+keu/ez它是一個向量。梯度是變化最大的一個方嚮導數,可以稱梯度為最大方嚮導數

全微分 du=(eu/ex)dx+(eu/ey)dy+(eu/ez)dz ,是用坐標的微小增量 dxdydz 表示函數 u 的增量,是一個表達式,和矢量無關,也和切線無關。

下面來說明梯度為什麼和切向量垂直

設曲線 x=x(t)y=y(t)z=z(t) 是曲面 u(x,y,z)=c 上的一條曲線( c 為常數, u(x,y,z)=c 表示等值面),由於該曲線在曲面上,所以 x=x(t)y=y(t)z=z(t) 滿足方程 u(x,y,z)=c ,即 u(x(t),y(t),z(t))=c ,利用複合函數求導法則,方程兩邊同時對t求導數,得(eu/ex)*x『(t)+(eu/ey)*y『(t)+(eu/ez)*z『(t)=0,所以向量 (x(t),y(t),z(t)) 與向量 (eu/ex,eu/ey,eu/ez) 垂直。而向量(x(t),y(t),z(t))表示曲線的切向量,向量(eu/ex,eu/ey,eu/ez)表示梯度,所以梯度和切向量垂直。


次梯度

外法向量和內法向量

外法線指向曲面外側,內法線指向內側。所以考慮切點P處的法線,可以在曲面內側取一點Q,那麼,如果法線方向和向量PQ的夾角大於90°,可以判定其為外法線,反之為內法線。當然,也可以取曲面區域外側的點進行判斷,道理一樣。

max 和 sup

一個集合的上確界sup和最大值max是兩個不同的概念,區別在於任意一個有界實數集一定存在上確界sup(確界原理),但是不一定存在最大值max。但是如果存在最大值max,一定等於上確界sup。

例如集合(0,1),它的上確界sup是1,但是不存在最大值max。 也就是說,如果你不知道一個集合是否能取到最大值,那就不要用max,用sup即可,sup是萬能的。

推薦閱讀:

機器學習筆記005 | 更加接近現實情況的預測
機器學習篇-評估機器學習的模型
機器學習不僅僅是模型
機器學習導論——Day6、7
機器學習-變數離散之MDLP-20180217

TAG:機器學習 |