導數、偏導、次梯度關係
導數(Derivative)
導數一般針對一維情況。對於多維,一般是指方嚮導數、偏導數(沿某個方向)或梯度。梯度為變化最大的方嚮導數。
是微積分中的重要基礎概念。當函數 的自變數X在一點 上產生一個增量 時,函數輸出值的增量 與自變數增量 的比值在 趨於0時的極限 如果存在, 即為在 處的導數,記作 或 。
如果一個函數在 處可導,那麼它一定在 處是連續函數。函數可導定義:
- 設 在 及其附近有定義,則當 趨向於0時, 若 的極限存在, 則稱 在 處可導。
- 若對於區間 上任意一點 均可導,則稱 在 上可導。
偏導數(partial derivative)
設有二元函數 ,點 是其定義域 內一點。把 固定在 而讓 在 有增量 ,相應地函數 有增量 。(稱為對 的偏增量) 。如果 與 之比,當 時的極限存在,那麼此極限值稱為函數 在 處對 的偏導數。記作 。
導數和偏導沒有本質區別,都是當自變數的變化量趨於0時,函數值的變化量與自變數變化量比值的極限。
- 一元函數,一個 對應一個 ,導數只有一個。
- 二元函數,,一個 對應一個 和一個 ,那就有兩個導數了,一個是 對 的導數,一個是 對 的導數,稱之為偏導。
梯度、全微分、法向量
梯度與曲線的切向量垂直,即梯度方向是法向量方向。討論梯度與切向量、法向量的關係時,切法向量均是對曲線來說的,而不是整個曲面的法向量。因為梯度的維度比曲線的維度低,這是需要記住的。
設 ,首先三維中梯度的定義是 = ,它是一個向量。梯度是變化最大的一個方嚮導數,可以稱梯度為最大方嚮導數。
全微分 ,是用坐標的微小增量 、 、 表示函數 的增量,是一個表達式,和矢量無關,也和切線無關。
下面來說明梯度為什麼和切向量垂直。
設曲線 , , 是曲面 上的一條曲線( 為常數, 表示等值面),由於該曲線在曲面上,所以 , , 滿足方程 ,即 ,利用複合函數求導法則,方程兩邊同時對t求導數,得(eu/ex)*x『(t)+(eu/ey)*y『(t)+(eu/ez)*z『(t)=0,所以向量 與向量 垂直。而向量(x(t),y(t),z(t))表示曲線的切向量,向量(eu/ex,eu/ey,eu/ez)表示梯度,所以梯度和切向量垂直。
次梯度
外法向量和內法向量
外法線指向曲面外側,內法線指向內側。所以考慮切點P處的法線,可以在曲面內側取一點Q,那麼,如果法線方向和向量PQ的夾角大於90°,可以判定其為外法線,反之為內法線。當然,也可以取曲面區域外側的點進行判斷,道理一樣。
max 和 sup
一個集合的上確界sup和最大值max是兩個不同的概念,區別在於任意一個有界實數集一定存在上確界sup(確界原理),但是不一定存在最大值max。但是如果存在最大值max,一定等於上確界sup。
例如集合(0,1),它的上確界sup是1,但是不存在最大值max。 也就是說,如果你不知道一個集合是否能取到最大值,那就不要用max,用sup即可,sup是萬能的。
推薦閱讀:
※機器學習筆記005 | 更加接近現實情況的預測
※機器學習篇-評估機器學習的模型
※機器學習不僅僅是模型
※機器學習導論——Day6、7
※機器學習-變數離散之MDLP-20180217
TAG:機器學習 |