為什麼梯度的方向與等高線切線方向垂直？

在三維曲面上的梯度更新過程中，很多地方出現梯度的下降方向是如下這樣走的：

圖片來源於百度百科

從圖上能夠看出，也經常聽老師同學說起，梯度下降的方向與等高線的切線方向垂直。

那麼為什麼會垂直呢？其實是一個高數問題。

解釋

假設我們的損失函數為z=f(x,y)，在幾何上表示是一個曲面，該曲面被平面c（c為常數）所截得的曲線l方程為：

這條曲線l在xoy軸面上的投影是一條平面曲線Q，它在x0y平面直角坐標系中的方程為

則我們稱平面曲線Q為函數z=f(x,y)的等高線。

由於等高線f(x,y)=c上任一一點的切線斜率為dy/dx來求。

則等高線f(x,y)=c上任一一點(x,y)處的法線的斜率為：

又因為梯度的計算式子為：

則可以得到梯度的方向為：

從上可以看出梯度的方法與等高線f(x,y)=c上任一一點的法線斜率是相同的。

這也就解釋了為什麼梯度的方向與等高線切線方向垂直的原因。結論如下：

函數z=f(x,y)在點p(x,y)的梯度的方向與過點p的等高線f(x,y)=c在這點的法線一個方向相同。梯度的方向與等高線切線方向垂直

致謝：

懷鵬師兄、澔洋、朱博、陳博