Lagrange 是怎麼想出來Lagrange乘子法的？

01-05

我在看到的很多教材都是直接把乘數法的計算過程給出來。所以這裡總覺得理解的不好。
有什麼書里寫這個問題的嗎？

這是拉格朗日在《分析力學》（Mécanique analytique）一書中提出來的。這個思想說白了，其實是很幾何的：在局部極值點上，目標函數給出的那個曲面的梯度向量和約束條件給出曲面的梯度向量方向是相同的，而那個λ就是這兩個方向相同的梯度向量的比例。

因此，拉格朗日乘子法可以設想出很直觀的幾何圖像。你可以想一個梯度很簡單的目標函數，比如 f(x, y) = ax + by，再在紙上畫出個簡單的約束條件（比如圍繞原點畫個圓，g(x, y) = x^2 + y^2 -1 =0），然後比劃一下試試看。

如果你對現代數學有探索的願望，在學習深入後會發現拉格朗日乘子法用現代數學的語言可以很漂亮地表述出來（關鍵詞：流形、切空間）。

這是我之前給學生上tutorial的draft，本質上就是梯度要相同

【多圖預警】剛看到一個好的ppt，講的很清楚。http://www.csc.kth.se/utbildning/kth/kurser/DD3364/Lectures/KKT.pdf

在圖書館自習，正好回答一下，手機答，湊合看吧

例如，求z=f(x,y)在條件g(x,y)=c下的極大值: g(x,y)=c在三維坐標系中是這樣嬸兒的

z=f(x,y)一個與xoy面垂直的曲面而z=f(x,y)在三維坐標系裡是這樣嬸兒的 (為了好畫，真實情況可能過會複雜點)

那個限制條件g(x,y)=c是幹啥的呢?就是所有點必須在g(x,y)=c表示的這個面上活動

而所求的是z=f(x,y)的極大值，所以這個題的意思就是算同時在兩個面上的最高的那個點也就是算兩個面的交線上的最高點兩個面的交線是這樣嬸兒的:

很容易就能找到極大值點(x0,y0)

然後，你們肯定發現了，紅色的線和z=dn那條線在極值點相切相切→此處梯度平行→這個式子:

至此，條件極值轉化為L函數的沒有約束條件的極值，下面就會做z=f(x,y)

大白話民科版：極端原理。

你把目標函數和約束條件視作兩個獨立的「圖形」。

為使得問題有意義，只需要考慮圖形相交非空的情況，而極值情況是這兩個圖形「相切」（相交的極端形態）。哲學地說，相切出極值貌似很普遍（極值對應的圖形都是很特殊的形態）。

舉個例子：設目標函數為f，約束條件為g=0. 則對應的兩個「獨立圖形」分別為曲面

f=const and g=0

當常數const選擇恰當時，使得兩個圖形相切，有公共平面。切點處兩曲面法向量共線，即滿足

grad f = λ grad g -----此為拉格朗日方程也。

數學版：見卓里奇《數學分析》上卷，看看等高面那一章，有嚴格的數學證明。

An Introduction to Lagrange Multipliers by Steuard Jensen

An Introduction to Lagrange Multipliers