線性代數中，特徵值與特徵向量在代數和幾何層面的實際意義是什麼？

01-06

從定義出發，Ax=cx：A為矩陣，c為特徵值，x為特徵向量。

矩陣A乘以x表示，對向量x進行一次轉換（旋轉或拉伸）（是一種線性轉換），而該轉換的效果為常數c乘以向量x（即只進行拉伸）。

我們通常求特徵值和特徵向量即為求出該矩陣能使哪些向量（當然是特徵向量）只發生拉伸，使其發生拉伸的程度如何（特徵值大小）。這樣做的意義在於，看清一個矩陣在那些方面能產生最大的效果（power），並根據所產生的每個特徵向量（一般研究特徵值最大的那幾個）進行分類討論與研究。

20171201更：

短短几句話能幫到很多人真的很開心，謝謝大家的贊，我最近也有時間更進一步地探討實踐中我對PCA方法的理解，沒有推導，大家可以放心食用：EOF/PCA的python實踐

寫另一個答案的時候恰好從幾何角度舉了個帶圖的小例子，貼過來供參考：

=======================================================

一、先從旋轉和縮放角度，理解一下特徵向量和特徵值的幾何意義

從定義來理解特徵向量的話，就是經過一個矩陣變換後，空間沿著特徵向量的方向上相當於只發生了縮放，比如我們考慮下面的矩陣：

$egin{bmatrix} 1.5 0.5\ 0.5 1.0 end{bmatrix}$

求這個變換的特徵向量和特徵值，分別是：

$U=egin{bmatrix} 0.85 -0.53\ 0.53 0.85 end{bmatrix}$ （列向量）

和

1.81，0.69

用一個形象的例子來說明一下幾何意義，我們考慮下面笑臉圖案：

為方便演示笑臉圖案在0,0和1,1圍起來的單位正方形里，同時也用兩個箭頭標出來了特徵向量的方向。經過 $egin{bmatrix} 1.5 0.5\ 0.5 1.0 end{bmatrix}$ 的變換，也就是用這個圖案中的每個點的坐標和這個矩陣做乘法，得到下面圖案：

可以看到就是沿著兩個正交的，特徵向量的方向進行了縮放。這就是特徵向量的一般的幾何理解，這個理解我們也可以分解一下，從旋轉和沿軸縮放的角度理解，分成三步：

第一步，把特徵向量所指的方向分別轉到橫軸和縱軸

這一步相當於用U的轉置，也就是 $U^{T}$ 進行了變換

第二步，然後把特徵值作為縮放倍數，構造一個縮放矩陣 $egin{bmatrix} 1.81 0\ 0 0.69 end{bmatrix}$ ，矩陣分別沿著橫軸和縱軸進行縮放：

第三步，很自然地，接下來只要把這個圖案轉回去，也就是直接乘U就可以了

所以，從旋轉和縮放的角度，一個矩陣變換就是，旋轉--&>沿坐標軸縮放--&>轉回來，的三步操作，表達如下：

$T=U Sigma U ^{T}$

多提一句，這裡給的是個(半)正定矩陣的例子，對於不鎮定的矩陣，也是能分解為，旋轉--&>沿坐標軸縮放--&>旋轉，的三步的，只不過最後一步和第一步的兩個旋轉不是轉回去的關係了，表達如下：

$T=U Sigma V^{T}$

這個就是SVD分解，就不詳細說了。

另外，這個例子是二維的，高維類似，但是形象理解需要腦補。==================================================

如果對協方差矩陣和特徵值特徵向量的關係有興趣，原答案地址：

主成分分析PCA演算法：為什麼去均值以後的高維矩陣乘以其協方差矩陣的特徵向量矩陣就是「投影」？ - 達聞西的回答

四句話解釋清楚：

線性變換使得大部分向量脫離了原先的張成空間，比如傾斜。

特徵向量指很特殊的，經線性變換後依然保留在原張成空間中的向量。

這意味著線性變換於他們的意義，只是伸縮。

伸縮比例即為特徵值，正負表達方向。

化學裡面

? 的本徵向量是軌函

? 的本徵值是能量

還沒有人寫這個網站，那我就來了。

首先設 $v$ 是一向量（如點所示）， $A$ 是有 $a_1$ ， $a_2$ 兩列的矩陣（如箭頭所示）。如果我們用 $A$ 乘 $v$ ，則 $A$ 把 $v$ 變成新向量 $Av$ （...）

如果畫一條線通過 $(0,0,0)$ ， $v$ 和 $Av$ ，則 $Av=lambda v$ ，於是稱 $lambda$ 為特徵值， $v$ 為特徵向量。

下面，改變 $a_1,a_2$ 的值，拖動 $v$ 使其成為特徵向量（也就是使 $v$ 落在紫線上）。注意到三點：第一，紫線上每一點都是特徵向量。這些點構成特徵空間，並且各有各的特徵值。第二，如果把 $v$ 放到特徵空間上（ $s_1$ 或 $s_2$ ），而特徵值小於一，則 $Av$ 比 $v$ 更接近原點。反之亦然。第三，兩個特徵空間都取決於 $A$ 的兩列，而並不是僅僅一列。

如果一直用 $A$ 乘 $v$ ，會得到序列 $v,Av,A^2v$ 等等。特徵空間會吸引這個序列（即，該序列所代表的向量會向特徵空間所在直線靠攏），而特徵值決定了序列會向0收斂還是遠處發散。所以，特徵值可以告訴我們逐漸演變的系統是如何變化的。

斐波那契數列

假設培養皿中有一些阿米巴變形蟲，每分鐘每隻成蟲會分裂出一隻幼蟲，每隻幼蟲都能長成成蟲。設 $t$ 為分鐘數，則體系方程為

$left{ egin{aligned} adults_{t+1} =adults_{t}+children_{t} \ children_{t+1} =adults_{t} \ end{aligned} ight.$

將其改為矩陣形式

$v$ 逐漸向灰線靠近

總和將是斐波那契級數：1 1 2 3 5 8 13 21 34 55 89 144 233

定態

假設每年紐約有 $p$ 比例人口移居加州，而每年加州有 $q$ 比例人口移居紐約

寫成矩陣就是

結果告訴我們，一個像 $A$ 這樣正項矩陣，且每一列和為1的，稱作Markov matrix，而且最大的特徵值總是1，也就是說存在特徵向量 $v_t$ 使得 $Av_t=lambda v_t=1 v_t=v_t$ 。在這個「定態」下，雙方移動的人口相同，雙方各自人口永遠相同。

複數特徵值

目前為止我們只看了實數特徵值。但方程 $Av=lambda v$ 的 $v$ 和 $lambda$ 並不只限於實數域。比如

這裡的 $1+i$ 就是特徵值， $(1+i)$ 就是特徵向量。如果矩陣有復特徵值，則它的序列會圍繞原點旋轉。

說個經典物理學上的意義吧

慣量矩陣和慣量主軸

久期方程和特徵頻率

我們老師一個無腦解釋。。。特徵向量可以認為是坐標軸，特徵值就是矩陣坐標。。

去看這個視頻就知道了：

線性代數的本質：第十講：特徵向量與特徵值（http://www.bilibili.com/video/av6540378/）

視頻原作者：3Blue1Brown，字幕中譯：Solara570@Bilibili

這個問題問的太大了其實，很多理工科里的一些深一點兒具體模型都與線性代數有關，其中都少不了與特徵值的聯繫。具體了解的話其實挺推薦Gilbert Strang 的教材，其作為MIT的線代教材哦，裡面很多例子和有趣的問題，都與實際問題相關。

喜歡mooc課程的話推薦清華大學的線性代數課程，主講是馬輝老師，其講的的就是Gilbert那本書的內容。手機打字就不貼鏈接了，題主自己搜搜就找到了。

希望回答對你有用～

從代數意義上說，它們的意義就是它們的定義啊，要結合具體應用，才會有更有意思的結論出現，例如：樣本的協方差矩陣的特徵向量就是樣本分布變換最劇烈的那些方向。

從幾何意義上說，如果將矩陣乘法看成一種線性變換，那麼對於一個Hermitian矩陣，這種變換可以分解為一個旋轉，一次拉伸，再一次旋轉。特徵向量控制旋轉方向，特徵值控制拉伸倍數。當然，更具有一般意義的是矩陣的奇異值分解（SVD），理解方法類似，就是控制旋轉及拉伸。推薦你看一篇矩陣理論的科普文: &

推薦：Sheldon Axler的《線性代數應該這樣學》

將矩陣投影到特徵向量後，矩陣在特徵向量方向上發生了伸縮，伸縮值就是特徵值。

矩陣特徵值概念很簡單！

任何一個線代里的向量(記為x)都有兩個基本因素：長度和方向。對一個向量進行"線性變換"，從線代的數學形式來看，就是用一個矩陣(記為A)來剩這個向量，記為Ax。

線性變換的結果，會使原來的向量在大小(長度)和方向上發生變化，向量x成向量y了，y與x之間關係的線代表達式就是y=Ax。

如果某個"線性變換"(它的線代數學表達就是矩陣A)有"特徵值"，這是啥意思？那意思是這樣的。一般而言，做了這個"線性"變換後，絕大多數向量的長度和方向都會發生變化，就是這個變換後得到的向量y與x之間方向有偏離，x與y之間有夾角了。當然，y的長度與x也可能不同了。

如果矩陣A有特徵值，那就意味著，雖然絕大部分向量在經過這個A的線型變換後會同時發生長短和方向的變化，但是會有一個或幾個向量(取決於有幾個特徵值)，在被A變換後只發生長短的變化，不發生方向的變化。變換後的向量y與原向量x之間沒有"夾角"，y與x長短或不同了，但都指向一個方向。

又因為"線性變換"是不改變向量原點的，y與x在同一原點，指向同一個方向，這就意味著y與x處在同一條直線上。而這個特徵值就是x的長度與y長度的比值。

如果A有一個特徵值，就說明對於這個線性變換，存在一個這樣特別的向量(稱為特徵向量)；如果有幾個特徵值，就意味著存在幾個這樣的特別的向量。用A來變它們，只變其長度，不變其向。量變，向不變。

這個特性的數學表達就是Ax=cx，c是一個常數。用A來變換x，結果等於用一個常數來乘x。一個常數乘一個向量，只是變了向量的個頭，方向上當然無動於衷啦。

不過，這個c還有一個特別的情況，就是它可能是負的。啥意思？這與一個數乘一個負數是一樣的，就是"調頭"了，在y=Ax=cx裡面，y與x還是在一條直線上，但是方向相反啦。從這個角度講，我們不能說變換後得到的新向量方向不變，它可能會變的，但最多只有一種變，就是反方向。要麼與原方向保持一致，要麼180°調頭。不會只轉一點點。

嚴格地講，對於一個特徵值，不是只有一個特徵向量，而是一組：所有處在同一直線上的向量(它們都是同方向的，個頭不同而已)，都是這個"特徵向量"。如果有另外一個特徵值，就是有另外一根過原點的直線，在這條線上的所有向量，經過A後，個頭上發生了以該特徵值為比例的變化，但方向不變，還在這條直線上。

如果考慮到所有與某個特徵向量同線上的向量都是特徵向量這個事實，那麼，我們與其說如果對某個有特徵值的線性變換A有對應的特徵向量，這個特徵向量在A變換下量變向不變，還不如說：在經過A變後，幾乎所有經過原點的直線都發生了偏轉，但是就有一根(一個特徵值時)，或幾根(存在幾個特徵值時)過原點的直線，經過A變後，不發生偏轉。

既然這根或這幾根直線不偏轉，那麼，原來在這些直線上的向量自然也不改方向(要改也就是反向，還是賴在原來的直線上)了。

這個有點厲害。我們知道，一個A對所有向量進行變換後，就是按一個統一的規則，把一個線性空間全整變形了。但是，如果A有特徵值，就是在這個線性空間里，硬有那麼幾根過原點的直線，無論空間變形到啥程度，這幾根線是不變的。以不變應萬變啊。

這個不變的直線，有花頭了。不過，那就是另一個故事了。

為了押韻，以下將「特徵向量」稱作「本徵矢」。

本徵矢和本徵值是用來描述一個線性變換的。

本徵矢描述了：作用該線性變換後，方向不會發生改變的方向。

本徵值描述了：上述（作用該線性變換後，方向不會發生改變的那個）方向上，向量會被拉伸/壓縮多少（可以當作縮放係數來看）。

如果

（1） V 和 W 是有限維的，並且

（2）在這些空間中有選擇好的基，

則：從 V 到 W 的所有線性變換可以被表示為矩陣。

一定條件下（如其矩陣形式為實對稱矩陣的線性變換），本徵矢和本徵值可以完全表述一個線性變換。

補充：@Rex前輩的答案中最後一段非常好，表述了我們研究這兩個概念的目的和意義。

@趙大賤的老師形象地描述了這兩個概念，側重於「縮放係數」的感覺。

特徵值和特徵向量的幾何和物理意義

「非常簡單，就是尋找一個正交系去表示你原來的函數，特徵向量就是新的正交系的坐標軸，特徵值就是坐標軸對應的坐標。」引用另一個問題里回答，我覺得很形象

或許維基上（Eigenvalues and eigenvectors）可以了解點。

課本上從來都是數學定義，從來不講幾何或物理含義，只能讓人死記怎麼求！

定義上就不去回答了，從相似對角化的過程來看，一個矩陣能分解成正交變換，伸縮，，逆變換，對向量三個作用的結果，其本質上藉助特徵向量和特徵值來分解一個矩陣的變換，重點還是一個矩陣，特徵向量和特徵值只是一種手段。從主成分分析來看則是利用協方差矩陣求解出特徵向量，在最大特徵值對應的特徵向量協方差剛好最大，然後一頓推導即可證明，最大的方向協方差最大，過程上就是利用一個矩陣來得到特徵向量，然後利用一組特徵特徵向量作為變換矩陣對目標進行線性變換，重點是利用特徵向量進行變換。從線性系統來看，一個矩陣特徵向量和特徵值是矩陣的譜，多次矩陣作用後，只有特徵向量方向才最為突出，本質上需要多次作用，重點是多次矩陣相乘，特徵向量方向是最終的結果方向。把這三種現象串起來一起說就是在說關羽，秦瓊，戚繼光和我在一起打麻將，而我打了一個炸彈。反正我不會打麻將，我就是來耍流氓，胡說八道的。

矩陣的幾何意義是對向量空間的線性操作。特徵向量的幾何意義是在某個矩陣對應的操作中，如果存在某些個特殊的向量，他們在空間被操作後，仍舊處在原向量所張成的空間（直線）上，即，沒有發生旋轉，只發生了伸長或縮短，這樣的向量就是特徵向量，伸長或縮短的比例就是特徵值，正負代表了與原向量方向是否一致。

他們的意義就在於，通過改變參考系，可以更直觀方便的跟蹤整個線性變換過程。另外，在矩陣的運算中，也可以通過從標準基變換到由特徵向量組成的特徵基，完成線性變換（矩陣計算）後再轉回標準基的方法，非常便捷的計算矩陣的多次冪問題。

The basic reason why a system of linear (algebraic or differential) equations presents some difficulty is that the equations are usually coupled. In other words, some or all of the equations involve more than one—typically all—of the unknown variables. Hence the equations in the system must be solved simultaneously. In contrast, if each equation involves only a single variable, then each equation can be solved independently of all the others, which is a much easier task.This observation suggests that one way to solve a system of equations might be by transforming it into an equivalent uncoupled system in which each equation contains only one unknown variable. This corresponds to transforming the coefficient matrix A into a diagonal matrix. Eigenvectors are useful in accomplishing such a transformation.
—— Boyce, Elementary Differential Equations and Boundary Value Problems, 10th edition

翻譯能力較差，於是放了原文。大意是，特徵值和特徵向量可以將「糅合」了許多未知數的方程組分解成「單因子」未知數方程組來求解。

另外還得謝謝之前回答里「批判」我用eigenvector不用「特徵向量」的某人:)

理解上是個變換，從一組基到另一組基的表示。