線性代數的形象理解

04-09

這是一個系列視頻的觀後感+筆記+自己的理解

視頻原作者：3Blue1Brown（可汗學院的一位教師），字幕中譯：Solara570@Bilibili

矩陣就是線性變換

行列式

對於二位矩陣的行列式就是變換之後面積的變化，正負是取向

對於三維則是指體積

逆矩陣

所以，若行列式為0，則說明至少降了一個維度，體積（面積）為0了。因為這時的線性變換把若干個基相量變換到同一個方向上去了。

於是，只要行列式不為0，則說明沒有降維，那麼就是可以逆的變換。

秩

那麼降維，降到什麼程度呢？這就引出來另外一個秩，rank。

三維的空間的可逆的線性變換，則代表這個變換的矩陣的秩應該是3的，如果線性變換降維了，降到了2維，相當於將原來的空間壓縮到了一個平面上，這個線性變換代表的矩陣的秩就是2，如果是直線，那就是壓縮到了直線上，那秩就是1。

儘管，這兩個矩陣的行列式都是0.

秩 -----> 變換後空間的維數

列空間

不管A線性變換之後是點，線，面還是空間，輸出向量的集合，都是A的列空間，都是A的縱列的線性組合，（列張成的空間）

所以更精確的 A的秩就是 A的列空間的維數

矩陣A的列空間是所有A的縱列的線性組合。如果 $A = [a_1, ...., a_n]$ ，則 $Col A = Span left{ a_1, ...., a_n ight}$ 。

零空間（核空間）

如果A是滿秩的，就是沒有壓縮，與之前空間的維數相等，那麼就只有零向量在變化前後，依然是零向量。

如果A不滿秩，那麼除了，零向量，還有其他的向量也會被壓縮到原點，變成零向量

即 $Avec x = 0$ ，所有x向量張成的空間，就是A的 零空間 或者 核空間

非方陣

就是一個不同維度空間的變換，而，對應於非滿秩的矩陣，雖然列空間是降維了，但是仍然是在原來維度的空間上描述（三維空間內的一個平面或者一條線或者一個點）

一個 $3 imes 2$ 的矩陣，就是將二維空間映射到三維空間，因為2列，說明輸入空間有兩個基向量（所以是二維空間），有3行表明每個基向量在變換後都用三個獨立的坐標來描述（所以是三維空間）

點積

向量的點積可以看成是矩陣向量的乘積，而且是一種對應關係，就是 $1 imes n$ 的非方陣的線性變換，變成了一維空間（數軸上的點）

連個向量點乘，就是將其中一個向量轉化為線性變換

叉積

並不是嚴格意義上的：

兩個向量形成的四邊形的面積 *注意：方陣的行列式也有面積的概念，面積變化的倍數*

於是，就有:

$vec v imes vec w = det(left[ egin{matrix}3 & 2 \1 & -1 \end{matrix} ight])$

實際上，叉積是 $vec v imes vec w = vec p$ 計算之後依然是一個向量

$left[egin{matrix} v_1 \v_2 \v_3 end{matrix} ight] imes left[egin{matrix} v_1 \v_2 \v_3 end{matrix} ight] = det(left[egin{matrix} hat{i} & v_1& w_1\ hat{j} & v_2 & w_2\ hat{k} & v_3 & w_3 \ end{matrix} ight])$

註：上面一般的求法，行列式應該轉置，但是為了形象這樣寫，但是矩陣轉置行列式不變。

基變換

將以 $hat{i},hat{j}$ 為基的向量，轉換成以其他的單位向量為基的向量，就是基變換

比如如果旋轉變換是一個矩陣 M，在標準坐標系裡。A是將別的坐標系轉換為標準坐標系的矩陣

於是 $A^{-1}MA$ 就是在另一個坐標系裡的坐標旋轉的矩陣， $A^{-1}MAvec v$ 就得到了在原本的坐標系中旋轉之後的坐標

如果 $hat{i},hat{j}$ 的坐標是(1,0),(0,1)的話，即對應的空間是矩陣 $A = egin{bmatrix} 1&0 \ 0 & 1end{bmatrix}$ 的列空間，

比如 $vec u$ 的坐標是(1,2),實際上存在這樣的等式， $vec u = egin{bmatrix} 1&0 \ 0 & 1end{bmatrix} egin{bmatrix} 1\2 end{bmatrix}$ 。

那麼在另外的空間的基是 $vec m,vec n$ 的話，他們的坐標是(3,0),(1,2),對應的矩陣 $B = egin{bmatrix} 3&1 \ 0 & 2end{bmatrix}$ 的列空間就是以 $vec m,vec n$ 為基的空間。很巧的是 $B=BA$ 講標準坐標系的基向量轉換到新的坐標系（空間）的線性變換的矩陣正好就是由新坐標系的基向量組成的矩陣。所以，原本在標準坐標系的 $vec u$ 到了新的坐標系的向量 $vec v$ 就可以由

$vec v = B A vec u = egin{bmatrix} 3&1 \ 0 & 2end{bmatrix} egin{bmatrix} 1&0 \ 0 & 1end{bmatrix} egin{bmatrix} 1\2 end{bmatrix} = egin{bmatrix} 6\6 end{bmatrix}$

特徵值與特徵向量 eigen

另一個角度：一個線性變換（對應的一個矩陣），可能會有一系列的向量方向不變（在一條直線上，反向也算），只是伸縮（可能伸縮比是1，就是沒伸縮），那麼這些相量就是特徵向量，由方程表示為：

$A vec v = lambda vec v$

這個伸縮比就是 $lambda$ ，就是特徵值。

示意圖

三維空間如果特徵值為1，則就是繞著特徵向量旋轉的變換。如果不為1，那就是有伸縮

示意圖2

接著就是計算：

一個對角矩陣 $A = egin{bmatrix} 3&0&0 \ 0 & 4&0 \ 0&0&5end{bmatrix}$ ，它的特徵向量就是原來的各個基向量，特徵向量就是對角線上的值。反過來，如果特徵向量是基向量的矩陣，則做次方，即重複的多次變換， $A^{2},A^{3},A^{4},A^{5}cdots$ 計算就很容易，只需要在對角元算上做次方就好，即：

$A^2 = egin{bmatrix} 3^2&0&0 \ 0 & 4^2&0 \ 0&0&5^2end{bmatrix},A^3 = egin{bmatrix} 3^3&0&0 \ 0 & 4^3&0 \ 0&0&5^3end{bmatrix} ,A^4 = egin{bmatrix} 3^4&0&0 \ 0 & 4^4&0 \ 0&0&5^4end{bmatrix}$

那麼對於一般的矩陣，要多次變換，計算次方會比較麻煩。比較方便的方法是：

某矩陣 $mathbf{A}$ ，求出其特徵向量 $mathbf{a_1},mathbf{a_2},mathbf{a_3} cdots$

將這些特徵向量視作新坐標系中的基向量，排列成矩陣 $left [mathbf{a_1} ,mathbf{a_2},mathbf{a_3}.... ight]$ ，這就是基變換矩陣，設為 $B$

根據上面基變換一節，在因為$A$ 變換中， $mathbf{a_1} ,mathbf{a_2},mathbf{a_3}cdots$ 是特徵向量，又作為基，就是在變換之後，只有伸縮，不會有，所以有 $B^{-1}AB$ 一定是一個對角矩陣 $C$ 。

根據簡單不嚴謹證明一下： $egin{align*}A mathbf a_1 &= lambda_1 mathbf a_1\A mathbf a_2 &= lambda_2 mathbf a_2\A mathbf a_3 &= lambda_3 mathbf a_3\vdots \A mathbf a_n &= lambda_n mathbf a_n\\A left [ mathbf{a_1} ,mathbf{a_2},mathbf{a_3}....mathbf{a_n} ight] =left [ lambda_1mathbf{a_1} ,lambda_2mathbf{a_2},lambda_3mathbf{a_3}....lambda_nmathbf{a_n} ight] &=left [ mathbf{a_1} ,mathbf{a_2},mathbf{a_3}....mathbf{a_n} ight] egin{bmatrix} lambda_1 &&&&&huge{0}\&lambda_2 \&&lambda_3\&&&ddots\huge{0}&&&&& lambda_n end{bmatrix} \\AB &= BC\B^{-1}AB &= Cend{align*}$

所以求 $A^{100}$ 有： $A^{100} =BC^{100}B^{-1}$ ，而 $C$ 是對角矩陣，計算方便。

例子

抽象空間向量

線性變換保持向量加法運算和數乘運算
$egin{align*}&Additon :L(vec v + vec w) = L(vec v)+L( vec w)\&Scaling: L(cvec v) = cL(vec v)end{align*}$

由此可知，求導也就是線性變換

那麼，多項式函數可以表示為不同的基函數的線性組合 $left[ egin{matrix} 1\x\x^2\x^3\ vdots end{matrix} ight]$ ，則多項式 $f(x)$ 可以表示為 $f(x) = 1+2x+3x^2+4x^3cdots=[1 2 3 4 cdots]left[ egin{matrix} 1\x\x^2\ x^3\vdots end{matrix} ight] or = [1 x x^2 x^3 cdots]left[ egin{matrix} 1\2\3\4\ vdots end{matrix} ight]$

再回來看求導

$egin{align*}frac{df}{dx}=frac{d}{dx}(cdots+4x^3+3x^2+2x+1)=&cdots+12x^2+6x+2\egin{bmatrix}0&1&0&0&cdots\0&0&2&0&cdots\0&0&0&3&cdots\0&0&0&0&cdots\vdots&vdots&vdots&vdots&ddots\end{bmatrix}egin{bmatrix}1\2\3\4\vdotsend{bmatrix}=egin{bmatrix}1 cdot 2\2 cdot 3\3 cdot 4\vdotsend{bmatrix}=&egin{bmatrix}2\6\12\vdotsend{bmatrix}end{align*}$

下式兩邊左乘 $[1 x x^2 x^3 cdots]$ ，則與上式相等。