SVD分解是對矩陣行空間與列空間的關聯

設m*n矩陣A是秩為r的矩陣。

1，用AA的標準特徵向量作為A的行空間的標準正交基

∵AA與A有相同的行空間,

∴AA的非零特徵值σ^2對應的標準特徵向量Vr=[v1 ... vr]構成了A的行空間的標準正交基;

2，用AA的標準特徵向量作為A的列空間的標準正交基

∵AA與A具有相同的行空間,

∴AA的非零特徵值σ^2對應的標準特徵向量Ur=[u1 ... ur]構成了A的行空間的標準正交基, 顯然,U就是A的列空間的標準正交基;

3，關聯A的行空間（Vr）與列空間（Ur）:

設v是V中的任意一列

∵AAv =(σ^2)v,

∴|Av|^2=vAAv=v(σ^2)v=(σ^2)vv=σ^2,

∴|Av|=σ

∵(AA)Av=A(AAv)=A(σ^2)v=(σ^2)Av, 由於σ^2既是AA的特徵值,也是AA的特徵值, 所以Av是AA的特徵向量。

將Av標準化，得到Av/|Av|=Av/σ,也就是AA的標準特徵向量,由於已知AA的標準特徵向量基U, 所以，Av/σ必然等於U中的某一個列向量u,即，Av=σu。

A[v1,...,vr] = [σ1*u1,...,σr*ur]，即，A*Vr=Ur*D，其中D=diag（σ1，...，σr）

4，基的擴張

獲得A的零空間的標準正交基[vr+1,...,vr]，它與Vr共同構成了R^n空間的標準正交基V，V是n*n正交矩陣

獲得A的零空間的標準正交基[ur+1,...,ur]，它與Ur共同構成了R^m空間的標準正交基U，U是m*m正交矩陣

令為m*n矩陣,其中前r*r個元素是D矩陣,其它元素均為0

所以，AV=U=> A = UV。

總結：SVD分解是一種對矩陣行空間和列空間的關聯，零空間和左零空間的關聯。

這是這幾天向 @王贇 Maigo 老師請教的總結，特此釐清梳理一下，不知理解得是否正確。

隨著深入的學習，我會持續把這篇文章完善。就像GILBERT STRANG教授說的那樣:SVD is the climax of this linear algebra course. SVD將矩陣的四大子空間聯合在了一起，是對轉軸、伸縮、映射三種線性變換過程的封裝。我很想對此探究更多的本質。也會盡量使文章圖文並茂，且利用TeX修飾公式。

推薦閱讀：