標籤：

數學矩陣矩陣運算

矩陣奇異值與矩陣範數之間有什麼聯繫？

01-03

經常看到PAPER上說矩陣的範數，即矩陣的最大奇異值，但一直沒搞清楚兩者之間是如何聯繫的。

首先可以定義歐式空間 $R^n$ 的向量 $x$ 的範數 $left | x ight |$ ，同時基於每一種向量範數，可以相應地定義 $R^{n imes n}$ 矩陣 $A$ 的範數為

$max_{left | x ight | = 1}left | Ax ight |$

向量的範數存在多種定義方式，最常見的是 $2$ 範數，也就是歐式空間的長度：

$left | x ight |=sqrt{x^Tx}$

那麼相應的矩陣 $A$ 的範數即為當 $x^Tx=1$ 時，函數 $sqrt{(Ax)^T(Ax)}=sqrt{x^TA^TAx}$ 的最大值。

注意 $A^TA$ 是對稱非負定矩陣，特徵值滿足 $lambda_1 geq ...geq lambda_ngeq 0$ ，相應的特徵向量 $alpha_1,...alpha_n$ 構成 $R^n$ 的一組標準正交基，那麼設

$x=sum_{i=1}^{n}a_ialpha_i$

根據 $x^Tx=1$ 知道有 $sum_{i=1}^{n}a_i^2=1$

於是

$A^TAx=A^TA(sum_{i=1}^{n}a_ialpha_i)=sum_{i=1}^{n}a_iA^TAalpha_i=sum_{i=1}^{n}lambda_ia_ialpha_i$

$x^TA^TAx=sum_{i=1}^{n}lambda_ia_i^2leqlambda_1$

可知 $sqrt{(Ax)^T(Ax)}leq sqrt{lambda_1}$ ，即 $A^TA$ 的最大特徵值的平方根，即 $A$ 的最大奇異值。

不請自來.

首先矩陣的二範數有兩種, 一種是

$||m{A}|{{|}_{2}}=sqrt{sumlimits_{i=1}^{m}{sumlimits_{j=1}^{n}{{{a}_{ij}}^{2}}}}$

另一種是

$||m{A}|{{|}_{2$ , 其中 $|m{x}| =sqrt{(m{x},m{x})}$

通常情況下, 在代數的書中採用的二範數指的是第二種.

關於奇異值有如下結論:

若矩陣 $m{A}$ 的 $n$ 個奇異值為 ${{sigma }_{1}},{sigma }_{2},ldots,{{sigma }_{n}}$ , 則

(1) $||m{A}||_2=sqrt{{{sigma }_{1}}^{2}+sigma_2^2+ldots+{{sigma }_{n}}^{2}}$ ;

(2) $displaystyle ||m{A}||_{2$ .

證明如下:

根據矩陣的奇異值分解, ${m{A}} = {m{USV}}$ , 其中 $m{U},m{V}$ 正交, $m{S}$ 為對角線上為奇異值的對角陣.

(1)根據正交矩陣的性質( $|m{Ux}|=|m{x}|$ )有

$||{m{A}}||_2= ||{m{S}}||_2 = sqrt {{sigma _1}^2 + ldots + {sigma _n}^2}$ ;

(2)記 ${m{y}} = {m{Vx}} = ({y_1},ldots,{y_n})^T$ , 則

$displaystylefrac{{|{m{Ax}}|}}{{|{m{x}}|}} =displaystyle frac{{|{m{SVx}}|}}{{|{m{x}}|}} = frac{{|{m{SVx}}|}}{{|{m{Vx}}|}} = frac{{|{m{Sy}}|}}{{|{m{y}}|}} =displaystyle frac{{sqrt {{sigma _1}^2{y_1}^2 + ldots + {sigma _n}^2{y_n}^2} }}{{sqrt {{y_1}^2 + ldots + {y_n}^2} }} le max ({sigma _1},ldots,{sigma _n})$

不妨設 ${sigma _1}$ 是最大的, 則令 ${y_1} = 1,{y_2} = 0,ldots,{y_n} = 0$ 即可取得等號, 所以

$mathop {sup }limits_{{m{x}} in {R^n}ackslash 0} left( {frac{{|{m{Ax}}|}}{{|{m{x}}|}}} ight) = max ({sigma _1},ldots,{sigma _n})$ .

我來拋磚引玉。白如冰比較詳細地推倒了公式，我就不贅述了。

一個矩陣A可以看為一個系統，但是這個系統對不同的輸入有不同的增益

（增益定義為Ax的norm比x的norm，而這個增益的最大值被定義為矩陣A的norm，注意這裡的變數是x，即可以取不同的輸入，而這個norm我之前學的都是用L2-norm定義的，L1怎麼做我沒見過）

白如冰的答案里直接把x normalized了，而最後答案的意思應該是看A系統對什麼樣的輸入的系統效果最明顯？增益是多少？

最終我們可以知道，當系統輸入x是A"A的maximum egienvalue所對應的egienvector時，系統效果最明顯，此時增益為maximum egienvalue。

我只根據自己的理解說一點intuition，不對的地方希望指正，希望對題主有幫助。

（由於我還沒學泛函分析，所以語言角度會非常粗糙，希望大家給我留言指正，很感激。）

矩陣代數有比較詳細的推導。

矩陣A的2範數為矩陣(A的共軛轉置A)最大特徵根的平方根。也就是A的最大奇值。

感謝評論區同學指正。

用極大極小原理很好理解！

另外矩陣的F範數，是把矩陣拉成向量的2範數，並不是矩陣的2範數！

矩陣的2範數就是作為運算元的2範數！

推薦閱讀：

※如何直觀理解矩陣和線性代數？
※hessian矩陣的特徵向量有什麼含義？
※如何對SPD流形上的測地距離進行凸近似？
※矩陣的指數函數到底說的是個啥？
※矩陣和向量組和線性方程組之間的關係是什麼？

TAG:數學 | 矩陣運算 | 矩陣 |