標籤：

24、廣義逆矩陣，矩陣的單側逆，偽逆

02-18

廣義逆矩陣

廣義逆矩陣對於奇異矩陣甚至長方矩陣都存在、具有通常逆矩陣的一些性質、當矩陣非奇異時，它還原到通常的逆矩陣，我們把奇異矩陣或長方矩陣（不「通常」的逆矩陣）稱為廣義逆矩陣。

廣義逆矩陣的數學表達符號是： A^{-}

廣義逆矩陣它在微分和積分方程、最優化中發揮了很大作用，是研究最小二乘不可缺少的工具。

為此，我們從線性方程組 A_{m*n}x_{n}=b_{m} 的解開始討論。

(m>n稱為超定方程；m<n稱為亞定方程)。

若存在向量x，使Ax=b成立，則稱線性方程組為相容方程組，否則稱為不相容方程或矛盾方程。

對於相容方程組：若A是列滿秩的，則有唯一解；否則有無窮多解。我們要找到的就是唯一的極小範數解。

對於矛盾方程：我們要找到它的近似解——最小二乘解；如果最小二乘解不唯一，我們要找到唯一的最小二乘解，稱為最佳的最小二乘解（或極小範數最小二乘解，或最佳逼近解）。

引子：

1??一般得，對於通常的逆矩陣，我們有 AA^{-1}=I ,又或者 A^{-1}A=I ，

但是對於非方陣的矩陣A，即是行列數不相等。則稱這種矩陣的逆矩陣為廣義逆矩陣。

對於廣義逆矩陣的逆不再是左右兩邊都可以存在，它僅僅能夠存在在某一邊，或左邊，或右邊；

存在在左邊的廣義逆矩陣為左逆，左逆矩陣；左逆矩陣用符號表達為： {A_{L}}^{-1}

存在在右邊的廣義逆矩陣為右逆，右逆矩陣。右逆矩陣用符號表達為： {A_{R}}^{-1}

所以在廣義逆矩陣中，「A」與「A的逆矩陣」相乘等於 I 是僅僅只有兩種可能的，即是：

{A_{L}}^{-1}A=I ，或者， A{A_{R}}^{-1}=I ，

上式中， {A_{L}}^{-1} 不可能在A的右邊；而， {A_{R}}^{-1} 不可能在A的左邊，

我們就認為這些（左逆和右逆）為單側逆。

2??存在單側逆的其中一個條件一定存在「行滿秩」或者「列滿秩」，若沒有存在X滿秩的情況，則不存在單側逆。

3??無論是方陣還是非方陣，「行秩」和「列秩」的數目一定是相等的。

（不知道有沒有人在哪個單側逆的滿秩上會一瞬間卡殼，可我會，我的記憶一直是行和列哪個「數」比較少比較小，哪個就是滿秩。）

正文：

矩陣的左逆與右逆

設A是n階矩陣，A可逆當且僅當存在n階矩陣B，使得 AB=BA=I

當A可逆時，其逆唯一，記為 A^{-1}

下面，我們把方陣的逆矩陣概念推廣到m*n矩陣上，定義一種單側逆.

一、滿秩矩陣與單側逆

設 Ain R^{m*n} ，若存在矩陣 Bin R^{n*m} ，使得 BA=I_{n}

則稱A是左可逆的，稱B為A的一個左逆矩陣，記為 {A_{L}}^{-1}

若存在矩陣 Cin R^{m*n} ，使得 AC=I_{m}

則稱A是右可逆的，稱C為A的一個右逆矩陣，記為 {A_{R}}^{-1}

下面給出矩陣左逆與右逆的幾個等價條件.

（左逆）定理1 設 Ain R^{m*n} ，則下列條件是等價的：

(1)A是左可逆的； (2)A的零空間N(A)=｛0｝；

(3)m geq n，R(A)=n，即A是列滿秩的；(4) A^{T}A 是可逆的。

以下通過證明 （4） Rightarrow （1）引出左逆矩陣的表達式：

由於， A^{T}A 可逆，可得 (A^{T}A)^{-1}A^{T}A=I_{n}

所以 (A^{T}A)^{-1}A^{T} 是A的一個左逆矩陣，

即 {A_{L}}^{-1}=(A^{T}A)^{-1}A^{T}

( 備註：

左逆的一般表達式為： {A_{L}}^{-1}=(A^{T}UA)^{-1}A^{T}U

其中U是使關係式 rank(A^{T}UA)=rank(A) 成立的任意m階方陣

）

（右逆）定理2 設 Ain R^{m*n} ，則下列條件是等價的：

(1)A是右可逆的； (2)A的列空間 mu(A)=R^{m} ；

(3)m leq n，R(A)=m，即A是行滿秩的；(4) AA^{T} 是可逆的

以下通過證明 （4） Rightarrow （1）引出右逆矩陣的表達式：

由於， AA^{T} 可逆，可得 AA^{T}(AA^{T})^{-1}=I_{m}

所以 A^{T}(AA^{T})^{-1} 是A的一個右逆矩陣，

即 {A_{R}}^{-1}=A^{T}(AA^{T})^{-1}

( 備註：

右逆的一般表達式為： {A_{R}}^{-1}=VA^{T}(AVA^{T})^{-1}

其中V是使關係式 rank(AVA^{T})=rank(A) 成立的任意m階方陣

）

------------------ ------------------ ------------------ ------------------ -----------------

以上介紹了左逆矩陣 {A_{L}}^{-1} 和右逆矩陣 {A_{R}}^{-1} ，

以及，

左逆的表達式： {A_{L}}^{-1}=(A^{T}A)^{-1}A^{T}

右逆的表達式： {A_{R}}^{-1}=A^{T}(AA^{T})^{-1}

我們要注意的是它們的條件是行數和列數不相等：

左逆：m>n，行數大於列數，列滿秩，

右逆：m<n，行數小於列數，行滿秩，

單側逆矩陣不唯一：

看一道題：

單側逆與解線性方程組

（左逆）定理3 設 Ain R^{m*n} 是左可逆的， Bin R^{n*m} 是A的一個左逆矩陣，則線性方程組AX=b有形如 X=Bb 解的充要條件是 (I_{m}-AB)b=0

若上式成立，則方程組有唯一解 X=(A^{T}A)^{-1}A^{T}b

證明定理3：

當方程組有解時，因為A可左逆，所以R（A）=n，即是列滿秩，從而方程組有唯一解.

由於 (A^{T}A)^{-1}A^{T} 是A的一個左逆矩陣，所以 X=(A^{T}A)^{-1}A^{T}AX=(A^{T}A)^{-1}A^{T}b ，即 X=(A^{T}A)^{-1}A^{T}b 為 AX=b 的唯一解。

注意：雖然左逆矩陣不唯一，但（單側逆）方程的解唯一。

(右逆) 定理4 設 Ain R^{m*n} 是右可逆的，則線性方程組AX=b對任何 bin R^{m} 都有解。 且對A的任意一個右逆矩陣 {A_{R}}^{-1} ， X={A_{R}}^{-1}b 是其解。 特別地， X=A^{T}(AA^{T})^{-1}b 是方程組 AX=b 的一個解。

證明定理4：

因A可右逆，所以R（A）=m，即是行滿秩，從而方程組有唯一解.

因為存在右逆，所以 A{A_{R}}^{-1}=I_{m} ，對任何 bin R^{m} ，都有A{A_{R}}^{-1}b=I_{m}b=b

即是 A{A_{R}}^{-1}b=b ，然後，將定理4中方程組 AX=b 代入等式右側，得出：

A{A_{R}}^{-1}b=AX ，左右兩邊消去A，得到 {A_{R}}^{-1}b=X ，

即 X={A_{R}}^{-1}b Rightarrow X=A^{T}(AA^{T})^{-1}b ，是方程組 AX=b 的唯一解。

注意：雖然右逆矩陣不唯一，但（單側逆）方程的解唯一。

總結1??：

左逆的表達式： {A_{L}}^{-1}=(A^{T}A)^{-1}A^{T}

右逆的表達式： {A_{R}}^{-1}=A^{T}(AA^{T})^{-1}

我們要注意的是它們的條件是行數和列數不相等：

左逆：m>n，行數大於列數，列滿秩，

右逆：m<n，行數小於列數，行滿秩，

總結2??：（以下僅舉例左逆列滿秩的情況。對於右逆行滿秩只需要換個公式就行。）

方程組 AX=b Rightarrow

x=A^{-1}b ，x代表是線性方程組的所有解，

若此時矩陣非方陣為m*n結構，且，列滿秩（R(A)=n）,

則方程組Ax=b有唯一解，

所以，進一步可知，存在左逆矩陣

所以 x=A^{-1}b 變為 Rightarrow x={A_{L}}^{-1}b (注意從 A^{-1} Rightarrow {A_{L}}^{-1} )

Rightarrow x=(A^{T}A)^{-1}A^{T}b ，它即是 AX=b 的唯一解。

偽逆：

在前言的介紹中，廣義逆矩陣對於奇異矩陣甚至長方矩陣都存在，如果說m*n的存在單側逆的矩陣是長方矩陣中的其中一種，那麼，偽逆就是奇異矩陣和長方矩陣中的情況。

我們都知道，通常矩陣要有逆，必須是非奇異的矩陣。但是，在廣義逆矩陣中，奇異矩陣也有廣義的逆，那麼它就是「偽逆」，其次，對於非方陣的矩陣也有偽逆。

顧名思義，偽逆矩陣就是最接近逆的矩陣。

偽逆的數學表達符號是： A^{+}

偽逆的運用環境：

非滿秩的矩陣求逆（r<m,r<n）

偽逆常用的情況：

SVD： A=UΣV^{T}

SVD的偽逆公式： A^{+}=VΣ^{+}U^{T} (對SVD公式求偽逆的結果)

對於 A^{+}=VΣ^{+}U^{T} 這個公式要注意的是中間的 Σ^{+} 的求法。因為 Σ_{m×n} 是一個對角線矩陣，但又不一定是方陣，所以計算它的偽逆矩陣的步驟是特殊又很簡單的：

  1. 將對角線上的元素取倒數
  2. 再將整個矩陣轉置一次

性質

  • 當A可逆時，A的偽逆矩陣等於A的逆矩陣
  • 零矩陣的偽逆矩陣是它的轉置矩陣
  • (A^{+})^+=A
  • (A^{+})^T=({A^{T}})^+
  • (ar{A})^{+}=(ar{{A^{+}}})
  • ({A^{*}})^{+}=({A^{+}})^{*}
  • (αA)^{+}=α^{?1}A^{+} ,α不等於0

求 SVD中 sum 的偽逆：

如果m*m的對角陣Σ 可逆，有其逆矩陣，即對角線上元素為 σ_{1},σ_{2},...σ_{r} ， 在σ_{r} 後不存在0；

那麼它的逆後對角陣的對角線元素為 frac{1}{σ_{1}}，frac{1}{σ_{2}}...frac{1}{σ_{r}}

但如果m*n的對角陣Σ是不可逆的，即對角線上元素為： σ_{1},σ_{2},...σ_{r},0,0,0...... ，秩為r，那麼Σ的偽逆是多少？（注意Σ可以是m*n的非方陣，也可以是m*m的奇異矩陣，這裡討論m*n的非方陣結構）

我們之前說求偽逆的兩步是：

  1. 將對角線上的元素取倒數
  2. 再將整個矩陣轉置一次

而求偽逆的思想即是：只要對 Σ 中能求逆的地方求逆便可得到偽逆。

所以 sum 的偽逆 {sum}^{+} 即是：

大小為n*m。

並且，

當有：

大小為m*m，是列空間上投影的投影矩陣。

當有：

大小為n*n，是行空間上投影的投影矩陣。

應用「偽逆」：最小二乘估計

當矩陣A不是方陣時，最小二乘估計公式必為：

x=(A^{T}A)^{-1}A^{T}b

(即是求解線性方程組，左逆表達式，也是線性方程組的唯一解。)

由於矩陣A不是方陣，通常的求逆已經無法讓公式繼續簡化，

對於最小二乘估計來說，我們要解決的問題是：

b=Ax+e

其中，A和b是已知的量，x和e是我們要求的量，這可能有0到n個解，而我們的目標就是想要找一個使得 ||e||_{2} 最小的x，最佳最優解 ilde{x} 。

當我們求得理想的x和e後，可以讓e=0，並把x、e代入原方程，從而得到下面的等式：

b=Ax ，

求得到的 ilde{b} 就是b的最佳近似。

所以我們的最優解 ilde{x} ，這個使得 ||e||_{2} 最小的 ilde{x} ，就是：

ilde{x}=A^{-1}b

但是！

我們之前說了A不是方陣， A^{-1} 可不存在，也不存在式子 ilde{x}=A^{-1}b ，

所以，偽逆矩陣的應用就在這裡了，

ilde{x}=A^{+}b

因為所有矩陣都可以使用偽逆，所以等式成立。

（本章完）


推薦閱讀：

TAG:線性代數 | 機器學習 | 高等代數 |