機器學習的數學基礎-（二、線性代數）

05-24

機器學習的數學基礎-（二、線性代數）

來自專欄機器學習愛好者

本文分為高等數學、線性代數、概率論與數理統計三部分，所有公式為考研和考博時候使用的參考書所記錄，部分來源於網路。由於一篇文章放不下，故分成三篇文章發布：

一、機器學習的數學基礎-（一、高等數學）

二、機器學習的數學基礎-（二、線性代數）

三、機器學習的數學基礎-（三、概率論和數理統計）

二、線性代數

行列式

1.行列式按行（列）展開定理

(1) 設 $A = ( a_{{ij}} )_{n imes n}$ ，則： $a_{i1}A_{j1} +a_{i2}A_{j2} + cdots + a_{{in}}A_{{jn}} = egin{cases}|A|,i=j\ 0,i eq jend{cases}$

或 $a_{1i}A_{1j} + a_{2i}A_{2j} + cdots + a_{{ni}}A_{{nj}} = egin{cases}|A|,i=j\ 0,i eq jend{cases}$ ，即 $AA^{*} = A^{*}A = left| A ight|E$ ，

其中： $A^{*} = egin{pmatrix} A_{11} & A_{12} & ldots & A_{1n} \ A_{21} & A_{22} & ldots & A_{2n} \ ldots & ldots & ldots & ldots \ A_{n1} & A_{n2} & ldots & A_{{nn}} \ end{pmatrix} = (A_{{ji}}) = {(A_{{ij}})}^{T}$

$D_{n} = egin{vmatrix} 1 & 1 & ldots & 1 \ x_{1} & x_{2} & ldots & x_{n} \ ldots & ldots & ldots & ldots \ x_{1}^{n - 1} & x_{2}^{n - 1} & ldots & x_{n}^{n - 1} \ end{vmatrix} = prod_{1 leq j < i leq n}^{},(x_{i} - x_{j})$

(2) 設 $A,B$ 為 $n$ 階方陣，則 $left| {AB} ight| = left| A ight|left| B ight| = left| B ight|left| A ight| = left| {BA} ight|$ ，但 $left| A pm B ight| = left| A ight| pm left| B ight|$ 不一定成立。

(3) $left| {kA} ight| = k^{n}left| A ight|$ , $A$ 為 $n$ 階方陣。

(4) 設 $A$ 為 $n$ 階方陣， $|A^{T}| = |A|;|A^{- 1}| = |A|^{- 1}$ （若 $A$ 可逆）， $|A^{*}| = |A|^{n - 1}$

$n geq 2$

(5) $left| egin{matrix} & {Aquad O} \ & {Oquad B} \ end{matrix} ight| = left| egin{matrix} & {Aquad C} \ & {Oquad B} \ end{matrix} ight| = left| egin{matrix} & {Aquad O} \ & {Cquad B} \ end{matrix} ight| =| A||B|$

， $A,B$ 為方陣，但 $left| egin{matrix} {O} & A_{m imes m} \ B_{n imes n} & { O} \ end{matrix} ight| = ({- 1)}^{{mn}}|A||B|$ 。

(6) 范德蒙行列式 $D_{n} = egin{vmatrix} 1 & 1 & ldots & 1 \ x_{1} & x_{2} & ldots & x_{n} \ ldots & ldots & ldots & ldots \ x_{1}^{n - 1} & x_{2}^{n 1} & ldots & x_{n}^{n - 1} \ end{vmatrix} = prod_{1 leq j < i leq n}^{},(x_{i} - x_{j})$

設 $A$ 是 $n$ 階方陣， $lambda_{i}(i = 1,2cdots,n)$ 是 $A$ 的 $n$ 個特徵值，則

$|A| = prod_{i = 1}^{n}lambda_{i}$

矩陣

矩陣： $m imes n$ 個數 $a_{{ij}}$ 排成 $m$ 行 $n$ 列的表格 $egin{bmatrix} a_{11}quad a_{12}quadcdotsquad a_{1n} \ a_{21}quad a_{22}quadcdotsquad a_{2n} \ quadcdotscdotscdotscdotscdots \ a_{m1}quad a_{m2}quadcdotsquad a_{{mn}} \ end{bmatrix}$ 稱為矩陣，簡記為 $A$ ，或者 $left( a_{{ij}} ight)_{m imes n}$ 。若 $m = n$ ，則稱 $A$ 是 $n$ 階矩陣或 $n$ 階方陣。

矩陣的線性運算

1.矩陣的加法

設 $A = (a_{{ij}})$ , $B = (b_{{ij}})$ 是兩個 $m imes n$ 矩陣，則 $m imes n$ 矩陣 $C = (c_{{ij}}) = a_{{ij}} + b_{{ij}}$ 稱為矩陣 $A$ 與 $B$ 的和，記為 $A + B = C$ 。

2.矩陣的數乘

設 $A = (a_{{ij}})$ 是 $m imes n$ 矩陣， $k$ 是一個常數，則 $m imes n$ 矩陣 $(ka_{{ij}})$ 稱為數 $k$ 與矩陣 $A$ 的數乘，記為 ${kA}$ 。

3.矩陣的乘法

設 $A = (a_{{ij}})$ 是 $m imes n$ 矩陣， $B = (b_{{ij}})$ 是 $n imes s$ 矩陣，那麼 $m imes s$ 矩陣 $C = (c_{{ij}})$ ，其中 $c_{{ij}} = a_{i1}b_{1j} + a_{i2}b_{2j} + cdots + a_{{in}}b_{{nj}} = sum_{k =1}^{n}{a_{{ik}}b_{{kj}}}$ 稱為 $AB$ 的乘積，記為 $C = AB$ 。

4. $mathbf{A}^{mathbf{T}}$ 、 $mathbf{A}^{mathbf{-1}}$ 、 $mathbf{A}^{mathbf{*}}$ 三者之間的關係

(1) ${(A^{T})}^{T} = A,{(AB)}^{T} = B^{T}A^{T},{(kA)}^{T} = kA^{T},{(A pm B)}^{T} = A^{T} pm B^{T}$

(2) $left( A^{- 1} ight)^{- 1} = A,left( {AB} ight)^{- 1} = B^{- 1}A^{- 1},left( {kA} ight)^{- 1} = frac{1}{k}A^{- 1}$

但 ${(A pm B)}^{- 1} = A^{- 1} pm B^{- 1}$ 不一定成立。

(3) $left( A^{*} ight)^{*} = |A|^{n - 2} A (n geq 3)$ ， $left({AB} ight)^{*} = B^{*}A^{*},left( {kA} ight)^{*} = k^{n -1}A^{*}{ }left( n geq 2 ight)$

但 $left( A pm B ight)^{*} = A^{*} pm B^{*}$ 不一定成立。

(4) ${(A^{- 1})}^{T} = {(A^{T})}^{- 1}, left( A^{- 1} ight)^{*} ={(AA^{*})}^{- 1},{(A^{*})}^{T} = left( A^{T} ight)^{*}$

5.有關 $mathbf{A}^{mathbf{*}}$ 的結論

(1) $AA^{*} = A^{*}A = |A|E$

(2) $|A^{*}| = |A|^{n - 1} (n geq 2), {(kA)}^{*} = k^{n -1}A^{*},{{ }left( A^{*} ight)}^{*} = |A|^{n - 2}A(n geq 3)$

(3) 若 $A$ 可逆，則 $A^{*} = |A|A^{- 1},{(A^{*})}^{*} = frac{1}{|A|}A$

(4) 若 $A$ 為 $n$ 階方陣，則：

$r(A^*)=egin{cases}n,quad r(A)=n\ 1,quad r(A)=n-1\ 0,quad r(A)<n-1end{cases}$ 6.有關 $mathbf{A}^{mathbf{- 1}}$ 的結論

$A$ 可逆 $Leftrightarrow AB = E; Leftrightarrow |A| eq 0; Leftrightarrow r(A) = n;$

$Leftrightarrow A$ 可以表示為初等矩陣的乘積； $Leftrightarrow A;Leftrightarrow Ax = 0$ 。

7.有關矩陣秩的結論

(1) 秩 $r(A)$ =行秩=列秩；

(2) $r(A_{m imes n}) leq min(m,n);$

(3) $A eq 0 Rightarrow r(A) geq 1;$

(4) $r(A pm B) leq r(A) + r(B);$

(5) 初等變換不改變矩陣的秩

(6) $r(A) + r(B) - n leq r(AB) leq min(r(A),r(B))$ ，特別若 $AB = O$

則： $r(A) + r(B) leq n$

(7) 若 $A^{- 1}$ 存在 $Rightarrow r(AB) = r(B);$ 若 $B^{- 1}$ 存在， $Rightarrow r(AB) = r(A)$ 。

(8) $r(A_{m imes s}) = n Leftrightarrow Ax = 0$ 只有零解

8.分塊求逆公式

$egin{pmatrix} A & O \ O & B \ end{pmatrix}^{- 1} = egin{pmatrix} A^{-1} & O \ O & B^{- 1} \ end{pmatrix}$ ； $egin{pmatrix} A & C \ O & B \end{pmatrix}^{- 1} = egin{pmatrix} A^{- 1}& - A^{- 1}CB^{- 1} \ O & B^{- 1} \ end{pmatrix}$ ；

$egin{pmatrix} A & O \ C & B \ end{pmatrix}^{- 1} = egin{pmatrix} A^{- 1}&{O} \ - B^{- 1}CA^{- 1} & B^{- 1} \end{pmatrix}$ ； $egin{pmatrix} O & A \ B & O \ end{pmatrix}^{- 1} =egin{pmatrix} O & B^{- 1} \ A^{- 1} & O \ end{pmatrix}$

這裡 $A$ ， $B$ 均為可逆方陣。

向量

1.有關向量組的線性表示

(1) $alpha_{1},alpha_{2},cdots,alpha_{s}$ 線性相關 $Leftrightarrow$ 至少有一個向量可以用其餘向量線性表示。

(2) $alpha_{1},alpha_{2},cdots,alpha_{s}$ 線性無關， $alpha_{1},alpha_{2},cdots,alpha_{s}$ ， $eta$ 線性相關 $Leftrightarrow eta$ 可以由 $alpha_{1},alpha_{2},cdots,alpha_{s}$ 唯一線性表示。

(3) $eta$ 可以由 $alpha_{1},alpha_{2},cdots,alpha_{s}$ 線性表示

$Leftrightarrow r(alpha_{1},alpha_{2},cdots,alpha_{s}) =r(alpha_{1},alpha_{2},cdots,alpha_{s},eta)$ 。

2.有關向量組的線性相關性

(1)部分相關，整體相關；整體無關，部分無關.

(2) ① $n$ 個 $n$ 維向量 $alpha_{1},alpha_{2}cdotsalpha_{n}$ 線性無關 $Leftrightarrow left|leftlbrack alpha_{1}alpha_{2}cdotsalpha_{n} ight brack ight| eq0$ ，

$n$ 個 $n$ 維向量 $alpha_{1},alpha_{2}cdotsalpha_{n}$ 線性相關

$Leftrightarrow |lbrackalpha_{1},alpha_{2},cdots,alpha_{n} brack| = 0$ 。

② $n+1$ 個 $n$ 維向量線性相關。

③ 若 $alpha_{1},alpha_{2},cdots,alpha_{s}$ 線性無關，則添加分量後仍線性無關；或一組向量線性相關，去掉某些分量後仍線性相關。

3.有關向量組的線性表示

(1) $alpha_{1},alpha_{2},cdots,alpha_{s}$ 線性相關 $Leftrightarrow$ 至少有一個向量可以用其餘向量線性表示。

(2) $alpha_{1},alpha_{2},cdots,alpha_{s}$ 線性無關， $alpha_{1},alpha_{2},cdots,alpha_{s}$ ， $eta$ 線性相關 $Leftrightarroweta$ 可以由 $alpha_{1},alpha_{2},cdots,alpha_{s}$ 唯一線性表示。

(3) $eta$ 可以由 $alpha_{1},alpha_{2},cdots,alpha_{s}$ 線性表示 $Leftrightarrow r(alpha_{1},alpha_{2},cdots,alpha_{s}) =r(alpha_{1},alpha_{2},cdots,alpha_{s},eta)$

4.向量組的秩與矩陣的秩之間的關係

設 $r(A_{m imes n}) =r$ ，則 $A$ 的秩 $r(A)$ 與 $A$ 的行列向量組的線性相關性關係為：

(1) 若 $r(A_{m imes n}) = r = m$ ，則 $A$ 的行向量組線性無關。

(2) 若 $r(A_{m imes n}) = r < m$ ，則 $A$ 的行向量組線性相關。

(3) 若 $r(A_{m imes n}) = r = n$ ，則 $A$ 的列向量組線性無關。

(4) 若 $r(A_{m imes n}) = r < n$ ，則 $A$ 的列向量組線性相關。

5. $mathbf{n}$ 維向量空間的基變換公式及過渡矩陣

若 $alpha_{1},alpha_{2},cdots,alpha_{n}$ 與 $eta_{1},eta_{2},cdots,eta_{n}$ 是向量空間 $V$ 的兩組基，則基變換公式為：

$(eta_{1},eta_{2},cdots,eta_{n}) = (alpha_{1},alpha_{2},cdots,alpha_{n})egin{bmatrix} c_{11}& c_{12}& cdots & c_{1n} \ c_{21}& c_{22}&cdots & c_{2n} \ cdots & cdots & cdots & cdots \ c_{n1}& c_{n2} & cdots & c_{{nn}} \end{bmatrix} = (alpha_{1},alpha_{2},cdots,alpha_{n})C$

其中 $C$ 是可逆矩陣，稱為由基 $alpha_{1},alpha_{2},cdots,alpha_{n}$ 到基 $eta_{1},eta_{2},cdots,eta_{n}$ 的過渡矩陣。

6.坐標變換公式

若向量 $gamma$ 在基 $alpha_{1},alpha_{2},cdots,alpha_{n}$ 與基 $eta_{1},eta_{2},cdots,eta_{n}$ 的坐標分別是

$X = {(x_{1},x_{2},cdots,x_{n})}^{T}$ ， $Y = left( y_{1},y_{2},cdots,y_{n} ight)^{T}$ 即： $gamma =x_{1}alpha_{1} + x_{2}alpha_{2} + cdots + x_{n}alpha_{n} = y_{1}eta_{1} +y_{2}eta_{2} + cdots + y_{n}eta_{n}$ ，則向量坐標變換公式為 $X = CY$ 或 $Y = C^{- 1}X$ ，其中 $C$ 是從基 $alpha_{1},alpha_{2},cdots,alpha_{n}$ 到基 $eta_{1},eta_{2},cdots,eta_{n}$ 的過渡矩陣。

7.向量的內積

$(alpha,eta) = a_{1}b_{1} + a_{2}b_{2} + cdots + a_{n}b_{n} = alpha^{T}eta = eta^{T}alpha$

8.Schmidt正交化

若 $alpha_{1},alpha_{2},cdots,alpha_{s}$ 線性無關，則可構造 $eta_{1},eta_{2},cdots,eta_{s}$ 使其兩兩正交，且 $eta_{i}$ 僅是 $alpha_{1},alpha_{2},cdots,alpha_{i}$ 的線性組合 $(i= 1,2,cdots,n)$ ，再把 $eta_{i}$ 單位化，記 $gamma_{i} =frac{eta_{i}}{left| eta_{i} ight|}$ ，則 $gamma_{1},gamma_{2},cdots,gamma_{i}$ 是規範正交向量組。

其中 $eta_{1} = alpha_{1}$ ， $eta_{2} = alpha_{2} -frac{(alpha_{2},eta_{1})}{(eta_{1},eta_{1})}eta_{1}$ ， $eta_{3} =alpha_{3} - frac{(alpha_{3},eta_{1})}{(eta_{1},eta_{1})}eta_{1} -frac{(alpha_{3},eta_{2})}{(eta_{2},eta_{2})}eta_{2}$ ，

............

$eta_{s} = alpha_{s} - frac{(alpha_{s},eta_{1})}{(eta_{1},eta_{1})}eta_{1} - frac{(alpha_{s},eta_{2})}{(eta_{2},eta_{2})}eta_{2} - cdots - frac{(alpha_{s},eta_{s - 1})}{(eta_{s - 1},eta_{s - 1})}eta_{s - 1}$

9.正交基及規範正交基

向量空間一組基中的向量如果兩兩正交，就稱為正交基；若正交基中每個向量都是單位向量，就稱其為規範正交基。

線性方程組

1．克萊姆法則

線性方程組 $egin{cases} a_{11}x_{1} + a_{12}x_{2} + cdots +a_{1n}x_{n} = b_{1} \ a_{21}x_{1} + a_{22}x_{2} + cdots + a_{2n}x_{n} =b_{2} \ quadcdotscdotscdotscdotscdotscdotscdotscdotscdots \ a_{n1}x_{1} + a_{n2}x_{2} + cdots + a_{{nn}}x_{n} = b_{n} \ end{cases}$ ，如果係數行列式 $D = left| A ight| eq 0$ ，

則方程組有唯一解， $x_{1} = frac{D_{1}}{D},x_{2} = frac{D_{2}}{D},cdots,x_{n} =frac{D_{n}}{D}$ ，其中 $D_{j}$ 是把 $D$ 中第 $j$ 列元素換成方程組右端的常數列所得的行列式。

2. $n$ 階矩陣 $A$ 可逆 $r(A_{m imes n}) = m$ 只有零解。 $Leftrightarrowforall b,Ax = b$ 總有唯一解，一般地， $r(A_{m imes n}) = n Leftrightarrow Ax= 0$ 只有零解。

3.非奇次線性方程組有解的充分必要條件，線性方程組解的性質和解的結構

(1) 設 $A$ 為 $m imes n$ 矩陣，若 $r(A_{m imes n}) = m$ ，則對 $Ax =b$ 而言必有 $r(A) = r(A vdots b) = m$ ，從而 $Ax =b$ 有解。

(2) 設 $x_{1},x_{2},cdots x_{s}$ 為 $Ax = b$ 的解，則 $k_{1}x_{1} + k_{2}x_{2}cdots + k_{s}x_{s}$ 當 $k_{1} + k_{2} + cdots + k_{s} = 1$ 時仍為 $Ax =b$ 的解；但當 $k_{1} + k_{2} + cdots + k_{s} = 0$ 時，則為 $Ax =0$ 的解。特別 $frac{x_{1} + x_{2}}{2}$ 為 $Ax = b$ 的解； $2x_{3} - (x_{1} +x_{2})$ 為 $Ax =0$ 的解。

(3) 非齊次線性方程組 ${Ax} = b$ 無解 $Leftrightarrow r(A) + 1 =r(overline{A}) Leftrightarrow b$ 不能由 $A$ 的列向量 $alpha_{1},alpha_{2},cdots,alpha_{n}$ 線性表示。

4.奇次線性方程組的基礎解系和通解，解空間，非奇次線性方程組的通解

(1) 齊次方程組 ${Ax} = 0$ 恆有解(必有零解)。當有非零解時，由於解向量的任意線性組合仍是該齊次方程組的解向量，因此 ${Ax} = 0$ 的全體解向量構成一個向量空間，稱為該方程組的解空間，解空間的維數是 $n - r(A)$ ，解空間的一組基稱為齊次方程組的基礎解系。

(2) $eta_{1},eta_{2},cdots,eta_{t}$ 是 ${Ax} = 0$ 的基礎解系，即：

1) $eta_{1},eta_{2},cdots,eta_{t}$ 是 ${Ax} = 0$ 的解；

2) $eta_{1},eta_{2},cdots,eta_{t}$ 線性無關；

3) ${Ax} = 0$ 的任一解都可以由 $eta_{1},eta_{2},cdots,eta_{t}$ 線性表出。

$k_{1}eta_{1} + k_{2}eta_{2} + cdots + k_{t}eta_{t}$ 是 ${Ax} = 0$ 的通解，其中 $k_{1},k_{2},cdots,k_{t}$ 是任意常數。

矩陣的特徵值和特徵向量

1.矩陣的特徵值和特徵向量的概念及性質

(1) 設 $lambda$ 是 $A$ 的一個特徵值，則 ${kA},{aA} + {bE},A^{2},A^{m},f(A),A^{T},A^{- 1},A^{*}$ 有一個特徵值分別為 ${kλ},{aλ} + b,lambda^{2},lambda^{m},f(lambda),lambda,lambda^{- 1},frac{|A|}{lambda},$ 且對應特徵向量相同（ $A^{T}$ 例外）。

(2)若 $lambda_{1},lambda_{2},cdots,lambda_{n}$ 為 $A$ 的 $n$ 個特徵值，則 $sum_{i= 1}^{n}lambda_{i} = sum_{i = 1}^{n}a_{{ii}},prod_{i = 1}^{n}lambda_{i}= |A|$ ,從而 $|A| eq 0 Leftrightarrow A$ 沒有特徵值。

(3)設 $lambda_{1},lambda_{2},cdots,lambda_{s}$ 為 $A$ 的 $s$ 個特徵值，對應特徵向量為 $alpha_{1},alpha_{2},cdots,alpha_{s}$ ，

若: $alpha = k_{1}alpha_{1} + k_{2}alpha_{2} + cdots + k_{s}alpha_{s}$ ,

則: $A^{n}alpha = k_{1}A^{n}alpha_{1} + k_{2}A^{n}alpha_{2} + cdots +k_{s}A^{n}alpha_{s} = k_{1}lambda_{1}^{n}alpha_{1} +k_{2}lambda_{2}^{n}alpha_{2} + cdots k_{s}lambda_{s}^{n}alpha_{s}$ 。

2.相似變換、相似矩陣的概念及性質

(1) 若 $A sim B$ ，則

1) $A^{T} sim B^{T},A^{- 1} sim B^{- 1},,A^{*} sim B^{*}$

2) $|A| = |B|,sum_{i = 1}^{n}A_{{ii}} = sum_{i =1}^{n}b_{{ii}},r(A) = r(B)$

3) $|lambda E - A| = |lambda E - B|$ ，對 $foralllambda$ 成立

3.矩陣可相似對角化的充分必要條件

(1)設 $A$ 為 $n$ 階方陣，則 $A$ 可對角化 $Leftrightarrow$ 對每個 $k_{i}$ 重根特徵值 $lambda_{i}$ ，有 $n-r(lambda_{i}E - A) = k_{i}$

(2) 設 $A$ 可對角化，則由 $P^{- 1}{AP} = Lambda,$ 有 $A = {PΛ}P^{-1}$ ，從而 $A^{n} = PLambda^{n}P^{- 1}$

(3) 重要結論

1) 若 $A sim B,C sim D$ ，則 $egin{bmatrix} A & O \ O & C \end{bmatrix} sim egin{bmatrix} B & O \ O & D \end{bmatrix}$ 。

2) 若 $A sim B$ ，則 $f(A) sim f(B),left| f(A) ight| sim left| f(B) ight|$ ，其中 $f(A)$ 為關於 $n$ 階方陣 $A$ 的多項式。

3) 若 $A$ 為可對角化矩陣，則其非零特徵值的個數(重根重複計算)＝秩( $A$ )

4.實對稱矩陣的特徵值、特徵向量及相似對角陣

(1)相似矩陣：設 $A,B$ 為兩個 $n$ 階方陣，如果存在一個可逆矩陣 $P$ ，使得 $B =P^{- 1}{AP}$ 成立，則稱矩陣 $A$ 與 $B$ 相似，記為 $A sim B$ 。

(2)相似矩陣的性質：如果 $A sim B$ 則有：

1) $A^{T} sim B^{T}$

2) $A^{- 1} sim B^{- 1}$ （若 $A$ ， $B$ 均可逆）

3) $A^{k} sim B^{k}$ （ $k$ 為正整數）

4) $left| {λE} - A ight| = left| {λE} - B ight|$ ，從而 $A,B$ 有相同的特徵值

5) $left| A ight| = left| B ight|$ ，從而 $A,B$ 同時可逆或者不可逆

6) 秩 $left( A ight) =$ 秩 $left( B ight),left| {λE} - A ight| =left| {λE} - B ight|$ ， $A,B$ 不一定相似

二次型

1. $mathbf{n}$ 個變數 $mathbf{x}_{mathbf{1}}mathbf{,}mathbf{x}_{mathbf{2}}mathbf{,cdots,}mathbf{x}_{mathbf{n}}$ 的二次齊次函數

$f(x_{1},x_{2},cdots,x_{n}) = sum_{i = 1}^{n}{sum_{j =1}^{n}{a_{{ij}}x_{i}y_{j}}}$ ，其中 $a_{{ij}} = a_{{ji}}(i,j =1,2,cdots,n)$ ，稱為 $n$ 元二次型，簡稱二次型. 若令 $x = egin{bmatrix}x_{1} \ x_{1} \ vdots \ x_{n} \ end{bmatrix},A = egin{bmatrix} a_{11}& a_{12}& cdots & a_{1n} \ a_{21}& a_{22}& cdots & a_{2n} \ cdots &cdots &cdots &cdots \ a_{n1}& a_{n2} & cdots & a_{{nn}} \end{bmatrix}$ ,這二次型 $f$ 可改寫成矩陣向量形式 $f =x^{T}{Ax}$ 。其中 $A$ 稱為二次型矩陣，因為 $a_{{ij}} =a_{{ji}}(i,j =1,2,cdots,n)$ ，所以二次型矩陣均為對稱矩陣，且二次型與對稱矩陣一一對應，並把矩陣 $A$ 的秩稱為二次型的秩。

2.慣性定理，二次型的標準形和規範形

(1) 慣性定理

對於任一二次型，不論選取怎樣的合同變換使它化為僅含平方項的標準型，其正負慣性指數與所選變換無關，這就是所謂的慣性定理。

(2) 標準形

二次型 $f = left( x_{1},x_{2},cdots,x_{n} ight) =x^{T}{Ax}$ 經過合同變換 $x = {Cy}$ 化為 $f = x^{T}{Ax} =y^{T}C^{T}{AC}$ $y = sum_{i = 1}^{r}{d_{i}y_{i}^{2}}$ 稱為 $f(r leq n)$ 的標準形。在一般的數域內，二次型的標準形不是唯一的，與所作的合同變換有關，但係數不為零的平方項的個數由 $r(A)$ 唯一確定。

(3) 規範形

任一實二次型$f$都可經過合同變換化為規範形 $f = z_{1}^{2} + z_{2}^{2} + cdots z_{p}^{2} - z_{p + 1}^{2} - cdots -z_{r}^{2}$ ，其中 $r$ 為 $A$ 的秩， $p$ 為正慣性指數， $r-p$ 為負慣性指數，且規範型唯一。

3.用正交變換和配方法化二次型為標準形，二次型及其矩陣的正定性

設 $A$ 正定 $Rightarrow {kA}(k > 0),A^{T},A^{- 1},A^{*}$ 正定； $|A| >0$ , $A$ 可逆； $a_{{ii}} > 0$ ，且 $|A_{{ii}}| > 0$

$A$ ， $B$ 正定 $Rightarrow A +B$ 正定，但 ${AB}$ ， ${BA}$ 不一定正定。

$A$ 正定 $Leftrightarrow f(x) = x^{T}{Ax} > 0,forall x eq 0$

$Leftrightarrow A$ 的各階順序主子式全大於零

$Leftrightarrow A$ 的所有特徵值大於零

$Leftrightarrow A$ 的正慣性指數為 $n$

$Leftrightarrow$ 存在可逆陣 $P$ 使 $A = P^{T}P$

$Leftrightarrow$ 存在正交矩陣 $Q$ ，使 $Q^{T}{AQ} = Q^{- 1}{AQ} =egin{pmatrix} lambda_{1} & & \ egin{matrix} & \ & \ end{matrix} &ddots & \ & & lambda_{n} \ end{pmatrix},$

其中 $lambda_{i} > 0,i = 1,2,cdots,n$ 。正定 $Rightarrow {kA}(k >0),A^{T},A^{- 1},A^{*}$ 正定； $|A| > 0,A$ 可逆； $a_{{ii}} >0$ ，且 $|A_{{ii}}| > 0$ 。