內積，正交，最小二乘法

09-22

內積，正交，最小二乘法

4 人贊了文章

正本清源。

內積和內積空間

三種空間：度量空間 $supset$ 賦范空間 $supset$ 內積空間。

定義了內積的實線性空間稱為實內積空間或歐幾里德（Euclid）空間，基本上在現實空間的直覺在實內積空間都成立。

內積的定義

三維實線性空間 $R^3$ 上的兩個矢量 $X=(x_1,x_2,x_3)$ $Y=(y_1,y_2,y_3)$ ，內積為 $left langle X,Y ight angle=x_1y_1+x_2y_2+x_3y_3=left| X ight|left| Y ight|cos( heta)$ (1)

即餘弦定理。

對於n維實線性空間 $R^n$ 上的兩個矢量 $X=(x_1,x_2,cdots,x_n)$ 和 $Y=(y_1,y_2,cdots,y_n)$ ，歐幾里德（Euclidean）內積為：

$left langle X,Y ight angle=sum_{j=1}^{n}{x_jy_j}$ (2)

將上述實矢量空間中的定義擴展到復矢量空間：

對於n維複線性空間 $C^n$ 上的兩個矢量 $Z=(z_1,z_2,cdots,z_n)$ 和 $W=(w_1,w_2,cdots,w_n)$ ，歐幾里德（Euclidean）內積為：

$left langle Z,W ight angle=sum_{j=1}^{n}{z_joverline{w_j}}$ (3)

共軛的目的是保證 $C^n$ 上的矢量長度是實的且為非負。

復矢量空間內積的性質：

即兩點之間，直線最短。

上述定義為有限維空間（相當於一個有限長度的時域離散序列，序列的每一點代表一個維度）中內積的定義，無限維空間（相當於時域連續的信號，可以認為是由無窮多個離散信號組成）中的內積定因為：

$L^2(left[ a,b ight])$ 在這裡表示平方可積的連續函數組成的空間，自變數變化範圍是 $left[ a,b ight]$ 。

正交

內積表徵的是兩個矢量的相合程度（內），內積為零的兩個矢量正交，此時外積最大。關於正交有如下定義：

第一條是內積本身的定義。

第二條，舉個例子，比如傅里葉級數的正交基是由一系列頻率不同的正弦和餘弦分量組成，任意兩個正交（要麼頻率不同，要不相位差90度，在一個周期內的積分總是為零）。再舉個例子，比如小波分析中的父函數是一些列在整數點上出現的單位衝擊分量，任何一個和其他衝擊分量乘積總是為零。

第三條，舉例，小波變化中尺度函數和小波函數分別作為基張成的空間。

正交基的用途是可以線形表示矢量，如果是正交基所在空間矢量，通過正交基的線形疊加可以無差的表示。如果不是正交基所在的空間，正交基也能給出所在空間最接近的對應矢量。

正交基與矢量同一空間的情況

$V_0$ 是內積空間 $V$ 中的子空間，設 $left{ e_1,cdots,e_N ight}$ 是 $V_0$ 的正交基，若 $vin V_0$ ，那麼：

$v=sum_{j=1}^{N}{ left langle v,e_j ight angle}e_j$ (5)

即，任何矢量可以分解為所在空間正交基的加權和。

正交基與矢量不同空間的情況

若 $v$ 不是由 $V_0$ 空間的正交基 $left{ e_1,cdots,e_N ight}$ 線形張成的，則無法通過(5)計算其在 $V_0$ 空間的表達式，此時最好的辦法是找到由 $left{ e_1,cdots,e_N ight}$ 線形張成的 $v_0$ ，且與 $v$ 盡量接近。在 $V_0$ 空間與 $v$ 最接近的點 $v_0$ 稱為 $v$ 在 $V_0$ 空間的投影。

這裡順便引入正交補的概念：

對於給定的子空間構造正交基，可以使用Gram-Schmidt正交化方法（略）。

最小二乘法

最小二乘的經典例子是用直線擬合超過兩個點（注意，超過兩個點在這裡很重要，否則就沒有擬合的必要）。

在二維平面上，設有數據點 $left{ left( x_1,y_1 ight),left( x_2,y_2 ight),cdots,left( x_N,y_N ight) ight}$ ，目標是求一條直線的表達式 $y=mx+b$ 的係數 $m$ 和 $b$ ，使得直線距離所有點的在縱軸方向的總誤差，即代價函數最小（注意，這裡不是要求直線到點的距離最小），即：

$minleft{E ight}=minleft{frac1 N sum_{i=1}^{N}{left| y_i-(mx_i+b) ight|}^2 ight}$ (6)

這個問題可以被等效為：求 $N$ 維實空間 $R^N$ 中兩個矢量的距離，一個矢量已經確定了，即 $Y=egin{pmatrix} y_1 \ y_2 \ vdots \ y_N end{pmatrix}$ 。另一個矢量是 $mX+bU$ ，其中，X和U都是已經確定的 $R^N$ 中的矢量： $X=egin{pmatrix} x_1 \ x_2 \ vdots \ x_N end{pmatrix}$ ， $U=egin{pmatrix} 1 \ 1 \ vdots \ 1 end{pmatrix}$ ，而m和b是待確定的係數。

改變m和b的組合， $mX+bU$ 可以張成一個平面 $M$ （因為 $M$ 空間的自由度來自兩個獨立矢量， $X$ 和 $U$ ），問題變成怎麼最接近的表示平面（空間）外的矢量的問題了，根據定理21。

$Y$ 在 $M$ 上的正交投影 $P$ 是 $M$ 平面上到 $Y$ 距離最近（這裡又變成點到平面的距離了，注意和上面黑體字部分區分）的點。

$P$ 點對應的m和b是最佳擬合直線的參數。

$M$ 平面是由矢量 $X$ 和 $M$ 張成，點 $P$ 是 $Y$ 在 $M$ 上的正交投影。因此， $Y-P$ 與 $X$ 和 $M$ 都正交，或者說，內積為0，即：

$0=left langle (Y-P),X ight angle=left langle (Y-(mX+bU)),X ight angle\0=left langle (Y-P),U ight angle=left langle (Y-(mX+bU)),U ight angle$

(7)

根據內積的線性性質，上式可以化為：

$left langle X,Y ight angle=mleft langle X,X ight angle+bleft langle X,U ight angle\left langle U,Y ight angle=mleft langle X,U ight angle+bleft langle U,U ight angle$

(8)

用矩陣形式表示(8)：

$egin{pmatrix} x_1 &cdots& x_N \ 1 &cdots& 1 end{pmatrix} egin{pmatrix} y_1 \vdots \y_N end{pmatrix} = egin{pmatrix} x_1 &cdots& x_N \ 1 &cdots& 1 end{pmatrix} egin{pmatrix} x_1&1 \vdots&vdots \x_N&1 end{pmatrix} egin{pmatrix} m \ b end{pmatrix}$ (9)

問題變成了解(9)中的 $egin{pmatrix} m \ b end{pmatrix}$ 。

上式可寫為

$Z^TY=Z^TZv$ (10)

v就是最優的擬合函數的參數列向量，也是我們求解得目標。

$v=(Z^TZ)^{-1}Z^TY$ (11)

將最小二乘法推廣至一般情況下的多元函數的情況。

$egin{pmatrix} z_11 & cdots & z_1q \ vdots & ddots & vdots \ z_N1 & cdots & z_Nq end{pmatrix} egin{pmatrix} v_1 \ vdots \ v_q end{pmatrix} = egin{pmatrix} y_1 \ vdots \ y_q end{pmatrix}$

即 $ZV=Y$

Z是一個 $N imes q$ 矩陣。N代表樣本數，比如上一個直線擬合的例子中，二維平面有4個採樣點，則N=4，q代表擬合方程自變數的自由度，上例中擬合函數為可以不過原點的直線，則擬合方程的自由度來自橫軸上的自變數一次表達式X和縱軸上的截距表達式U。同理，假如我們要用拋物線來擬合4個採樣點的話，Z矩陣就變成了：