標籤：

最小二乘法

普通最小二乘法的兩種推導方法

02-08

對於一個簡單的線性回歸模型，其形式為 $y=eta_0+eta_1x+u$

其中 $x$ 是因變數， $y$ 是自變數， $u$ 表示出了 $x$ 之外其他可能影響 $y$ 的因素。我們要用這個模型來尋找在其他因素 $u$ 不變的情況下， $x$ 對 $y$ 的影響大小 $eta_1$ ，也就是說，在 $Delta u=0$ 的情況下

$Delta y=eta _0Delta x$

這個線性公式表明不管 $x$ 的初值是多少，它的任何一個單位的變化對 $y$ 的影響都是相同的，這和很多經濟學上的邊際遞增或者邊際遞減都是不符合的，這個問題之後再討論。

今天我們怎樣估算出最準確的 $eta _0, eta _1$ 呢，我門有兩個方法：

第一種是利用兩個假定推出
第二種是利用殘差的最小平方和最小

那麼我們要做出怎樣的假定，才能估算出最準確的 $eta _0, eta _1$ 呢？

首先，我們要保證

$E(u)=0$

其實這個假定並不是特別的強，因為只要截距 $eta _0$ 被包含在等式之中，假設總體中 $E(u)=0$ 就不會失掉什麼。

其次要保證，因素 $u$ 和 $x$ 之間不相關，也就是

$E(u|x)=0$ 或者說是 $Cov(x, u)=E(xcdot u)=0$

舉一個例子，假設 $x$ 是受教育的年數， $y$ 是工資水平， $u$ 是影響工資水平的其他因素，這裡是天生能力，如果受過8年教育的人的天生能力和受過16年教育的人的天生能力一樣的話，那麼就說明天生能力和受教育年數不相關，它們獨立影響工資水平。如果天生能力越強的人受到的教育越多，那麼這個假定則不成立。

對於給定的樣本 $(x_i, y_i), i=1,2...n$

$y_i=eta _0+eta _1x_i+u_i$

對於所有的 $i$ 都成立，其中 $u_i$ 是第 $i$ 次觀察的誤差項，包含了出了自變數之外的所有其他變數

根據 $y_i=eta _0+eta _1x_i+u_i$ ，就可以把 $E(u)=0$ 和 $E(u|x)=0$ 改寫成為

$frac{1}{n}sum_{i=1}^{n}{(y_i-eta_0-eta_1x_i})=0$

$frac{1}{n}sum_{i=1}^{n}{x_i(y_i-eta_0-eta_1x_i})=0$

根據以上兩個假設，我們就可以推導出最小二乘法的兩個結果

$eta_1=frac{sum_{i}^{n}{(x-x_i)(y-y_i)} }{sum_{i}^{n}{(x-x_i)^2} }$

$eta _0=ar{y}- eta _1ar{x}$

當然，這個也可以利用殘差的平方和推導出

$Min(sum_{i=1}^{n}{(y_i-eta_0-eta_1x_i})^2)$

為了使得殘差的平方和最小，使得此公式對 $y_i, x_i$ 的偏導為0，可以和前面得到相同的公式

$sum_{i=1}^{n}{(y_i-eta_0-eta_1x_i})=0$

$sum_{i=1}^{n}{x_i(y_i-eta_0-eta_1x_i})=0$

同樣可以得到對 $eta_0, eta_1$ 的合理估計

來源：《計量經濟學導論——現代觀點》

推薦閱讀：

※你從未這樣理解矩陣----從新認識矩陣
※矩陣轉換最優化怎麼求？
※多元線性模型下的最小二乘法
※最小均方誤差和最小二乘有什麼區別？

TAG:最小二乘法 |