標籤：

嶺回歸-最小二乘估計

02-28
最小二乘估計是線性回歸的基礎。線性回歸模型的數學形式可以寫成

  • 物理意義

高斯-馬爾科夫定理已經證明，在給定經典線性回歸的假定下，最小二乘估計量是具有最小方差的線性無偏估計量(Gauss-Markov定理)

具體每項的含義以及為什麼要在這些條件的限制下才有這樣的性質需要單開一篇才能說清楚，這裡就不詳細介紹了。

  • 公式推導

標紅的部分是推導過程中用到的關鍵部分，主要是求導的兩個公式

  • 均方誤差準則

這一塊是具體的分析過程，也是指出線性回歸的問題的整個推導過程

為了解決因為復共線性導致的方差較大的問題，嶺回歸應運而生
推薦閱讀：

※最小均方誤差和最小二乘有什麼區別？
※BAT機器學習面試1000題系列（66-70題）
※多元線性模型下的最小二乘法
※矩陣轉換最優化怎麼求？
※梯度下降法

TAG:最小二乘法 | 線性回歸 | 自然語言處理 |