嶺回歸-嶺回歸
02-21
前面介紹了回歸的定義和歷史，以及最小二乘估計，現在開始介紹嶺回歸。當變數之間存在復共線性時，線性回歸的方差會很大，這時需要加入嶺參數調整
- 嶺估計定義
嶺估計(Ridge estimate)是由Hoerl和Kennard於1970年提出的[Hoerl&Kennard1970]。自1970年以來，這種估計的研究和應用得到廣泛重視，成為目前最有影響的一種有偏估計
嶺回歸又稱脊回歸，它的名字來源於模型的解與正則化參數λ之間的圖像。
- 嶺估計性質
比較重要的是性質3和4，性質3導致在嶺回歸中結果向中間靠攏，偏高和偏低的比較少；性質4是證明嶺回歸優於線性回歸。
- 嶺參數的選擇
- 評價指標
- 局限性
- 總結
推薦閱讀：