嶺回歸-定義與歷史

趁著培訓專題的確定，陸續將培訓調研的內容記錄下來，方便後續回溯。

第一個主題是嶺回歸。

• 歷史
• 天文學和測地學的發展

18世紀天文學和測地學的發展帶來了很多新的，亟待解決的問題。比如法國國王提出的如何測量地球經線長度，以及大航海時代中如何對船隻進行定位。這些問題都可以抽象成一個統一的數學模型：

• 最小二乘法

為了解決抽象出的多元線性方程組，勒讓德和高斯分別在1806年和1809年提出了最小二乘法。數學史上的這種撞車不勝枚舉，比如牛頓和萊布尼茨的微積分，牛頓和胡克的力學定律等等。最小二乘法可以簡單的理解成最小化觀測值和預測值之間的差的平方和，求平方和相比求絕對值極大地簡化了運算。

勒讓德給出了最小二乘法的數學求解形式，但是並沒有對最小二乘法進行深入的誤差分析。高斯和馬爾科夫對最小二乘法進行分析，指出在一切線性無偏估計量中，最小二乘估計的方差達到最小。高斯-馬爾科夫定理給出了最小二乘的出眾之處，此前，它僅僅是一個漂亮的演算法，而現在，它成為無偏估計中方差最小的解

• 回歸的發現

「回歸」這個名詞最早是在1870年高爾登的親代性狀遺傳規律的研究中被提出，從遺傳學觀點來看，身高應該隨著物種更迭出現分化，高的越來越高，矮的越來越矮。實際上，人類種群的身高從來沒有發生分化。

高爾登做了一組豌豆的實驗，把70粒豌豆種子分成7組，分別種植，觀察親代和子代的種子大小。試驗結果是相同大小種子的後代，其大小成正態分布，且分布的方差和種子大小無關。大種子產生的子代，平均大一些，但有朝母代中心收縮的趨勢，且收縮量呈線性關係

高爾登的結論是親子代間性狀遺傳中，性狀有向中心回歸的現象，第一次提出了回歸的概念

• 總結

推薦閱讀：