最小均方誤差和最小二乘有什麼區別？

01-28

最小二乘（LS）問題是這樣一類優化問題，目標函數是若干項的平方和，每一項具有形式 $a_{i}^{T} x-b_{i}$ ，具體形式如下：

minimize $f(x)=sum_{i=1}^{k}{left( a_{i}^{T}x-b_{i} ight)^{2} }$ （式1）

但是，我們在實際優化問題中經常看到的是另一種表示形式：

$sum_{i=1}^{k}left(y_{i}-hat{f} (x_{i}, heta ) ight)^{2}$ （式2）

其中 $y$ 是真值， $hat{f}(x, heta )$ 是估計值，式1和式2是一樣的，只是用的符號不同，式1中的 $x$ 對應式2中的 $heta$ ，即優化中要求的變數。

------------------------------------------------------------------------

作為過渡概念，LS的一種更複雜也更靈活的變形：

加權最小二乘 根據實際問題考慮每個求和項的重要程度，即加權值w，如下：

$sum_{i=1}^{k}w_{i}left( a_{i}^{T}x-b_{i} ight)^{2}$

------------------------------------------------------------------------

均方誤差（MSE）是一種加權最小二乘，它的權值是概率

參考資料

Convex Optimization by Stephen Boyd
Least squares

最小二乘：有限樣本；

最小均方誤差：無限樣本。

簡單點：

最小二乘法（LS）：觀測值與實際數據誤差平方和最小，min(y-f(x))。

最小均方誤差（MMSE）：誤差平方和取均值再開方，在含噪數據中使預測模型有好的精度（概率最大模型），達到f(x)=y。

蟹妖。本人統計菜鳥。

最小二乘是點估計，點估計的目的是求出和給定樣本差異最小的函數參數，而最小二乘是定義、求出「差異」的一個方法。

最小均方誤差似乎是一種區間估計的方法。

基於均方誤差最小化來進行模型求解的方法稱為「最小二乘法」。——周志華《機器學習》