在什麼條件下，最大似然估計值是無偏估計？

01-04

在很多情況下，一個參數的最大似然估計都是無偏估計，如正態分布的均值；
但是也有一些情況，最大似然估計不是無偏估計，如正態分布的方差。

那麼是否存在一些條件，使得當概率分布函數和待估參數滿足這些條件時，該參數的最大似然估計值是無偏估計？

這個問題可以參考點估計理論的一些結論。有本書叫做《Theory of Point Estimation》講的很系統。

極大似然估計只能保證一致性，無偏性是很難保證的。比如對於正態分布的極大似然估計：

儘管對mu的估計是無偏的，但是對於方差的估計就是有篇的。當然，對於方差的估計，如果乘以N/(N-1)就是無偏的了。

然而對於標準差的估計就沒有那麼幸運了，最麻煩的問題是一個函數的期望不等於期望的函數，除非這個函數是線性函數。因而對於一個參數 $heta$ ，即使它的函數 $g( heta)$ 存在無偏估計， $heta$ 的無偏估計也可能是不存在的。如果對於 $g( heta)$ 存在一個無偏估計，那麼 $g$ 被稱為是U-estimable的。如果對於任意的總體參數 $heta$ ， $g( heta)$ 的無偏估計量 $delta(x)$ 在所有無偏估計量中都是方差最小的，我們稱這個估計量為UMVU。

有一個結論可能對題主有用，就是如果存在無偏估計量，那麼UMVU估計量是充分且完備統計量 $T(x)$ 的函數。而對於很多分布，特別是指數分布族，極大似然估計和充分完備統計量有著天然的聯繫，所以不妨從這裡入手找所謂的無偏估計。

這問題有點難，從分布P(λ|O)的角度上看，最大似然估計是用這個概率分布的極值的位置，而最小均方估計（無偏估計）是用的期望值E(λ|O)，後者不僅跟極值有關，甚至跟每個位置的概率密度都有關係，所以應該沒有什麼特別簡潔的條件吧……

如果概率密度分布具備某些特殊的條件，也許可以有一些具體的條件，暫時想不到。

線性系統，高斯雜訊