什麼是無偏估計？

01-21

定義:設X1X2至Xn是總體的一個樣本。。。。什麼什麼的不說了，符號打不出來。
我的問題:不論總體服從什麼分布，樣本均值是總體均值的無偏估計量。這是書上的原話。
這怎麼可能？樣本的均值不一定等於總體均值啊？大多數情況下就是不等啊？！

比如我要對某個學校一個年級的上千個學生估計他們的平均水平（真實值，上帝才知道的數字），那麼我決定抽樣來計算。

我抽出一個10個人的樣本，可以計算出一個均值。那麼如果我下次重新抽樣，抽到的10個人可能就不一樣了，那麼這個從樣本裡面計算出來的均值可能就變了，對不對？

因為這個均值是隨著我抽樣變化的，而我抽出哪10個人來計算這個數字是隨機的，那麼這個均值也是隨機的。但是這個均值也會服從一個規律（一個分布），那就是如果我抽很多次樣本，計算出很多個這樣的均值，這麼多均值們的平均數應該接近上帝才知道的真實平均水平。

如果你能理解「樣本均值」其實也是一個隨機變數，那麼就可以理解為這個隨機變數的期望是真實值，所以無偏（這是無偏的定義）；而它又是一個隨機變數，只是估計而不精確地等於，所以是無偏估計量。

給你舉個例子吧：

現在甲市有一萬名小學三年級學生，他們進行了一次統考，考試成績服從1~100的均勻分布：00001號學生得1分，00002號學生得1.01分……10000號學生得100分。那麼他們的平均分是多少？(1+1.01+1.02+....+100)/10000=50.5，這個值叫做總體平均數。

現在假定你是教委的一個基層人員，教委主任給你一個早上時間，讓你估算一下全市學生的平均成績，你怎麼辦？把全市一萬名學生都問一遍再計算時間顯然是來不及了，因此在有限的時間裡，你找到了一個聰明的辦法：給全市的78所小學每一所學校打了一個電話，讓他們隨機選取一名學生的成績報上來，這樣你就得到了78個學生的成績，這78個學生就是你的樣本。

你現在的任務很簡單了，拿這78個學生的成績相加併除以78，你就得到了樣本平均數。你把這個數報告給教委主任，這個數就是你估算出來的全市平均成績。

這個樣本平均數會不會等於總體平均數50.5？很顯然這和你的「手氣」有關——不過大多數情況下是不會相等的。

那麼問題來了：既然樣本平均數不等於總體平均數（也就是說你報給教委主任的平均分和實際的平均分非常有可能是不一樣的），要它還有用嗎？有！因為樣本平均數是總體平均數的無偏估計——也就是說只要你採用這種方法進行估算，估算的結果的期望值（你可以近似理解為很多次估算結果的平均數）既不會大於真實的平均數，也不會小於之。換句話說：你這種估算方法沒有系統上的偏差，而產生誤差的原因只有一個：隨機因素（也就是你的手氣好壞造成的）。

謝邀。

應該是樣本均值的期望等於總體均值

樣本均值是由具體的樣本決定的，但是樣本均值的期望是可以直接算出來的。

首先抽樣必須是隨機的，然後我們由樣本得到的東西，不管是樣本均值，還是樣本方差，都叫做統計量。

什麼樣的統計量才是好的？無偏性是其中一個考量。假設你的N個樣本是X1-Xn，它們是獨立同分布的，樣本均值就是(X1+...Xn)/n，你求一下它的期望：E((X1+...Xn)/n)=nE(x)/n=E(x)，這個跟總體分布的均值是一樣的。樣本均值是一個隨機變數，這裡的無偏性指的是期望層面的。

無不無偏，當然是要下手算一下的，比如樣本方差在這裡（如果分母是n）就不是無偏的。但是沒關係，當樣本量趨向於無窮大時，這個值漸近的趨近於總體分布的方差。這就是一致性。一致性是在無偏性的基礎上退而求其次，有時候我們反而更加關注一致性。

無偏估計T(X)是這樣一種統計量，它的期望ET(X)恰好就是欲估的參數 heta。事實上，任何統計量都是其期望的無偏估計。

剛上完統計課的相關內容(其實就是中心極限定理)，把學到的知識記到下面：

簡單地說就是，當樣本分布的平均值等於等於總體的平均值。

詳細說一下，請耐心看完，please.

在我們講無偏估計（unbiased estimator）之前我想先說一個概念，那就是樣本統計（Sample Statistics）。

生活中我們需要知道一些數據的時候，常常要統計樣本然後推到總體，比如我們想知道全國小學生的平均身高，我們不可能全部測量，我們要取樣本，然後通過樣本估計總體（全國小學生平均身高）。但是要怎樣估計才準確呢，就出現了樣本統計。

因為我看到高票答案也是暈暈的。我們舉同一個栗子，讓你理解什麼是無偏估計。

現在甲市有一萬名小學三年級學生，他們進行了一次統考，考試成績服從1~100的均勻分布：00001號學生得1分，00002號學生得1.01分……10000號學生得100分。那麼他們的平均分是多少？(1+1.01+1.02+....+100)/10000=50.5，這個值叫做總體期望（現實生活中我們不知道，只能通過樣本估計）

給全市的78所小學每一所學校打了一個電話，讓他們隨機選取一名學生的成績報上來，這樣你就得到了78個學生的成績，這78個學生就是你的樣本。

這是我們取到第一個樣本，我們算出樣本1的平均數,記作 $ar{x} 1$ ,

注意不同就在這裡，

我們再從新給全市的78所小學每一所學校打了一個電話，讓他們隨機選取一名學生的成績報上來，這樣你就得到了78個學生的成績，這是我們取到第二個樣本，我們算出樣本2的平均數,記作 $ar{x} 2$ .

繼續，我們繼續給全市的78所小學每一所學校打了一個電話，讓他們隨機選取一名學生的成績報上來，這樣你就得到了78個學生的成績，這是我們取到第三個樣本，我們算出樣本3的平均數,記作 $ar{x} 3$ .

。

就這樣你一早上打了十遍電話，得到十個樣本的平均數，你會發現樣本的平均數的分布符合正態分布。我們就可以用最大似然數估計或距估計求得這個正態分布的期望。

而樣本平均數的期望（在這裡就是均值），就極其接近總體的期望。我們成為無偏估計（unbiased estimation）

而一次取平均數就說這是總體的平均值的做法就是偏差估計（biased estimation）.

無偏估計啊。。。。

設總體均值為μ，樣本均值為 $ar{x}$

無偏估計就是：

$E(ar{x} ) =mu$

這麼說吧：

同一個總體，一次抽樣什麼幺蛾子都有可能出現。

但是只要你肯一直堅持不懈的抽樣下去，每次的樣本均值的均值，還等於總體均值——就是無偏的。

標準定義，設 $X_1,X_2,cdotscdots,X_n$ 是來自總體 $f(x, heta)$ 的一個樣本。 $S(X_1,X_2,cdotscdots,X_n)$ 是 $g( heta)$ 的無偏估計當且僅當 $E(S(X_1,X_2,cdotscdots,X_n))=g( heta)$

先給出通俗的定義：無偏估計是指「估計量的期望等於估計參數的真值」。

對應問題，我們用 $hat{mu}$ 表示樣本均值（估計量）， $mu$ 表示總體均值（即估計參數的真值），無偏估計也就對應 $E（hat{mu}）=mu$ 。

舉個例子：

我們有一個population，其均值為 $mu$ ；

我們要從中抽樣得到一個 $S_1$ (a random sample of size n)，我們取出的數字是不確定的，它們是獨立同分布的，我們可以用一組隨機變數 $X_1,X_2,...,X_n$ 來表示， $E(X_i)=mu$ ；

注意，期望和均值是不同的；

取得樣本後，我們就可以知道其確定的值，那麼我們可以得到這個樣本的均值(sample mean)： $hat{mu_1} = frac{X_1+X_2+...X_n}{n}$ ；

考慮其他抽樣 $S_i$ 的話，其對應的樣本均值 $hat{mu_i}$ 會根據 $S_i$ 的不同而不同，我們用 $hat{mu}$ 來表示， $hat{mu}$ 也是一個隨機變數，下面我們來計算它的期望 $E(hat{mu})$

我們來看估計量的期望是否等於估計參數的真值，即the mean of the sample mean == the population mean，計算：

$egin{align*} E(hat{mu}) = E[frac{X_1+X_2+...X_n}{n}] \ = frac{1}{n}E[X_1+X_2+...X_n]\ = frac{1}{n}[E(X_1)+E(X_2)+...+E(X_n)]\ = frac{1}{n}(mu n) \ = mu end{align*}$

$E（hat{mu}）=mu$ ，即估計量的期望等於估計參數的真值，所以我們講the sample mean is an unbiased estimator of the population mean

說白了就是沒有系統誤差。所以E（統計量）= 你想要的結果。

由樣本的平均值去估算總體期望，其本身只是一種測量手段，只要你樣本統計數據的顯著性特徵符合對總體的要求。那麼按照曹夢迪所述的做法，得到的樣本的平均值就是期望的無偏估計。

根據中心極限定理還可以猜想，假如你做足夠多次的採樣計算，那麼你得到的這些樣本均值都會服從一個均值為μ、方差為σ^2/n 的正態分布，而正態分布裡面頻數最高的那個數一定是最真實接近總體期望的那個數。

非常有意思的話題，不過曹夢迪舉得例子好像應該從 0.01開始，呵

多看看書上的定義吧,這個無偏是指的樣本均值的期望！！！！E(樣本期望) = 總體期望

知乎果然大神多，從稍顯複雜的公式推導到形象生動的例子；從嚴謹學術的語言到輕鬆俏皮的調侃，不知不覺就搞懂了，而且連帶了不少其他知識點。

無偏估計是一個定義而不是一個判斷，無偏的實際意義是沒有系統性的偏差，無偏估計量並不要求是完全的真實值，只是我們在規範的抽樣和數據處理方法下得到的比較合理的一個對真實量的估計值，它強調了方法的正確性和估計值的合理性。

我看了這個問題下面的前幾個回答，加上自己的理解，總結一下：

最重要的想法總結如下：首先無偏指的是方法上沒有錯，所謂實驗方法，包含抽樣這個具體動作和計算公式，只說樣本均值和s2這兩個統計方法，因為一個公式一樣，一個不一樣，比較有特點。

樣本均值的實驗方法是，抽一些樣品，記錄他們的值，用公式：」加一加，再除以n「，算出均值，注意這是一個隨機變數，每次實驗都會隨機算出一個樣本均值，既然是隨機變數，就可以算它的數學期望，然後用數學期望的定義和性質算出，正好等於我想要得到的參數：」總體的均值「，整個實驗方法就是一種無偏估計。注意不只是公式。

s2同樣是抽樣，用的公式因子不一樣，是」n-1「，原因是公式中的均值不是總體的均值，而是抽樣抽出來的，具體算就會發現用n-1可以消除這個問題。這裡會產生的一個問題是：如果我把總體都抽了呢，應該用n而不是n-1啊。自由度這裡我沒學，講一個自己的直觀的想法，可能不對，想法就是數學期望這件事是把重複了無數次的結果取了一個均值：我抽樣，可以把所有都抽了，也可以只抽兩個，為什麼用n-1，是因為我抽兩個，抽三個的情況下，用n-1除效果比用n好，數學期望是抽任意個樣本的平均。我覺得按照這種想法，可能在抽樣比較多的情況下用n更好。

總結，無偏是指實驗方法無偏，我做抽樣，而不是把所有的值都記錄下來，導致公式可能要換一換，使的我抽少量樣本和大量樣本計算的結果平均後仍然是真實值

個人理解：

因為取樣的樣本是隨機變數。假設總體均值為 Ex，第一個樣本均值為 ex1,第二個為ex2.... 足夠多的不重複樣本均值的均值 ex,當 ex-Ex =0 則是無偏估計。這裡均值只是一個參數，設為方差這個參數也是一樣的道理。即對於參數的無偏估計。

上面的回答大多只是書本的公式照搬，背後的意義，我看了沒有說的很明白。

一、比如X=1 P=0.5 X=0 P=0.5

以上的概率代表什麼？代表一個抽樣的結果，即0.5的意思是，在大量的、反覆的、近乎無限的抽樣中，大概有一半次數你可以觀察到為1 一半次數觀察到0。

二、上面的期望是多少？毫無疑問EX=0.5，但是在現實世界中，你怎麼解釋這個0.5？？？

以上的期望代表什麼？代表一個抽樣的結果，即EX=0.5的意思是，在大量的、反覆的、近乎無限的抽樣中，大概有一半次數你可以觀察到為1 一半次數觀察到0。比如抽樣10000次，4978次是1，5022次是0，加起來除以10000.就接近0.5，並非常穩定在0.5左右

三、無偏是什麼？X1=1 P=0.5 X1=0 P=0.5和X2=1 P=0.5 X2=0 P=0.5

假設X1 X2獨立，都是2點分布，我問你X1=1 X2=1的概率是多少？？你毫不猶豫回答，0.5*0.5=0.25，0.25啥意思？照搬以上，反覆、大量的實驗中，比如實驗10000次，觀察到X1=1 X2=1的次數在2500左右。均值是多少？（1+1）/2*2500/10000 ，同理會有其他次數觀察到X1=1 X2=0,即（1+0）/2*2500/10000 等等情況。觀察到並，最後就是書本的公式的化簡了E(X1+X2)=E(X1)+E(X2)=1

簡單來說就是統計量的估值的數學期望等於真值

其實就是樣本均值的期望等於總體均值。

參數的樣本估計值的期望值等於參數的真實值。估計量的數學期望等於被估計參數，則稱此為無偏估計。

無偏估計應該是unbiased estimator的意思吧。

我想題主的問題裡面，樣本均值是總體均值的無偏估計量應該是指樣本均值的期望值等於總體均值吧。。。如果單只樣本均值的話，那當然會跟總體均值有偏差，但是樣本均值的期望值就不會了。增加樣本的量可以減少樣本的方差（Variance），所以增加樣本的量可以使估計值更接近總體均值。。

推導見圖

怎麼感覺和Gibbs採樣差不多呢