概率分布的自由度是怎麼得來的？如何理解其含義？

01-21

T分布怎麼理解given the mean, only n-1 observation can be unique.
不明白為什麼只有n-1是獨特的平均數又不一定和哪個觀測值一樣
搞不懂各種分布計算自由度的含義每次都靠背理解不深刻

自由度經常被解釋為可以自由變化的變數數量。而在一些原本完全自由的變數上約束它們的通常是一些線性約束 $a_1X_1 + ... a_nX_n = k$ ，那麼自由度與線性約束到底是怎麼在分布中發揮作用的呢？我們可以從隨機向量的標準化過程中遇到的麻煩看出其意義。

假設檢驗中喜歡構造統計量在原假設成立下服從某種標準化分布，這樣多元隨機變數的標準化就很重要了。一元隨機變數標準化形如

$Y = frac{X-E(X)}{sigma(X)}$

$st$

$E(Y) = 0$

$var(Y) = 1$

而多元的隨機向量則應當標準化為

$E(Y)= (0,0,...,0)^T$

$Sigma(Y) = I$

其中 $I$ 是單位矩陣。

標準化為這種形式的目的之一是之後容易導出服從卡方分布的統計量。回憶其定義

$Y=X_1^2 + ... + X_n^2$

$X sim N(0,1) quad i.i.d$

$Y sim chi^2(n)$

若 $X$ 是多元正態分布的隨機向量，則上述標準化後求平方和就直接是服從等於變數個數的自由度的卡方分布統計量。若 $X$ 各分量漸進服從正態分布，也可能可以用此法搞出與前面同分布的統計量，如多項分布。

那麼如何到底如何進行標準化？在協方差矩陣滿秩的情況下，有分解為

$Sigma = PLambda P^T$

其中 $P$ 為特徵向量按列排列的某一正交矩陣， $Lambda$ 為對應的特徵值構成的對角矩陣。

因為 $Lambda$ 是對角矩陣，所以可以直接定義出它的唯一開方 $Lambda^{frac{1}{2}}Lambda^{frac{1}{2}} = Lambda$

令 $A=(PLambda^{1/2})^{-1}$

由協方差在線性變換下的關係 $Sigma(AX) = ASigma(X)A^T$

$Sigma(Y)=ASigma(X)A^T=Lambda^{-1/2}P^{-1}PLambda P^T P Lambda^{1/2} = I$

注意用到了正交矩陣 $P P^T = I$ 等性質

所以一個可以進行標準化的變換就是

$Y = (PLambda^{1/2})^{-1} (X-E(X))$

如果 $X$ 還是正態分布的話， $Y^TY=(X-E(X))^TSigma^{-1}(X-E(X)) sim chi^2(n)$ ，就是我們上面提到的各種標準化分布中的一個。獨立性檢驗之類的問題也容易轉化到這上面來。

然而這上面卻有一個限制，協方差矩陣 $Sigma$ 滿秩。這是必然的嗎？當然不，隨機變數之間的線性組合關係會直接反應在協方差矩陣的秩的下降上。如給定 $X_n = sum_{i=1}^{n-1} X_i$ 這個線性約束。則 $cov(X_n,X_j) = sum_{i=1}^{n-1} cov(X_i,X_j)$ 。也就是說可以通過每行/列去減第n行/列，可以將第n行/列上的全部元素消為0。作為初等行列變換，變換前後的矩陣具有相同的秩，則說明原來的協方差矩陣 $rank(Sigma) le n-1$ .。所以不滿秩。

協方差（對稱）矩陣不滿秩情況下，仍可以做分解，

$Sigma = P Lambda P^T$

不過此時特徵值矩陣 $Lambda$ 對角線上有0。

記 $Q(Lambda)$ 為將特徵值對角矩陣上所有非零元取倒數再取根號的結果。於是有

$Q(Lambda)Lambda Q(Lambda) = I_r$

其中 $I_r$ 是單位矩陣替換了右下 $n-r$ 個1為0的矩陣。

定義變換矩陣為 $M = (PQ(Lambda))^T$

於是變換後協方差為

$Sigma(Y) = Sigma(MX) = Q(Lambda) ^T P^T P Lambda P^T P Q(Lambda) = I_r$

也就是說，由於不滿秩，我們轉而只能使用 $I_r$ 這樣對角線上「1數量不滿」的矩陣作為標準化後的協方差矩陣。

此時與 $(X-E(X))^T Sigma^{-1} (X-E(X))$ 對應的形式為 $(X-E(X))^T PQ(Lambda) Q(Lambda) P^T (X-E(X)) sim chi^2(r)$

回過頭來，協方差矩陣的某些行列全為0（如 $I_r$ 中右下角的元素就是如此）意味著什麼呢。這意味著對應的隨機變數實際表示一個常數。於是我們發現，受約束的隨機變數向量的約束可以體現為協方差矩陣的秩的下降，而這又意味著標準化中會有幾個隨機變數只能被標準化為0常量，而不是本來想要的期望為0，方差為1的不相關隨機變數。

這對於各種構造成服從或漸進服從卡方分布的統計量（以及包含這種統計量在內的其他服從t分布或F分布的隨機函數）是決定性的——理想中，我們想把它們全標準化成不相關0,1隨機變數，然後利用最自然的卡方分布（自由度等於標準化前的變數個數）——然而這個步驟做不下去，只能修正後採用其他自由度的卡方分布。

自由度，通俗的說就是可以自由變動的量的個數。

考慮一下卡方分布的來歷。如果我們按照這種順序來排列正態分布，卡方分布，t分布，F分布，你會發現，正態分布是沒有自由度的，但後面兩者都有。於是你會想到，為什麼會這樣呢？

卡方分布的來歷是對幾個服從標準正態分布N（0,1）【期望值為零，方差為一的正態分布】的變數的平方求和【先各自平方，再求和】。有幾個這樣的變數，卡方分布的自由度就是幾。這是因為我們第一句話就說自由度是可以自由變動的量的個數。

t分布是由一個標準正態分布和一個卡方分布組合的函數形式構成。它的自由度取決於那個卡方分布的自由度，因為正態分布沒有自由度一說。

F分布是由兩個卡方分布構成，因此有兩個自由度。

有一個比較特殊的是：我姑且把它稱之為最後一個變數不能變現象。比如，我們對（Xi-X的期望）的平方求和【從1到i】。你本能覺得自由度是n，其實是n-1.因為你的x的期望是定的，前面有n個數可以變，但一旦定下來之後，最後一個數就不能變了，因為期望是定的。這整個是樣本中產生的，和總體沒有關係。