高斯分布的數字特徵（期望，平方的期望和方差）

08-10

來自專欄機器學習與數學

本文要證明的是如下三個式子，這也是PRML exercise 1.8：

$E(x)=int^{infty}_{-infty}N(x mid mu,sigma^2) xdx =mu quadquadquad(1)$

$E(x^2)=int^{infty}_{-infty}N(x mid mu,sigma^2) x^2 dx = mu^2 + sigma^2 quadquadquad(2)$

$var(x)=E(x^2)-E[x]^2=sigma^2 quadquadquad(3)$

首先證明式（1）

令 $y=x-mu$ ，那麼

$egin{aligned} E(x) &=int^{infty}_{-infty} N(x mid mu,sigma^2) xdx \ &=int^{infty}_{-infty} frac{1}{(2pi sigma^2)^{1/2}}exp[-frac{1}{2sigma^2}(x-mu)^2]x dx \ &= int^{infty}_{-infty} frac{1}{(2pi sigma^2)^{1/2}}exp(-frac{y^2}{2sigma^2} )(y+mu) dy \ &= frac{1}{(2pi sigma^2)^{1/2}} [ int^{infty}_{-infty} exp (-frac{y^2}{2sigma^2} ) y dy + int^{infty}_{-infty} exp [-frac{y^2}{2sigma^2} ) , mu ,dy ] end{aligned} quadquadquad(4)$

注意到式（4）中， $displaystyle exp(-frac{y^2}{2sigma^2}) y$ 是奇函數，因此有 $displaystyle int^{infty}_{-infty} exp (-frac{y^2}{2sigma^2} ) y dy= 0$ ，所以：

$egin{aligned} E(x) &= frac{1}{(2pi sigma^2)^{1/2}} int^{infty}_{-infty} exp (-frac{y^2}{2sigma^2} ) , mu ,dy \ &= frac{mu}{(2pi sigma^2)^{1/2}} int^{infty}_{-infty} exp (-frac{y^2}{2sigma^2} ) dy end{aligned} quadquadquad(5)$

由結論：

$int^{infty}_{-infty} exp (-frac{y^2}{2sigma^2} ) dy = (2 pi sigma^2)^{1/2}$

該結論在我的另一篇文章《為什麼高斯分布概率密度函數的積分等於1》中證明過。

因此 $displaystyle E(x)=mu$ ，式（1）得證。

然後證明式（3）

為了證明式(3)，首先引用已知的結論：

$int^{infty}_{-infty}frac{1}{(2pi sigma^2)^{1/2}}exp{-frac{1}{2sigma^2}(x-mu)^2} dx =1 quadquadquad(6)$

這也在《為什麼高斯分布概率密度函數的積分等於1》中證明過。

由式（6）：

$int^{infty}_{-infty}exp{-frac{1}{2sigma^2}(x-mu)^2} dx = (2pi sigma^2 ) ^{1/2}quadquadquad(7)$

把 $sigma^2$ 看作參數，對式（7）的兩邊分別對 $sigma^2$ 求導數，可得：

$int^{infty}_{-infty}exp{-frac{1}{2sigma^2}(x-mu)^2} dx [-frac{(x-mu)^2}{2}] (-1)(sigma^2)^{-2} = frac{(2pi) ^{1/2}}{2} (sigma^2)^{-1/2} quadquadquad(8)$

整理可得：

$egin{aligned} int^{infty}_{-infty} frac{1}{(2pi sigma^2)^{1/2}}exp[-frac{1}{2sigma^2}(x-mu)^2] (x-mu)^2 dx &= sigma^2 \ &= E(x-mu)^2 \ &=var(x) end{aligned} quadquadquad(9)$

式（3）得證

最後證明式（2）

由式（9）：

$E(x-mu)^2= E(x^2)-2uE(x)+mu^2=sigma^2$

因此： $E(x^2) = mu^2 + sigma^2$

式（2）得證