如何推導正態分布的概率密度函數？

12-13

（1）如何推導正態分布的概率密度函數 $f(x)=frac{1}{sqrt{2pi } sigma}e^{-frac{(x-mu )^{2} }{2sigma ^{2} } }$
（2）正態分布與二項分布有什麼關係

謝邀。我回答這個也過癮一下，畢竟這類數學很又也沒有寫了。

如果一個概率密度函數的期望值和誤差是已知的，那正態分佈函數是滿足這些條件的最大熵值（maximum entropy）解。一個概率密度函數 $p(mathbf{x})$ 的熵值為 $S[ p(mathbf(x) ] = - int dmathbf{x} p(mathbf{x}) log p(mathbf{x})$

但 $p(mathbf{x})$ 不是任意的，它要滿足一定條件。第一個條件就是要歸一： $int dmathbf{x} cdot p(mathbf{x}) = 1$ 。如果只滿足這個，那 $p(mathbf{x})$ 是平均分佈。

但如果已知期望值為 $mu$ 和誤差為 $sigma$ ，即
$int dmathbf{x} mathbf{x} p(mathbf{x}) = mathbf{mu}$
$int dmathbf{x} (mathbf{x}-mathbf{mu})^2 p(mathbf{x}) = int dmathbf{x} mathbf{x}^2 p(mathbf{x}) - mathbf{mu}^2 = sigma^2$

我們要尋找最大熵值解，即我們要求最大的S而滿足以上的條件，那我們要用Langrangian multipliers：
$S[ p(mathbf{x}); lambda_1, lambda_2, lambda_3] = - int dmathbf{x} p(mathbf{x}) log p(mathbf{x}) + lambda_1 left( int dmathbf{x} p(mathbf{x}) - 1 ight) + mathbf{lambda_2} cdot left( int dmathbf{x} mathbf{x} p(mathbf{x}) - mathbf{mu} ight) + lambda_3 left( int dmathbf{x} left(mathbf{x}^2 p(mathbf{x}) ight) - mathbf{mu}^2 - sigma^2 ight)$

用Euler-Langrange方程，知道最大熵值解必滿足
$0 = frac{delta S}{delta p(mathbf{x})} = - log p(mathbf{x}) - 1 + lambda_1 + mathbf{lambda_2} cdot mathbf{x} + lambda_3 x^2$
或 $p(mathbf{x}) = exp left(- 1 + lambda_1 + mathbf{lambda_2} cdot mathbf{x} + lambda_3 x^2 ight)$