如何從概率公理得到熵的公式？

01-19

Probability axioms
Differential entropy
Maximum entropy probability distribution

不失一般性，僅考慮離散型隨機變數 $X$ ，即

$P(X=x_k) = p_k > 0,$ ,

其中 $k = 1,cdots,K$ ， $sum_{k=1}^Kp_k = 1$ .

隨機變數 $X$ 的熵 $H(X)$ 定義為

$H(X) = - sum p_k log(p_k)$ .

下用庫恩塔克條件，求 $H(X)$ 的最大值.

定義

$L({p_k}, lambda) = - sum p_k log(p_k) - lambda(sum p_k - 1)$ ,

並寫出偏導數

$frac{partial L}{partial p_k} = -log(p_k) - 1 -lambda = 0$ ,

和

$frac{partial L}{partial lambda} = sum p_k - 1 = 0$ .

由此可求出

$hat{p_k} = 1/K (k = 1, cdots, K),$

亦即 $X$ 是均勻分布時，其熵最大(分布所攜帶的信息量最少).

參看統計物理

答案：略