如何用通俗的語言解釋"信息熵"的概念？

01-19

把之前寫的答案貼過來誰能介紹一下信息熵是什麼？ - 知乎用戶的回答

讓我們說人話！好的數學概念都應該是通俗易懂的。

信息熵，信息熵，怎麼看怎麼覺得這個「熵」字不順眼，那就先不看。我們起碼知道這個概念跟信息有關係。而它又是個數學模型裡面的概念，一般而言是可以量化的。所以，第一個問題來了：信息是不是可以量化？

起碼直覺上而言是可以的，不然怎麼可能我們覺得有些人說的廢話特別多，「沒什麼信息量」，有些人一語中的，一句話就傳達了很大的信息量。

為什麼有的信息量大有的信息量小？

有些事情本來不是很確定，例如明天股票是漲還是跌。如果你告訴我明天NBA決賽開始了，這兩者似乎沒啥關係啊，所以你的信息對明天股票是漲是跌帶來的信息量很少。但是假如NBA決賽一開始，大家都不關注股票了沒人坐莊股票有99%的概率會跌，那你這句話信息量就很大，因為本來不確定的事情變得十分確定。

而有些事情本來就很確定了，例如太陽從東邊升起，你再告訴我一百遍太陽從東邊升起，你的話還是絲毫沒有信息量的，因為這事情不能更確定了。

所以說信息量的大小跟事情不確定性的變化有關。

那麼，不確定性的變化跟什麼有關呢？

一，跟事情的可能結果的數量有關；二，跟概率有關。

先說一。

例如我們討論太陽從哪升起。本來就只有一個結果，我們早就知道，那麼無論誰傳遞任何信息都是沒有信息量的。

當可能結果數量比較大時，我們得到的新信息才有潛力擁有大信息量。

二，單看可能結果數量不夠，還要看初始的概率分布。例如一開始我就知道小明在電影院的有15*15個座位的A廳看電影。小明可以坐的位置有225個，可能結果數量算多了。可是假如我們一開始就知道小明坐在第一排的最左邊的可能是99%，坐其它位置的可能性微乎其微，那麼在大多數情況下，你再告訴我小明的什麼信息也沒有多大用，因為我們幾乎確定小明坐第一排的最左邊了。

那麼，怎麼衡量不確定性的變化的大小呢？怎麼定義呢？

這個問題不好回答，但是假設我們已經知道這個量已經存在了，不妨就叫做信息量，那麼你覺得信息量起碼該滿足些什麼特點呢？

一，起碼不是個負數吧，不然說句話還偷走信息呢~

二，起碼信息量和信息量之間可以相加吧！假如你告訴我的第一句話的信息量是3，在第一句話的基礎上又告訴我一句話，額外信息量是4，那麼兩句話信息量加起來應該等於7吧！難道還能是5是9？

三，剛剛已經提過，信息量跟概率有關係，但我們應該會覺得，信息量是連續依賴於概率的吧！就是說，某一個概率變化了0.0000001，那麼這個信息量不應該變化很大。

四，剛剛也提過，信息量大小跟可能結果數量有關。假如每一個可能的結果出現的概率一樣，那麼對於可能結果數量多的那個事件，新信息有更大的潛力具有更大的信息量，因為初始狀態下不確定性更大。

那有什麼函數能滿足上面四個條件呢？負的對數函數，也就是-log（x）！底數取什麼都行。前面再隨便乘個常數也行。

a. 為什麼不是正的？因為假如是正的，由於x是小於等於1的數，log（x）就小於等於0了。第一個特點滿足。

b. 咱們再來驗證一下其他特點。三是最容易的。假如x是一個概率，那麼log（x）是連續依賴於x的。done

c。四呢？假如有n個可能結果，那麼出現任意一個的概率是1/n，而-log(1/n)是n的增函數，沒問題。

d。最後驗證二。由於-log(xy) = -log(x) -log(y)，所以也是對的。學數學的同學注意，這裡的y可以是給定x的條件概率，當然也可以獨立於x。

By the way，這個函數是唯一的（除了還可以多乘上任意一個常數），有時間可以自己證明一下，或者查書。

ok，所以我們知道一個事件的信息量就是這個事件發生的概率的負對數。

最後終於能回到信息熵。信息熵是跟所有可能性有關係的。每個可能事件的發生都有個概率。信息熵就是平均而言發生一個事件我們得到的信息量大小。所以數學上，信息熵其實是信息量的期望。（表達式參考其它答案或者看下面）

$H=-sum_{xepsilon U}{P(x)log P(x)}$

至於為什麼用「熵」這個怪字？大概是當時翻譯的人覺得這個量跟熱力學的熵有關係，所以就用了這個字，君不見字裡頭的火字旁？

而熱力學為什麼用這個字？這個真心不知道。。。

歡迎討論指正。

問題的答案的不確定性的，可加性度量模型。

香農信息熵是被證明是符合相關公理假設的，唯一一種模型。

有一條香農定理，題主可以查閱一下

可以區別為，被接收前的信息的信息熵代表了信息的不確定性，接收後的信息熵代表了信息所攜帶的平均信息量。

一樓解釋的不錯，更嚴格的解釋可以參見《Information Theory,Inference and Learning Algorithms》第4章。