如何理解互信息公式的含義?
01-01
原來我對X有些不確定(不確定性為H(X))，告訴我Y後我對X不確定性變為H(X|Y), 這個不確定性的減少量就是X,Y之間的互信息I(X;Y)=H(X)-H(X|Y)。
互信息指的是兩個隨機變數之間的關聯程度，即給定一個隨機變數後，另一個隨機變數不確定性的削弱程度，因而互信息取值最小為0，意味著給定一個隨機變數對確定一另一個隨機變數沒有關係，最大取值為隨機變數的熵，意味著給定一個隨機變數，能完全消除另一個隨機變數的不確定性，具體的可以看這篇文章：
互信息的理解
推薦閱讀：
※如何看待IEEE Transactions on Information Theory降為中科院三區？
※有沒有可能存在兩個相同crc32，md4，md5，sha1，sha2，sha3的不同文件？
※按熵增加原理，世界總有一天走向末日，這是不是一定會發生？
※如何評價香農 Claude Shannon 的學術貢獻？
※資訊理論里的一句話(見問題說明)，可不可以用通俗一些的語言解釋一下？。。謝謝！