資訊理論中，熵的概念很重要。請問:如何理性地理解信息熵，雜訊熵，損失熵？並希望通過離散通信系統模型說明？

01-02

信息雜訊熵和信息損失熵，這2個術語應該是國內搞出來的吧？筆者真的沒在英文文獻中見過，但是在傅祖芸的書中第一次見過。

設X是發送符號，Y是接收符號

H(Y|X)叫雜訊熵，比方說X是｛0，1｝，Y是｛0，1，2，3｝。 X=0的時候，Y可能是0或者1；X=1的時候，Y可能是2或者3。所以H(Y|X)不是0（傳輸過程中的不確定性，叫做雜訊？），但是注意當收到Y的時候我們可以準確恢復X（這叫做信息沒有損失，H(X|Y)=0）。

H(X|Y)叫信息損失熵，比方說X是｛0，1，2，3｝，Y是｛0，1｝。 X可能是0或者1的時候，Y是0；X可能是2或者3的時候，Y是1。所以H(X|Y)不是0，無法無失真恢復X，X的某部分信息被永久性丟失了。但是注意發送X的時候我們可以準確預測Y（這叫做信息發送過程中沒有混入雜訊，H(Y|X)=0）。