信道編碼增加了信息量嗎？

12-30

信源編碼減少了信息量嗎？一個文件經壓縮後信息量變小了嗎？

這問題真是神坑。

題目是：信道編碼增加了信息量嗎，內容是信源編碼減少了信息量嗎- -

先說信源編碼：

無損信源編碼，比如RAR這種壓縮，是不改變信息量的，所以RAR之後的文件是可以完美恢復的；

有損信源編碼：比如mp3這種音頻壓縮，是要減少信息量的，所以mp3相對於CD是有音質損失的。

再說信道編碼：

信道編碼對信息量是沒有改變的，它只是在原有信息的基礎上增加了冗餘，便於我們恢復原有數據。

所以傳輸流程是這樣(以無損壓縮為例)：

1. 採集信息，裡面有很多冗餘，利用信源編碼，在不減少信息量的情況下壓縮信息；

2. 對壓縮後的信息進行信道編碼，增加對解碼有利的冗餘，另外一般還要再增加一點校驗冗餘；

3. 信道解碼，從受雜訊污染的接收信號中提取出原來的壓縮信息，另外再校驗此次傳輸是否成功，若成功，繼續，若失敗，申請重傳；

4. 根據信源編碼準則回復原始含冗餘信息，輸出。

無損編碼沒損失，信息量不變，有損編碼有損失，信息量變少

------

update 把評論里的解釋貼一下

信息量，所謂的熵，來自於不確定性，等概率0/1是不確定性最大的情況，也就是信息量最大的情況。

信息中一切規律性和確定性都意味著較少信息量，而現實生活中的數據往往都是有一定規律的，比如英文里ste這幾個字母比較多，圖像的DCT/FFT里非直流部分有大片0等。

無損信源編碼就是在盡量用更少的01表示同樣這些熵，所以又叫熵編碼。而進一步，有損編碼，比如jpg，mp3又去掉了一些不太顯眼的信息，進一步減少了信息量、降低了熵。

前面這些都是信源編碼，目的是用更少的碼字表達信息，降低傳輸和存儲開銷。

而信道編碼則不同——傳輸和存儲都有可能因為信道出錯丟失一些碼字或讓他們出錯，信道編碼會根據一些代數規則，插入一些冗餘的碼字，從而可以根據這些規則發現甚至修正錯誤，這些重複引入的冗餘或者說規律性，並沒有增加信息量，只是增加了要傳輸的01數量而已。

信源編碼減少了信息的冗餘，信道編碼增加了冗餘。

信源編碼減少的冗餘是無用的，提高了有效性，信道編碼增加的冗餘是有用的，提高了可靠性。從信宿接收的角度看，不含信息。

信道編碼的目的是提高傳輸的可靠性，對信息量沒有改變。

壓縮不是信道編碼而是信源編碼，無損的壓縮對信息量沒有影響。

信道編碼不會減少總信息量，但是假設功率恆定，那麼單位時間內發送的信息量肯定是要減少的。

由於信道編碼是通過加入冗餘信息實現的，因此，信道編碼之後降低了平均信息量。

信源編碼的目的之一是減少信息的冗餘，提高傳輸的有效性。

對於無損信源編碼，信息量不變；對於有損信源編碼，信息量減少。

信道編碼的目的之一是增加信息的冗餘以提高傳輸的可靠性，信息量不變。