香農定理與誤碼率的關係?

01-04

香農是C與信噪比的關係，信道編碼是隨著信噪比增加，誤碼率減小。但誤碼率如何與香農定理中的C掛鉤呢？

喲，看起來題主提了一個了不起的問題啊。

(p.s.答通信問題的來來去去就這幾個人啊，都眼熟了)

要是以我一直以來的淺薄認知，可能會說容量和誤碼率可以是沒有關係的。

但是仔細一想，D. Tse的(慢衰落信道下)「復用與分集折中」理論不就是相當於把誤碼率和容量建立了關係么！

復用增益，一般用信道容量來衡量，高斯信道下：C=log(1+SNR)(呵呵，我就這樣寫了，因為帶寬W其實不影響推導，歸一化為1最方便，而SNR本來就可以包含衰落)。

分集增益，有兩種衡量方式，一種是中斷概率，另外一種就是誤碼率。(誤碼率和中斷概率有一定的相似性，他們相對於SNR有一樣的下降趨勢)

這樣，容量和誤碼率就算建立了關係。

具體來說，我們記傳輸速率為R，誤碼率為Pe，平均信噪比為SNR(不包含衰落)，對一種編碼方案，如果速率R表示為：

R=rlogSNR

而誤碼率：

Pe≈SNR^(-d)

我們說它的復用增益為r，分集增益為d.

復用分集折中就是說，信噪比的增大，可以提升容量或是降低誤碼率。問題是，隨著信噪比增加，在復用增益為d的情況下，一種傳輸方案最大可以達到多大的分集增益r？

也就是要建立d關於r的函數d(r).

(明天再寫吧，分集復用這方面不敢說自己太熟悉，就當做拋磚引玉吧，我發現樓上的@Aaron基礎貌似比較紮實。)

另外明天再補充一下我自己的淺薄理解:-)

誤碼率這個東西，如果沒有有限長分析，如何能一兩句說的清....

反正是老問題，先挖個坑。

題主直接上來就開始香農定理，這也太寬泛了....香農的信道編碼定理和逆定理本來就是一個範圍很寬的一類定理，要實際應用，肯定也得分情況討論的呀：信道是什麼信道？離散信道還是連續信道？輸入連續還是輸出連續？有記憶還是無記憶？現在好多人上來就是無線通信中香農信道容量C = Blog2(1+snr/B)...我擦，無線信道根本不是無衰落高斯信道好不好！無線通信的標準容量指標，遍歷容量和中斷容量被丟到哪裡去了？不同衰落根本不一樣呀！David Tse那本著名課本，都被**吃了嗎？

吐槽結束...

首先明確一個概念，點對點信道的香農信道容量是什麼？答：能夠使得錯誤epsilon-&>0的最大傳輸速率極限，這個速率的極限就是capacity。在這個回答中，錯誤有沒有被完全消除？沒有！沒有任何一種傳輸方案能夠使得有噪信道傳輸無錯傳輸，只能儘可能的小，因此香農實際上給出了一個錯誤概率的lower bound：0。在什麼時候能夠逼近這個極限呢？現在能夠證明的只有一種方案：隨機編碼和應用於隨機編碼的最優解碼。這個最優解碼有很多種：一個是資訊理論由AEP得到的聯合典型序列解碼；另外一個是MAP解碼（若滿足輸入等該條件，該解碼等價於ML解碼），這個解碼也就是有限長分析的球模型解碼結構，也是現在我們在一切通信系統中所用的解碼方案(解調方案也是同樣)。

這兩個都能夠證明：碼長無限的random codes能夠達到信道容量（pairwise independent random codes 在一定情況下也有上述性質）。也就是在上述情況下，錯誤可以無限小。這是理論上的，而非實際應用的碼。我們常用的碼必須是有限長的，其次可以在有限時間內進行編解碼的。那麼這些實際中的碼的誤碼率和容量的關係呢？我不知道，現在有部分分析工具，比如重量枚舉函數，最小距離，對於LDPC的各種SS，TS分析，girth分析....這些工具能夠部分分析碼的誤碼性能，但是極限是什麼，怎麼達到，還是未知的。

也因此大部分有限長分析集中在隨機碼，隨機碼一般是最優的碼（非常短的情況不考慮），近幾十年來，不斷地有人對這個問題發起挑戰，並作出重大貢獻。需要詳細了解的請查閱

Y. Polyanskiy, et.al. 「Channel Coding Rate in the Finite Blocklength Regime」 IEEE Transactions on Information Theory, vol.56, no. 5, May 2010.

強烈推薦該文章，這篇文章的第二章，給了14個定理來總結前人的工作，是比較豐富的。

因為題主的問題回答起來過去複雜，我只能引用一下我覺得最容易理解的一個錯誤概率上界來回答了。考慮無記憶信道，Professor R.Gallager在1960s給出了隨機碼的錯誤指數，用於確定有限碼長的錯誤概率。參數如下：DMS信道，轉移概率 $P(j|k)$ , $(N,R)$ 分組碼集，先驗概率為 $Q(k)$ . 那麼ML解碼的錯誤概率滿足：

$P_eleqexp{-N[E_o( ho,mathbf{Q})- ho R]}$

where

$E_o( ho,mathbf{Q})=-logsum_jleft[sum_kQ(k)P(j|k)^{1/(1+ ho)} ight]^{1+ ho}$ .

進而得到

$P_eleqexp[-NE_r(R)]$ .

$E_r(R)$ 是上面 $E_o( ho,mathbf{Q})- ho R$ 的上界。 $E_o( ho,mathbf{Q})$ 則是一個與信道和輸入有關的一個函數。

由此我們可以看出，誤碼率的上屆與碼長和E_r(R)的積成負指數關係。因此在碼率固定且小於C的條件下，碼長越長，誤碼率越小。在碼長固定的條件下，E_r越大，誤碼率的上屆越小。而某些情況下，E_r與C-R成正相關。後者說明了什麼呢，在碼給定的條件下，C越大，誤碼的上屆越小。也就是說，信道條件越好，誤碼率越小-&>高斯等信道條件下，信噪比越大，誤碼率的上屆越小.

儘管上述分析是對於ML解碼的錯誤概率的上屆的分析，在大部分情況下，定性分析的部分對誤碼率同樣適用。

說下我個人的看法:香農定理主要就是講了容量(或者說速率)和信噪比以及頻譜帶寬的關係。頻譜帶寬越大，容量就允許越高，信噪比越好，也可以提升容量。如果帶寬較低，只要信噪比夠高，容量也可以保證。如果信噪比很低，但是帶寬足夠大，那容量一樣可觀，這就是為什麼現在移動LTE TDD在D頻段有時候信號很弱，但是速率表現依舊搶眼的原因，干擾小，所以信噪比高，同時帶寬也夠大。

再開說下誤碼率和容量的關係。影響誤碼率的因素很多，但是我覺得主要的還是干擾水平，也就是信噪比，所以誤碼率越高，那麼說明信噪比也低，這時就會影響到容量。

個人觀點，僅供參考，有錯望指正。

要回答這個問題首先需要引入下面這張圖：