資訊理論基礎第一章小結

05-23

資訊理論基礎第一章小結

資訊理論導論

資訊理論解答了通信理論中的兩個基礎問題：

臨界數據壓縮的值（熵H）

臨界通信傳輸速率的值（信道容量C）

資訊理論與其他學科之間的關係如下圖：

資訊理論與其他學科的關係

過去認為：以正速率發送信息，忽略誤差概率是不可能做到的。

香農證明：只要通信速率低於信道容量，總可以使誤差概率接近於零。

把所有可能的通信方案看成一個集合，數據壓縮程度不能低於左臨界值。數據傳輸速率補得大於右臨界值（信道容量）。

所有的調製方案和數據壓縮方案都必須介於這兩個臨界值之間。

複雜度：最小描述長度

一組數據串的複雜度可以定義為該數據穿所需的最短二進位程序的長度。如果序列的熵為H，則其複雜度近似等於熵H

對於孤立系統，熵永遠增加。

資訊理論中的基本量——熵被定義成概率分布的泛函數。

奧克姆剃刀：因不宜超出果之所需

最簡單的解釋是最佳的

本書概覽

如果隨機變數X的概率密度函數為p(x)，則X的熵定義為

$H(x)=-sum_{x}{p(x)*log_{2}{p(x)}}$

單個隨機變數的熵為該隨機變數的不確定度。

定義：一個隨機變數在給定另一個隨機變數的條件下的熵。

定義：由另一個隨機變數導致的原隨機變數不確定度的縮減量

$I(X;Y) = H(X)-H(X|Y) = sum_{x,y}p(x,y)log{frac{p(x,y)}{p(x)p(y)}}$

互信息是兩個隨機變數之間的獨立程度的度量，關於XY對稱，並且永遠非負。當且僅當XY相互獨立時，等於0.

互信息實際上是更廣泛量的相對熵D(p||q)的特殊情形。

相對熵是兩個概率密度函數p和q之間的距離度量，定義為

$D(p||q)= sum_{x}{p(x)logfrac{p(x)}{q(x)}}$

定義：此系統的輸出信號按概率依賴於輸入信號，特徵由一個專一概率矩陣p(x|y)決定

對於輸入信號X和輸出信號Y，定義通信信道容量

$C= max_{p(x)} I(X;Y)$

以上講到的這些概念與定義，在一下領域均有涉及與應用