談信息行業祖師爺——香農和他的資訊理論

謹以此文，懷念香農百年誕辰。

1916年4月30日，克勞德·香農出生於美國密歇根州的Gaylord鎮。也就是說，下周六就是香農這位偉人的整整一百周年誕辰。作為被香農資訊理論造福的我們，此時理應感懷香農為人類做出的貢獻。所以本公眾號特意撰寫這篇文章，紀念香農在資訊理論和其他領域的開創性貢獻。

克勞德·艾爾伍德·香農（Claude Elwood Shannon ，1916年4月30日—2001年2月24日）

資訊理論（information theory）顧名思義是研究「信息」的理論。那麼信息到底是什麼？信息到底有多重要？讓我們聽聽雷軍是怎麼看的：

投身信息產業的懷抱快三十年了，我有時也在想：信息何以會具備如此強大的力量？它的力量來自哪裡？我們又該如何駕馭這一力量？在這三十年間，信息極大地釋放了人類的能量，它所創造的價值超過了之前五千年的財富總和，但「信息」依然是個大家耳熟能詳卻又含義模糊的詞。

信息是人的鏡子，它在技術更新與模式興替中展現出變化萬端的色彩。但我們回視人的心靈，卻發現它在千百年來並沒有太多的變化。「科技的互聯網」不能描述信息的全部，信息只有作用于思維，才能顯示出強大的力量。

小米董事長，金山軟體董事長

從雷軍的這段話反映出了很多人對信息的理解和困惑。從中可以看出，雖然信息這個辭彙在日常生活中無處不在，但要說清楚信息是什麼，卻並不容易。根據朗文雙解中，關於信息（information）的詞條解釋為：

Information: Facts or details that tell you something

about a situation, person, event, etc.

但這個解釋還是非常粗略的。那我們再而試著從哲學的視角出發，發現目前哲學界對信息沒有統一定義。哲學認為信息劃分為三種形態： 自在信息，自為信息和再生信息。此時我們會發現，信息似乎是我們司空見慣的概念，好像直觀理解起來並沒有什麼障礙，但要準確描述信息是什麼卻非常困難。而香農資訊理論的偉大貢獻就在於，可以用數學公式嚴格定義信息的量，反映了信息表達形式在統計方面的性質。

接下來讓我們把視角和時間切換到香農創建資訊理論的時候。可以說，香農和牛頓一樣，都是站在巨人肩膀上的人。通信學科是最早系統性地研究信息理論的學科，所以我們先看看在香農提出資訊理論之前，數字通信發展的一些大事件：

1837年 Morse：有線電報；

1875年 Emile Baudot：定長電報編碼；

1924年 Nyquist：給出了給定帶寬的電報信道上無碼間串擾的最大可用信號速率；

1928年 Hartley：在帶限信道中當最大信號幅度Amax，幅度失真為Ad的條件下存在一個可靠通信的最大數據速率；

1939年-1942年：Kolmogorov 和Wiener：最佳線性（Kolmogorov-Wiener）濾波器；

1947年 Kotelnikov：基於幾何方法的各種相干解調。

到了1948年，這是信息時代具有里程碑的一年。當年貝爾實驗室對外宣布他們研發出來了一種全新的小型電子半導體器件。據說這是一種「出奇簡單的設備」，可以完成任何真空管能夠完成的工作，而且效率更高，體積更小，更容易集成，小到巴掌大面積的設備里也能容納數百個。這時世界都被這項新穎的科技發明吸引住了，於是在同年5月，科學家們專門組織了一個委員會來為這個發明命名，委員會給貝爾實驗室的所有高級工程師都發放了選票，經過投票和統計，最後「晶體管」脫穎而出（transistor，由transconductance（跨導）和varistor（壓敏電阻）兩個單詞合併而成），成為了這個新型半導體器件的正式名稱，沿用至今。

貝爾實驗室在當年的新聞稿中自豪的宣布到：

它可能將對電子和電信行業產生意義深遠的影響。

至今來看，這個說法毫不為過，晶體管引發了電子技術的科學革命，為半導體技術的微型化和普及開闢了道路，可以說晶體管在各行各業都發揮著巨大的作用。而晶體管的發明者，肖克利，巴丁和布拉頓三人也榮獲了1956年的諾貝爾物理學獎。可以說，半導體技術是貝爾實驗室的最重要的一項發現。但是，如何我們再看看1948年還出現了什麼重要進展，就會發現晶體管或許只能屈居次席，因為它只是這場電子行業革命的硬體部分。

而我所說的力壓晶體管的重要發現，出現在當年的一篇專題論文中。這篇論文的題目簡單而又宏大——《通信的數學理論》（A mathematical theoryof communication）[1]，這篇半個多世紀前的文章於2001年再次發表，今天還能在谷歌學術里找到，引用次數高達81685次。（下載地址：A mathematical theory of communication）

和晶體管（transistor）一樣，這項發現也給人類帶來了一個新的單詞——比特（bit）。但這個名字的命名過程並不像晶體管那樣隆重其事，而是由這篇論文的唯一作者，時年32歲的克勞德·香農（CE Shannon）自行決定的。如今，比特作為衡量信息多少的單位，已經躋身公尺、千克，分鐘之列，成為了日常生活中的最常見的量綱之一。

但比特究竟測量的是什麼呢？香農的回答是：「用於測量信息的單位」。在香農眼中，信息是和長度，重量這些物理屬性一樣，是種可以測量和規範的東西。由於對於通信系統而言，其傳遞的信息具有隨機性，所以定量描述信息應基於隨機事件。香農在[1]中提到，任何信息都存在冗餘，冗餘大小與信息中每個符號（數字、字母或單詞）的出現概率或者說不確定性有關。

通常，一個信源發送出什麼符號是不確定的，衡量它可以根據其出現的概率來度量。概率大，出現機會多，不確定性小；反之就大。例如，當極限條件下，一個信源只發送一種符號，即發送內容是確定的，即概率為100%，此時接收方無法從接收信號中獲得任何信息，即信息的量為零。而反之發送方和接收方約定，符號1代表二進位數字0，符號2代表二進位數字1，則接收端可以通過接收到的信源符號，獲取一定信息。

同時香農提出了用信息熵來定量衡量信息的大小。我們先設隨機事件發生的不確定性為發生概率pi的函數f(pi)，該函數具有如下三條性質：

1）單調性：概率越大的事件，信息熵越小，反之亦然。即，

2）非負性：f(pi)非負;

3）可加性：多隨機事件同時發生存在的總不確定性的度量，可以表示為各時間不確定性度量的和。例：

最後香農在[1]中，從數學上證明滿足上述性質的信息熵函數，具有唯一的如下的形式。

信息熵不僅定量衡量了信息的大小，同時為信息編碼提供了理論上的最優值：實用的編碼平均碼長的理論下界就是信息熵。即信息熵為數據壓縮的極限。

此外，在香農提出資訊理論之前，人們曾普遍認為，以固定速率發送信息，而忽略誤差概率的傳輸系統是不可能做到的。然而，香農卻從理論上證明了，只要通信速率低於信道容量C，總可以 找到一種編碼方式，使得誤差概率接近於0。這結論震驚了整個通信理論界。而信道容量C可以通過一個簡潔而美麗的公式——香農公式，根據信道的帶寬和雜訊特徵簡單的計算出來：

其中P/N等於信號能量除以雜訊能量，即信噪比。而W代表信道的帶寬。同樣，這一公式，香農在論文[1]中做出過嚴格的證明。

所以說，資訊理論最初解答的是通信理論中的兩個基本問題：

1）臨界數據壓縮的值？（答案：信息熵H）

2）臨界通信速率的值？（答案：信道容量C）

以上可是說是香農在《通信的數學理論》提出的主要創新，自此開創了資訊理論這門偉大的學科。

在之後的1949年，香農又有了重量級的發現，他公開發表的《保密系統的通信理論》一文，開闢了用資訊理論來研究密碼學的新思路，使他成為近代密碼理論的奠基者和先驅。這篇文章基於的理論是香農在1945年為貝爾實驗室所完成的一篇報告《A Mathematical Theory of Cryptography》。這一發現再次震驚了學術界，波士頓環球報稱「這一發現將密碼從藝術變成為科學」。這篇論文發表後，香農被美國政府聘為政府密碼事務顧問。縱觀最近幾十年來密碼領域的幾個重大進展，會發現它們都與香農這篇文章中所提出的思想有著密切關係，可以說《保密系統的通信理論》奠定了現代密碼理論的基礎。

我們都知道，通信系統是克服系統中存在的干擾（系統中固有的，如熱雜訊，或敵方故意施放的），實現有效且可靠的通信。而信息保密性和隱匿性雖然不等同於信息的不確定性，但我們將會看到它們和不確定性密不可分，且都可化為對信息進行編碼問題。

基於這一點，香農提出：

「從密碼分析者來看，一個保密系統幾乎就是一個通信系統。待傳的消息是統計事件，加密所用的密鑰按概率選出，加密結果為密報，這是分析者可以利用的，類似於受擾信號。」

香農認為，密碼系統中對消息的加密變換的作用類似於向信息中存在的雜訊。密文就相當於經過有擾信道得到的接收消息，密碼分析員相當於有擾信道下原接收者。不同的地方在於，這種干擾不是信道中的自然干擾，而是發送者有意加進的，且可由己方進行設計和控制、選自有限集的強幹擾，也就是密鑰，其目的是己方可方便地除去發端所加的強幹擾，從密文中恢復出原來的信息，而使敵方難於從截獲的密報中提取出有用信息。所以密鑰的隨機性將成為關鍵所在。傳信系統中的信息傳輸、處理、檢測和接收過程，與密碼系統中的加密、解密、分析和破譯過程都可用資訊理論觀點統一地分析研究。密碼系統本質上也是一種傳信息系統，是普通傳信系統的對偶系統。

香農以概率統計的角度對消息源、密鑰源、接收和截獲的消息進行數學描述和分析，香農深刻揭示了冗餘度在密碼中的作用，用不確定性和唯一解距離來度量密碼體制的保密性，深入闡明了密碼系統、完善保密性、純密碼、理論保密性和實際保密性等重要概念，從而大大深化了人們對於保密學的理解。這使資訊理論成為研究密碼學和密碼分析學的一個重要理論基礎，將密碼學從藝術變成了科學，宣告了科學的密碼學時代的到來。

但到這裡，估計還有不少非相關專業的讀者會一頭霧水，不太理解香農資訊理論究竟牛在哪裡？開創性在哪裡？他為人類做出來多大貢獻？為了讓大家更加直觀地去理解這些問題的答案，後面我們將脫離具體的數學公式和繁雜的定義，宏觀而概要地看一看香農提出資訊理論之前的人類社會中的「信息」和後香農時代的信息。

在20世紀的早期，雖然人們對信息的概念還不甚了解，但信息的載體卻是隨處可見，信件，電話，聲音和圖像，無論是通過郵局，電纜還是電磁波，信息在整個地球上川流不息地流動著，交互著。據美國人口普查局統計摘要中有關通信的內容[5]，截至1948年，美國每天有1.25億次的通話要經過貝爾系統那2.22億公里的悠閑電纜和3100萬台電話機進行傳輸。此外還有3186家無線電廣播台，15000家報社以及4000億封信件。如此多的信息流動，其中的信息又該如何衡量呢？

顯然，郵局可以計算信件和包裹的數量，但貝爾系統傳輸的究竟是什麼呢？又應該用什麼單位計數來衡量呢？可以肯定的是電纜傳輸的肯定不是通話，但是是信息嗎？然而，當時的人們卻沒有一個詞能夠精準地概括所有這些東西。正如香農在1939年寫給麻省理工的萬內瓦爾·布希的信件中寫道：

「時斷時續地，我一直在研究信息（intelligence）的一般系統的某些基本屬性。」

說到香農提到的Intelligence一詞，這個單詞有著悠久的歷史，語義豐富。托馬斯·艾利奧特爵士在16世紀寫道：「現在intelligence作為一個文雅的說法，用來表示通過相互交換信件或者口信達成協議或者約定」。不過除此之外，這個信息還有很多其它的含義。所以後來一些貝爾實驗室的工程師，開始更多地使用information一詞。他們用這個詞來表達一些技術性的概念，如信息的數量、信息的測量等。而香農作為貝爾實驗室的一員，在資訊理論中也採用了information這個詞。自此，information漸漸成為了主流。

早在1938年，香農就在自己的碩士論文《繼電器與開關電路的符號分析》中，把邏輯代數的思想運用到了電子電路的設計上。把邏輯和電路這兩個貌似毫不相干的東西，結合成了一對不同尋常的組合，擦出了巧妙的火花。這篇文章也被譽為上個世紀最重要的碩士論文。後來在1943年，英國數學家，密碼學家，著名的阿蘭·圖靈曾造訪貝爾實驗室，並與香農共進午餐，期間他們討論到人造思維機器的設想，期間香農告訴圖靈，他不僅僅滿足於向這台「大腦」里輸入數據，還希望把文化的東西灌輸進去。這個想法連圖靈都被震驚到了，他感到非常不可思議，驚呼道：

他（香農）想給它來點音樂！

此外，香農也開始研究電視信號來，他嘗試研究是否有一種方法，可以巧妙地打包壓縮電視信號，從而更快，更穩定地傳輸。這些年間，無數巧妙而又天才的想法不斷浮現在香農的大腦中，於是為了尋找一種統一的框架來梳理他腦中的好點子，就像愛因斯坦希望提出統一場論一樣。這時，香農開始著手整合一種有關信息的理論，即後來的資訊理論，並將它成功應用於科學領域。

但我們都知道，為了讓信息（information）能夠應用於科學領域，必須先給這個詞賦予某些特定而具體的含義。我們回首三個世紀之前，當時的物理學的發展已經遇到了瓶頸。但隨著牛頓開創性地將一些傳統但又定義模糊的辭彙，諸如力，時間，質量等，重新定義，賦予新的含義，讓物理學開始了一個新的時代。也正是牛頓把這些詞加以量化，才能夠放在數學公式里使用，或者可以用數學公式來表達。例如，在牛頓做出這一工作之前，motion（運動）一詞的含義就跟信息一樣，是個極其模糊不清的概念。對於當時遵循亞里士多德學說的人而言，運動可以指代極其廣泛而又豐富的現象，如：桃子成熟，蘋果落地，子彈出趟，孩童成長等等。但這樣一來，motion（運動）的含義就太過於豐富和廣泛了，所以必須將其中絕大多數的現象捨棄，牛頓的運動定律才可以使用。到了19世紀，energy（能）一詞也經歷過相似的重新定義的過程。再到20世紀，信息這個詞也不例外，也需要一次提煉，而提煉者就是香農。

在香農對信息的概念加以簡化，並用bit作為量綱衡量後，人們發現信息幾乎無處不在。香農的理論在信息與不確定性、信息與熵、以及信息與混沌這些概念之間架起了橋樑。比特的出現在後來引領了電腦和網路、摩爾定律和如今發達的信息產業和互聯網產業。所以人們將鐵器時代和蒸汽時代之後的時代稱為信息時代。馬歇爾·麥克盧漢在1964年評論道：

人們曾經以採集食物為生，而如今他們要重新以採集信息為生，儘管這件事看起來很不可思議。

今天看來，馬歇爾的這一預言毫無疑問的走在了時代的前面。現如今，我們已經可以清晰地認識到，信息是我們這個世界運行所必須的血液和生命力。信息的概念已經遠不止局限在通信行業，早已滲透到了各個科學領域，改變著每個學科的面貌。

因為香農資訊理論最初解決的兩個問題都屬於通信學科，而且加上資訊理論的奠基論文——《通信的數學理論》中又重點強調了通信，所以會產生一些誤解，那就是有人會認為資訊理論只不過是通信學科的一個組成部分，但是資訊理論涵蓋的領域遠不止於此。如上圖[2]所示，資訊理論在統計物理（熱力學）、計算機科學（科爾莫戈羅夫複雜度）、推斷統計（奧卡姆剃刀）以及概率和統計等學科方向中都有奠基性的貢獻。

在英語國家被稱為「計算機科學」的學科，在一些歐洲國家則被稱為「信息科學」。在國內以清華大學為例的高校，電子工程系和計算機科學與技術系等系同屬於信息科學技術學院（School of

information science and technology）。

香農雖已於2001年辭世，但正如資訊理論學科的著名學者，Richard Blahut教授在香農的兒童時代的老家，密歇根州的Gaylord鎮舉行香農塑像的落成典禮上所說的，香農所留給人類的思想會永遠留在人們的腦海中，激勵我們的子孫們。

「在我看來，兩三百年之後，當人們回過頭來看我們的時候，他們可能不會記得誰曾是美國的總統。他們也不會記得誰曾是影星或搖滾歌星。但是仍然會知曉香農的名字。學校里仍然會教授資訊理論。」

（Dr. Richard Blahut, Oct. 6, 2000, Gaylord,

Michigan）

[1]Shannon C E. A mathematical theory of communication[J]. ACM SIGMOBILE Mobile

Computing and Communications Review, 2001, 5(1): 3-55.

[2]Cover T M, Thomas J A. Elements of information theory[M]. John Wiley &

Sons, 2012.

[3]信息簡史，詹姆斯·格雷克，人民郵電出版社.

[4]Statistical Abstract of the United States 1950.

【Tips】現已開啟微信公眾號：科研學徒(kystudent)，可以掃描頭像二維碼，歡迎大家關注，會不定期分享一些趣事雜談和科研路上的心得體會。歡迎大家與我交流。

推薦閱讀：