香農的資訊理論究竟牛在哪裡？

感覺說的都會大白話啊。

---

【「科研君」公眾號初衷始終是希望聚集各專業一線科研人員和工作者，在進行科學研究的同時也作為知識的傳播者，利用自己的專業知識解釋和普及生活中的 一些現象和原理，展現科學有趣生動的一面。該公眾號由清華大學一群在校博士生髮起，目前參與的作者人數有10人，但我們感覺這遠遠不能覆蓋所以想科普的領域，並且由於空閑時間有限，導致我們只能每周發布一篇文章。我們期待更多的戰友加入，認識更多志同道合的人，每個人都是科研君，每個人都是知識的傳播者。我們期待大家的參與，如果你想加入我們，歡迎私信~】

======================================================================

謹以此文，懷念香農百年誕辰。

1916年4月30日，克勞德·香農出生於美國密歇根州的Gaylord鎮。也就是說，下周六就是香農這位偉人的整整一百周年誕辰。作為被香農資訊理論造福的我們，此時理應感懷香農為人類做出的貢獻。所以本公眾號特意撰寫這篇文章，紀念香農在資訊理論和其他領域的開創性貢獻。

克勞德·艾爾伍德·香農（Claude Elwood Shannon ，1916年4月30日—2001年2月24日）

資訊理論（information theory）顧名思義是研究「信息」的理論。那麼信息到底是什麼？信息到底有多重要？讓我們聽聽雷軍是怎麼看的：

投身信息產業的懷抱快三十年了，我有時也在想：信息何以會具備如此強大的力量？它的力量來自哪裡？我們又該如何駕馭這一力量？在這三十年間，信息極大地釋放了人類的能量，它所創造的價值超過了之前五千年的財富總和，但「信息」依然是個大家耳熟能詳卻又含義模糊的詞。
信息是人的鏡子，它在技術更新與模式興替中展現出變化萬端的色彩。但我們回視人的心靈，卻發現它在千百年來並沒有太多的變化。「科技的互聯網」不能描述信息的全部，信息只有作用于思維，才能顯示出強大的力量。
小米董事長，金山軟體董事長

從雷軍的這段話反映出了很多人對信息的理解和困惑。從中可以看出，雖然信息這個辭彙在日常生活中無處不在，但要說清楚信息是什麼，卻並不容易。根據朗文雙解中，關於信息（information）的詞條解釋為：

Information: Facts or details that tell you something
about a situation, person, event, etc.

但這個解釋還是非常粗略的。那我們再而試著從哲學的視角出發，發現目前哲學界對信息沒有統一定義。哲學認為信息劃分為三種形態： 自在信息，自為信息和再生信息。此時我們會發現，信息似乎是我們司空見慣的概念，好像直觀理解起來並沒有什麼障礙，但要準確描述信息是什麼卻非常困難。而香農資訊理論的偉大貢獻就在於，可以用數學公式嚴格定義信息的量，反映了信息表達形式在統計方面的性質。

接下來讓我們把視角和時間切換到香農創建資訊理論的時候。可以說，香農和牛頓一樣，都是站在巨人肩膀上的人。通信學科是最早系統性地研究信息理論的學科，所以我們先看看在香農提出資訊理論之前，數字通信發展的一些大事件：

1837年 Morse：有線電報；

1875年 Emile Baudot：定長電報編碼；

1924年 Nyquist：給出了給定帶寬的電報信道上無碼間串擾的最大可用信號速率；

1928年 Hartley：在帶限信道中當最大信號幅度Amax，幅度失真為Ad的條件下存在一個可靠通信的最大數據速率；

1939年-1942年：Kolmogorov 和Wiener：最佳線性（Kolmogorov-Wiener）濾波器；

1947年 Kotelnikov：基於幾何方法的各種相干解調。

到了1948年，這是信息時代具有里程碑的一年。當年貝爾實驗室對外宣布他們研發出來了一種全新的小型電子半導體器件。據說這是一種「出奇簡單的設備」，可以完成任何真空管能夠完成的工作，而且效率更高，體積更小，更容易集成，小到巴掌大面積的設備里也能容納數百個。這時世界都被這項新穎的科技發明吸引住了，於是在同年5月，科學家們專門組織了一個委員會來為這個發明命名，委員會給貝爾實驗室的所有高級工程師都發放了選票，經過投票和統計，最後「晶體管」脫穎而出（transistor，由transconductance（跨導）和varistor（壓敏電阻）兩個單詞合併而成），成為了這個新型半導體器件的正式名稱，沿用至今。

貝爾實驗室在當年的新聞稿中自豪的宣布到：

它可能將對電子和電信行業產生意義深遠的影響。

至今來看，這個說法毫不為過，晶體管引發了電子技術的科學革命，為半導體技術的微型化和普及開闢了道路，可以說晶體管在各行各業都發揮著巨大的作用。而晶體管的發明者，肖克利，巴丁和布拉頓三人也榮獲了1956年的諾貝爾物理學獎。可以說，半導體技術是貝爾實驗室的最重要的一項發現。但是，如何我們再看看1948年還出現了什麼重要進展，就會發現晶體管或許只能屈居次席，因為它只是這場電子行業革命的硬體部分。

而我所說的力壓晶體管的重要發現，出現在當年的一篇專題論文中。這篇論文的題目簡單而又宏大——《通信的數學理論》（A mathematical theoryof communication）[1]，這篇半個多世紀前的文章於2001年再次發表，今天還能在谷歌學術里找到，引用次數高達81685次。（下載地址：A mathematical theory of communication）

和晶體管（transistor）一樣，這項發現也給人類帶來了一個新的單詞——比特（bit）。但這個名字的命名過程並不像晶體管那樣隆重其事，而是由這篇論文的唯一作者，時年32歲的克勞德·香農（CE Shannon）自行決定的。如今，比特作為衡量信息多少的單位，已經躋身公尺、千克，分鐘之列，成為了日常生活中的最常見的量綱之一。

但比特究竟測量的是什麼呢？香農的回答是：「用於測量信息的單位」。在香農眼中，信息是和長度，重量這些物理屬性一樣，是種可以測量和規範的東西。由於對於通信系統而言，其傳遞的信息具有隨機性，所以定量描述信息應基於隨機事件。香農在[1]中提到，任何信息都存在冗餘，冗餘大小與信息中每個符號（數字、字母或單詞）的出現概率或者說不確定性有關。

通常，一個信源發送出什麼符號是不確定的，衡量它可以根據其出現的概率來度量。概率大，出現機會多，不確定性小；反之就大。例如，當極限條件下，一個信源只發送一種符號，即發送內容是確定的，即概率為100%，此時接收方無法從接收信號中獲得任何信息，即信息的量為零。而反之發送方和接收方約定，符號1代表二進位數字0，符號2代表二進位數字1，則接收端可以通過接收到的信源符號，獲取一定信息。

同時香農提出了用信息熵來定量衡量信息的大小。我們先設隨機事件發生的不確定性為發生概率pi的函數f(pi)，該函數具有如下三條性質：

1）單調性：概率越大的事件，信息熵越小，反之亦然。即，

2）非負性：f(pi)非負;

3）可加性：多隨機事件同時發生存在的總不確定性的度量，可以表示為各時間不確定性度量的和。例：

最後香農在[1]中，從數學上證明滿足上述性質的信息熵函數，具有唯一的如下的形式。

信息熵不僅定量衡量了信息的大小，同時為信息編碼提供了理論上的最優值：實用的編碼平均碼長的理論下界就是信息熵。即信息熵為數據壓縮的極限。

此外，在香農提出資訊理論之前，人們曾普遍認為，以固定速率發送信息，而忽略誤差概率的傳輸系統是不可能做到的。然而，香農卻從理論上證明了，只要通信速率低於信道容量C，總可以 找到一種編碼方式，使得誤差概率接近於0。這結論震驚了整個通信理論界。而信道容量C可以通過一個簡潔而美麗的公式——香農公式，根據信道的帶寬和雜訊特徵簡單的計算出來：

其中P/N等於信號能量除以雜訊能量，即信噪比。而W代表信道的帶寬。同樣，這一公式，香農在論文[1]中做出過嚴格的證明。

所以說，資訊理論最初解答的是通信理論中的兩個基本問題：

1）臨界數據壓縮的值？（答案：信息熵H）

2）臨界通信速率的值？（答案：信道容量C）

以上可是說是香農在《通信的數學理論》提出的主要創新，自此開創了資訊理論這門偉大的學科。

在之後的1949年，香農又有了重量級的發現，他公開發表的《保密系統的通信理論》一文，開闢了用資訊理論來研究密碼學的新思路，使他成為近代密碼理論的奠基者和先驅。這篇文章基於的理論是香農在1945年為貝爾實驗室所完成的一篇報告《A Mathematical Theory of Cryptography》。這一發現再次震驚了學術界，波士頓環球報稱「這一發現將密碼從藝術變成為科學」。這篇論文發表後，香農被美國政府聘為政府密碼事務顧問。縱觀最近幾十年來密碼領域的幾個重大進展，會發現它們都與香農這篇文章中所提出的思想有著密切關係，可以說《保密系統的通信理論》奠定了現代密碼理論的基礎。

我們都知道，通信系統是克服系統中存在的干擾（系統中固有的，如熱雜訊，或敵方故意施放的），實現有效且可靠的通信。而信息保密性和隱匿性雖然不等同於信息的不確定性，但我們將會看到它們和不確定性密不可分，且都可化為對信息進行編碼問題。

基於這一點，香農提出：

「從密碼分析者來看，一個保密系統幾乎就是一個通信系統。待傳的消息是統計事件，加密所用的密鑰按概率選出，加密結果為密報，這是分析者可以利用的，類似於受擾信號。」

香農認為，密碼系統中對消息的加密變換的作用類似於向信息中存在的雜訊。密文就相當於經過有擾信道得到的接收消息，密碼分析員相當於有擾信道下原接收者。不同的地方在於，這種干擾不是信道中的自然干擾，而是發送者有意加進的，且可由己方進行設計和控制、選自有限集的強幹擾，也就是密鑰，其目的是己方可方便地除去發端所加的強幹擾，從密文中恢復出原來的信息，而使敵方難於從截獲的密報中提取出有用信息。所以密鑰的隨機性將成為關鍵所在。傳信系統中的信息傳輸、處理、檢測和接收過程，與密碼系統中的加密、解密、分析和破譯過程都可用資訊理論觀點統一地分析研究。密碼系統本質上也是一種傳信息系統，是普通傳信系統的對偶系統。

香農以概率統計的角度對消息源、密鑰源、接收和截獲的消息進行數學描述和分析，香農深刻揭示了冗餘度在密碼中的作用，用不確定性和唯一解距離來度量密碼體制的保密性，深入闡明了密碼系統、完善保密性、純密碼、理論保密性和實際保密性等重要概念，從而大大深化了人們對於保密學的理解。這使資訊理論成為研究密碼學和密碼分析學的一個重要理論基礎，將密碼學從藝術變成了科學，宣告了科學的密碼學時代的到來。

但到這裡，估計還有不少非相關專業的讀者會一頭霧水，不太理解香農資訊理論究竟牛在哪裡？開創性在哪裡？他為人類做出來多大貢獻？為了讓大家更加直觀地去理解這些問題的答案，後面我們將脫離具體的數學公式和繁雜的定義，宏觀而概要地看一看香農提出資訊理論之前的人類社會中的「信息」和後香農時代的信息。

在20世紀的早期，雖然人們對信息的概念還不甚了解，但信息的載體卻是隨處可見，信件，電話，聲音和圖像，無論是通過郵局，電纜還是電磁波，信息在整個地球上川流不息地流動著，交互著。據美國人口普查局統計摘要中有關通信的內容[5]，截至1948年，美國每天有1.25億次的通話要經過貝爾系統那2.22億公里的悠閑電纜和3100萬台電話機進行傳輸。此外還有3186家無線電廣播台，15000家報社以及4000億封信件。如此多的信息流動，其中的信息又該如何衡量呢？

顯然，郵局可以計算信件和包裹的數量，但貝爾系統傳輸的究竟是什麼呢？又應該用什麼單位計數來衡量呢？可以肯定的是電纜傳輸的肯定不是通話，但是是信息嗎？然而，當時的人們卻沒有一個詞能夠精準地概括所有這些東西。正如香農在1939年寫給麻省理工的萬內瓦爾·布希的信件中寫道：

「時斷時續地，我一直在研究信息（intelligence）的一般系統的某些基本屬性。」

說到香農提到的Intelligence一詞，這個單詞有著悠久的歷史，語義豐富。托馬斯·艾利奧特爵士在16世紀寫道：「現在intelligence作為一個文雅的說法，用來表示通過相互交換信件或者口信達成協議或者約定」。不過除此之外，這個信息還有很多其它的含義。所以後來一些貝爾實驗室的工程師，開始更多地使用information一詞。他們用這個詞來表達一些技術性的概念，如信息的數量、信息的測量等。而香農作為貝爾實驗室的一員，在資訊理論中也採用了information這個詞。自此，information漸漸成為了主流。

早在1938年，香農就在自己的碩士論文《繼電器與開關電路的符號分析》中，把邏輯代數的思想運用到了電子電路的設計上。把邏輯和電路這兩個貌似毫不相干的東西，結合成了一對不同尋常的組合，擦出了巧妙的火花。這篇文章也被譽為上個世紀最重要的碩士論文。後來在1943年，英國數學家，密碼學家，著名的阿蘭·圖靈曾造訪貝爾實驗室，並與香農共進午餐，期間他們討論到人造思維機器的設想，期間香農告訴圖靈，他不僅僅滿足於向這台「大腦」里輸入數據，還希望把文化的東西灌輸進去。這個想法連圖靈都被震驚到了，他感到非常不可思議，驚呼道：

他（香農）想給它來點音樂！

此外，香農也開始研究電視信號來，他嘗試研究是否有一種方法，可以巧妙地打包壓縮電視信號，從而更快，更穩定地傳輸。這些年間，無數巧妙而又天才的想法不斷浮現在香農的大腦中，於是為了尋找一種統一的框架來梳理他腦中的好點子，就像愛因斯坦希望提出統一場論一樣。這時，香農開始著手整合一種有關信息的理論，即後來的資訊理論，並將它成功應用於科學領域。

但我們都知道，為了讓信息（information）能夠應用於科學領域，必須先給這個詞賦予某些特定而具體的含義。我們回首三個世紀之前，當時的物理學的發展已經遇到了瓶頸。但隨著牛頓開創性地將一些傳統但又定義模糊的辭彙，諸如力，時間，質量等，重新定義，賦予新的含義，讓物理學開始了一個新的時代。也正是牛頓把這些詞加以量化，才能夠放在數學公式里使用，或者可以用數學公式來表達。例如，在牛頓做出這一工作之前，motion（運動）一詞的含義就跟信息一樣，是個極其模糊不清的概念。對於當時遵循亞里士多德學說的人而言，運動可以指代極其廣泛而又豐富的現象，如：桃子成熟，蘋果落地，子彈出趟，孩童成長等等。但這樣一來，motion（運動）的含義就太過於豐富和廣泛了，所以必須將其中絕大多數的現象捨棄，牛頓的運動定律才可以使用。到了19世紀，energy（能）一詞也經歷過相似的重新定義的過程。再到20世紀，信息這個詞也不例外，也需要一次提煉，而提煉者就是香農。

在香農對信息的概念加以簡化，並用bit作為量綱衡量後，人們發現信息幾乎無處不在。香農的理論在信息與不確定性、信息與熵、以及信息與混沌這些概念之間架起了橋樑。比特的出現在後來引領了電腦和網路、摩爾定律和如今發達的信息產業和互聯網產業。所以人們將鐵器時代和蒸汽時代之後的時代稱為信息時代。馬歇爾·麥克盧漢在1964年評論道：

人們曾經以採集食物為生，而如今他們要重新以採集信息為生，儘管這件事看起來很不可思議。

今天看來，馬歇爾的這一預言毫無疑問的走在了時代的前面。現如今，我們已經可以清晰地認識到，信息是我們這個世界運行所必須的血液和生命力。信息的概念已經遠不止局限在通信行業，早已滲透到了各個科學領域，改變著每個學科的面貌。

因為香農資訊理論最初解決的兩個問題都屬於通信學科，而且加上資訊理論的奠基論文——《通信的數學理論》中又重點強調了通信，所以會產生一些誤解，那就是有人會認為資訊理論只不過是通信學科的一個組成部分，但是資訊理論涵蓋的領域遠不止於此。如上圖[2]所示，資訊理論在統計物理（熱力學）、計算機科學（科爾莫戈羅夫複雜度）、推斷統計（奧卡姆剃刀）以及概率和統計等學科方向中都有奠基性的貢獻。

在英語國家被稱為「計算機科學」的學科，在一些歐洲國家則被稱為「信息科學」。在國內以清華大學為例的高校，電子工程系和計算機科學與技術系等系同屬於信息科學技術學院（School of
information science and technology）。

香農雖已於2001年辭世，但正如資訊理論學科的著名學者，Richard Blahut教授在香農的兒童時代的老家，密歇根州的Gaylord鎮舉行香農塑像的落成典禮上所說的，香農所留給人類的思想會永遠留在人們的腦海中，激勵我們的子孫們。

「在我看來，兩三百年之後，當人們回過頭來看我們的時候，他們可能不會記得誰曾是美國的總統。他們也不會記得誰曾是影星或搖滾歌星。但是仍然會知曉香農的名字。學校里仍然會教授資訊理論。」

（Dr. Richard Blahut, Oct. 6, 2000, Gaylord,
Michigan）

[1]Shannon C E. A mathematical theory of communication[J]. ACM SIGMOBILE Mobile
Computing and Communications Review, 2001, 5(1): 3-55.

[2]Cover T M, Thomas J A. Elements of information theory[M]. John Wiley
Sons, 2012.

[3]信息簡史，詹姆斯·格雷克，人民郵電出版社.

[4]Statistical Abstract of the United States 1950.

【非常高興看到大家喜歡並贊同我們的回答。應許多知友的建議，最近我們開通了同名公眾號：PhDer，也會定期更新我們的文章，如果您不想錯過我們的每篇回答，歡迎掃碼關注~ 】

【「科研君」公眾號初衷始終是希望聚集各專業一線科研人員和工作者，在進行科學研究的同時也作為知識的傳播者，利用自己的專業知識解釋和普及生活中的 一些現象和原理，展現科學有趣生動的一面。該公眾號由清華大學一群在校博士生髮起，目前參與的作者人數有10人，但我們感覺這遠遠不能覆蓋所以想科普的領域，並且由於空閑時間有限，導致我們只能每周發布一篇文章。我們期待更多的戰友加入，認識更多志同道合的人，每個人都是科研君，每個人都是知識的傳播者。我們期待大家的參與，想加入我們，進QQ群吧~：108141238】

---

我來自平行世界，這是我們那個世界的時間線：

1946年，第一台電子計算機誕生，採用十進位。

1950年，第一台帶有儲存器的計算機EDVAC誕生，儲存採用二進位，字長44bit。

1959年，糾錯碼BCH碼誕生。

1960年，Reed-Solomon碼誕生，同年Gallagher提出LDPC碼。

1961年，IEEE增加糾錯碼分卷。

1963年，ASCII碼誕生。

1965年，IBM360第一次採用8bit表示整數，從此開始出現位元組的定義。

1967年，安德魯·維特比提出卷積碼的解碼器維特比演算法。

1972年，音頻編碼的G.711標準誕生。

1973年，數學家A君發表論文《音頻編碼的優化問題》，首次提出通過更好的設計編碼可以減少音頻所需要的儲存空間。

1974年，IEEE增加數據儲存與壓縮分卷。

1978年，B君發表論文《音頻信息的表達方式》，首次提出任何「信息量」以及任何信源都可以用隨機過程來表述，並且首次提出了信息量的表達式。因此，他獲得了當年以A君命名的「A君獎」。

1982年，CD面世，自此，人們認為糾錯碼的發展已經十分成熟，已經不會有更好的糾錯碼了。每年IEEE糾錯碼大會上門可羅雀。

1991年，數字通信系統GSM誕生。同年，法國人克勞德貝魯發明turbo碼，大大提高了糾錯碼的性能。糾錯碼領域重新煥發新生。

1996年，人們重新發現LDPC碼也可以達到同樣的性能，但是，這個性能卻如同撞上了天花板，無法被繼續提升了，否則，就無法保證無錯誤的傳輸。

1999年，新世紀前夕，C君在跨時代的《一個通信的數學理論》，將數據儲存的「信息量」概念引入通信，提出了「信道容量」這個概念，並證明了任何信道能傳輸的信息速率上限即為這個信道信源與信宿之間的「互信息量」。C君因此獲得了「A君獎」，同年，IEEE的數據儲存與壓縮分卷與糾錯碼分卷合併，重命名為「資訊理論分卷」。

————————————————————————————————————

2000年1月1日，我的房間里出現了通往另一個奇妙世界的蟲洞，我發現了另一個世界和我的世界有某種奇妙的聯繫……我們有的技術他們都有，卻又多出了許多奇怪的我們世界並沒有的技能樹，例如3G，例如智能手機，例如社交網站，例如人工智慧，例如無線網路……

我於是去找了這個世界的歷史，發現了我們這兩個平行時空分裂的節點，是一個叫香農的人在1948年提出的一篇論文《一個通信的數學理論》，而這篇論文中涵蓋了我們世界中五十一年中A君，B君，C君三篇引用破萬的論文的所有內容，而且還有富餘。

於是，我用富餘的部分發表了一篇《一種達到信道容量的編碼》的論文，提出用任何一種隨機編碼，只要碼長足夠大，都可以達到信道容量，拿到了當年的A君獎。

然後，我申請了MP3，MP4，JPEG，WMV等一系列專利，成了世界首富。

蟲洞後來一直沒有關閉，所以我時不時地就會來這看一看，然後回去發個極化碼，網路編碼，量子通信之類的論文，然後順便把4G標準里的專利都註冊了。

實際上我還是喜歡在這邊上上網，刷刷知乎。

那邊網不好。

---

香農1948年那篇paper發表的時候叫《A Mathematical Theory of Communication》。
過了幾年（一年？）出單行本的時候標題改了一個字，叫《The Mathematical Theory of Communication》……

---

以前讀本科的時候，當講到信源編碼率等於H(X)，信道容量等於max_p(X) I(X,Y)的時候，也覺得沒什麼，只是記到腦子裡面而已。直到讀博的時候再上資訊理論的課，才了解到這些結論的證明。
這些定理的結論都是充要條件，所以證明有兩個方向。
第一，Achievability. 即提出一種編碼方式，以H(X) (或I(X,Y))為編碼率，可以達到在碼長無限的情況下錯誤率逼近於零。這樣就證明了碼率&<=H(X) (或I(X,Y))。這種編碼方式是理論上成立的，只是複雜度很高而已。方法叫typical set coding，複雜度是指數級的。
第二, Converse，即利用資訊理論中的不等式結論(比如Fano"s inequity)來證明碼率&>= H(X) （或I(X,Y))。這就證明了自己在第一步里提出來的方法是最優的。

另外，Shannon也證明了信源信道編碼是可以分開的，合起來編碼不會比分開更優，所以幾十年來信源編碼和信道編碼就像是分道揚鑣一樣，各自發展。

所以，Shannon的論文定義了點對點通信中兩個最重要的問題，給出了解法，並且證明了他的解法在速率角度是最優的。在Shannon論文前後，通信和編碼領域也都有著發展。不過，在他的論文以後，所有人的論文都多了一個benchmark: Shannon limit. 大家都朝著Shannon給出的理論界努力。香農提出的編碼方法是很複雜的，之後很多人的努力就是提出工程上可行的方案，比如Convolutioal code, Turbo code, LDPC code 之類，目前比較好的能夠接近Shannon limit的是LDPC以及Turbo.

Shannon打開了一扇窗，指明了數字通信和壓縮系統發展的目標，同時，信息熵的定義也被其他學科，比如統計，計算機，廣泛應用。我認為這是他的主要貢獻。IEEE資訊理論協會做了一個官方的紀念視頻： https://www.youtube.com/watch?v=pHSRHi17RKM

在Shannon之後，還有無數科學家和工程師在通信領域努力，達到Shannon得出的理論邊界。舉一些在信道編碼裡面的例子。
Robert Gallager: 60年代就發明了LDPC code，可惜由於當年計算能力的限制，沒有被重視，直到2000年左右被重新發現，現在已經成為公認的十分接近Shannon的信道容量定理的編碼，已經被加入各種無線通信標準中。他有很多有名的學生，比如Elwyn Berlekamp, 做無線通信的David Tse， 做網路編碼的Muriel Medard.
Irving Reed and Gustave Solomon: 發明了Reed-Solomon code，走的是代數路線。這種編碼用在CD/DVD， 衛星通信（70年代開始），數字電視中.
Elwyn Berlekamp: 發明了Reed-Solomon碼的解碼演算法。他還從Jim Simons手上接手了一個對沖基金，弄出一年55.9%的收益以後又賣回給Jim Simons回Berkeley教書去了。那個基金叫大獎章基金，那家公司叫Renaissance Technologies. 他有一個學生叫Robert Li， 網路編碼的發明人之一。
Andrew Viterbi: 發明了Viterbi演算法作為卷積碼的解碼演算法，由卷積碼延伸出來的Turbo code也是一種capacity achieving code. 該演算法也是Hidden Markov Model里求Max Likelihood sequence的經典演算法。同時，他還創建了一家公司，叫Qualcomm (高通）。
還有很多人，不一一多說，可以看看歷屆Shannon Award的獲得者：Claude E. Shannon Award. 還有一個不得不提的人，Ralf Koetter，他是近年來資訊理論界少有的代數和概率功底都極為深厚的人，可惜英年早逝。

Shannon在學術上活躍的時間大約在40-50年代，然後他就開始玩其他東西了。比如他做了能走迷宮的機械老鼠。更有意思的應該還是他和Thorp去拉斯維加斯耍賭場的故事。他們做了一個裝置，可以在轉盤小球剛開始轉動的時候根據小球運動發現出轉盤的偏差，從而計算出小球落到某些格子的概率可能會更大。Thorp後來了一本很流行的書，叫Beat the dealer, 講他在blackjack上的研究。有一本書叫Fortune"s Formula，講做資訊理論的人在賭博方面的故事。

時隔60年，點對點通信的問題基本已經解決，物理層通信已經非常成熟和標準化。資訊理論圈子早已開始關注其他的熱點。比如2000年開始的網路資訊理論和網路編碼，2006年左右開始的compressive sensing， 2008-09那時候開始的interference alignment， 還有2010年之後David Tse開始做bioinformatics. 可惜這些熱點除了Compressive sensing在醫學MRI中有比較大的實用價值以外，其他的目前大都缺乏實用的地方。

---

克勞德·香農與資訊理論的前世今生

謹以此紀念資訊理論之父克勞德·香農百年誕辰(1916年4月30日)。

一、信息、信息量與信息熵

信息:無法預測的實驗結果，與物質和能量並列為世界的三大要素，對應物質循環、能量流動和信息傳遞這三大過程。

維納的定義：信息就是信息，既不是物質也不是能量。

信息是物質、能量、信息及其屬性的標示。——逆維納信息定義

信息是確定性的增加。——逆香農信息定義

信息是事物現象及其屬性標識的集合。

近代科學的重要成就，就是發現物質的守恆和能量的守恆。愛因斯坦提出物質和能量可以相互轉化（E=mc2），但是一切物質和能量的總和依然是守恆的。而信息是不守恆的，並且一切信息的總和總是隨時間單調遞增的。

熱力學第二定律指出，世界的無序性（即「熵」）總是增加的。意圖減少某一體系的熵的努力，必然造成其他體系的熵更大程度的增加。熵的這一特點跟信息一致。

信息量:實驗結果的可預測性越小，隨機性就越大，包含的信息量也就越大。比如，「明天太陽會升起」所包含的信息量小於「明天會有日食」所包含的信息量，因為明天太陽是一定會升起的，而日食是難以預測的。

不管以何種方式描述同一信息，它所包含的信息量總是一樣的。比如，當你用各國語言表達「I am angry」時，如果我們能測量其中包含的信息量，測量結果都應該是一樣的。

信息熵:對信息隨機性的量度，指信息能被壓縮的極限。

信息量的最小單位是bit(binary digit即二進位數位的縮寫，中文翻譯為「位」)，一切信息所包含的信息量都是1bit的正整數倍。計算機系統中常採用二進位，二進位數中的一個「0」或「1」就是1bit。1 Byte＝8bit，Byte中文翻譯成「比特」，簡寫為B,1kB＝1024B(2的10次方)，往上依次還有MB、GB、TB等單位。

二、信息的採集、壓縮與存儲

（一）信息的採集

數字時代之前手動採集信息的弊端:

• 在採集、拷貝、分析時容易出現人為誤差;
• 傳遞遠距離信息時會出現顯著的延遲;

• 分析大量數據的過程複雜而漫長。

數字時代信息採集的便利:

• 利用電子設備自動進行信息採集，無線網路將測量數據自動送到中央控制單元處理;
• 互聯網上有大量可用信息，社交網路成為用於社會分析的大數據樣本的來源，移動互聯網的普及使互聯網滲透進人們的生活每一方面;
• 通過感測器和(無線)網路讓普通物理對象實現互聯互通。

物聯網：

• 通過智能感知、識別技術與普適計算等通信感知技術，利用局部網路或互聯網等通信技術把感測器、控制器、機器、人員和物等通過新的方式聯在一起，形成人與物、物與物相聯，實現信息化、遠程管理控制和智能化的網路；
• 兼容互聯網所有的應用，但物聯網中所有的元素（所有的設備、資源及通信等）都是個性化和私有化，如手錶→智能手錶、眼鏡→谷歌眼鏡。

大數據的一個應用：天文觀測中，通過從相對一般的望遠鏡集群中獲得眾多信號，而不是單純依賴一個昂貴的單片望遠鏡，天文干涉儀實現其高解析度觀測。

（二）信息的壓縮

壓縮信息的目的:減少信息傳遞的成本。

將拍攝的照片同時保存為bmp（無壓縮）和jpg（有損壓縮）格式，你會發現文件大小為16:1，這意味著你可以在你的內存上多存15倍的照片，而同樣的一張照片，當你想上傳到網路上時，所需的時間只是1/16。

數據包含的信息量越少，就越能被壓縮。數據中存在的信息量可以用信息熵從數學上量度。信息熵與我們需要猜測一個對象的次數相關。

假設一個信息可以被分成n個片段，第i個片段的長度是xi，取到這一片段的概率是pi，則信息量

信息熵

舉例，假設小明最喜歡的動物是老虎、貓、青蛙、蟹、豹子中的一種，用不等長的二進位代碼1、10、11、100、101分別表示這五種動物(長度分別為1bit，2bit，2bit，3bit，3bit)。小紅獲知小明選擇這五種動物的概率分別是10%，20%，45%，15%，10%。

這一信息最少能被壓縮到的信息量A＝1×10%＋2×(20%＋45%)＋3×(15%＋10%)＝2.15bit。

信息熵H＝2×0.1×lg(1/0.1)+0.2×lg(1/0.2)+0.45×lg(1/0.45)+0.15×lg(1/0.15)＝0.619

減少信息量的方法：排序不等式指出，在兩個n元數列{an}和{bn}中各取一個元素編為一組，在各組內的兩個元素的乘積的總和的所有可能值中，最小值是將{an}中的元素和{bn}中的元素按相反的大小順序排列並重新編號後，對應序號的兩個元素構成一組相乘後的加和。這就是說，出現概率越大的片段，就越要用較短的字長來傳遞。摩爾斯電碼中將出現頻率較高的「e」」t」等字母用較短的字長來傳遞。當然，有時人們出於加密的考慮，也會避免這樣的做法，甚至反其道而行之迷惑敵人。

減少信息熵的方法：由於n值實際上是難以調整的，因此只有從調整pi上下手。由拉格朗日乘數法：設=0,

L=H+KF(K為常數)

則

滿足上式的唯一條件是pi為不隨i變化的定值，故pi=1/n。即：每一片段的信息出現概率近似相等時，信息熵最小。

（三）信息的存儲

信息存儲：將獲得的或壓縮後的信息保存起來。

磁帶存儲：信息存儲在磁偶極子的兩個相反的方向中。

光碟：信息存儲在反射層上的凹處和凸處，形成「0」和「1」的信號。

快閃記憶體：寫入前刪除數據進行初始化。數據刪除不是以單個的位元組為單位，而是以固定的區塊為單位。

雲存儲：存儲互聯網上海量數據的方法——雲技術;在物理上位於存儲倉庫中。

大腦：信息存儲在管理神經元信號傳遞的突觸上。

三、信息的傳遞

（一）遊程有限原理

二進位中的「0」和「1」分別對應了電子電路的斷和通。為了限制鄰近符號間的干擾，我們要求數列中兩個「1」符號間必須間隔「0」符號，且至少間隔d個「0」符號。但為了保持同步性，又要求至多間隔k個「0」符號，即最小遊程和最大遊程。

比如，小紅和小明分別在兩個房間中，但小明房間里燈的開關在小紅手上。現在小紅要求小明做與小紅相同的動作，他們約定以燈光為信號，如燈亮兩次，就是蹲下；亮三次，就是跳起。那麼，小紅在開燈關燈時，就務必要考慮到兩個因素：第一，兩次開燈之間間隔的關燈時間不能太短，否則小明會誤把兩次開燈看成一次開燈；第二，兩次開燈之間間隔的關燈時間不能太長，否則兩人動作會造成嚴重的延遲。碼長越長d越大，就像小紅給小明的指令越複雜，小明所做的動作越複雜，需要的間隔時間就越長，延遲就越嚴重。

（二）糾錯碼

為使信息傳遞具有糾錯能力，在所有的由發送符號組成的序列中，僅挑出其中一部分做為信息的代表發送，並保證所挑出的這些序列之間有儘可能多的差異。每個被挑出的允許發送的序列被稱為一個碼字，而碼字的總合稱為碼。在發送端把信息變換成碼字的過程稱為編碼；在接收端從接收到的信號判定所發碼字、從而恢複信息的過程稱為解碼。在解碼時，若收到的信號不是碼中的一個碼字，則可以肯定在傳輸中出現了差錯，從而著手對差錯進行糾正。糾錯的方法是找到與接收到的信號最接近的碼字，並將其判定為發送信號。

比如，將二進位符號「0」和「1」分別編為「000」和「111」，這樣「010」就編為「000 111 000」。如果傳遞過程受到雜訊干擾使得接受的編碼為「001 100 111」，則第一個符號將被糾正為「000」，第二個符號將被糾正為「000」，第三個符號的錯誤則無法發現，最後輸出「001」。

（三）漢明距離

一般採用「距離」來度量信號間的接近程度，一種常用的「距離」稱為漢明距離，它被定義為兩碼字間對應位不同的個數總和。一個給定碼，其全部碼字兩兩之間距離的最小值被稱為這個碼的碼距。碼距是一個碼糾錯能力的重要參數，例如在漢明距離下，若接收到的信號出錯的位數不多於碼距的一半，則接收端總能正確地恢復所發送的碼字，從而正確地恢復所發送的信息。

糾錯碼能夠檢錯或糾錯，主要是靠碼字之間有較大的差別。這可用碼字之間的漢明距離d(x，y)來衡量。它的定義為碼字x與y之間的對應位取不同值的碼元個數。一種糾錯碼的最小距離d定義為該種碼中任兩個碼字之間的距離的最小值。一種碼要能發現e個錯誤,它的最小距離應不小於e+1。若要能糾正t個錯誤，則應不小於2t+1。一個碼字中非零碼元的個數，稱為此碼字的漢明重量。一種碼中非零碼字的重量的最小值，稱為該碼的最小重量。對線性碼來說，一種碼的最小重量與其最小距離在數值上是相等的。

（四）編碼方式

分組碼是對信源待發的信息序列進行分組（每組k位）編碼，它的校驗位僅同本組的信息位有關。碼長為n的碼中所有碼字的位數均為n；若要用一個碼傳送k比特信息，則碼字的個數M必須滿足

典型的分組碼是由k位信息位和r位監督位組成的，這樣構成的碼一般稱為系統碼。分組碼中應用最廣的是線性分組碼，碼字之間具有線性約束關係，即這些碼字總體構成了n維線性空間的一個k維子空間。稱此k維子空間為（n，k）線性分組碼。線性系統碼的特點是每個碼字的前k位均由這個碼字所對應的信息位組成，並通過對這k位信息位的線性運算得到後面n—k是位監督位。

線性分組碼中應用最廣的是循環碼，碼字可表示為多項式函數a(x)的係數。循環碼的碼字多項式都可表示成為循環碼的生成多項式g(x)與這個碼字所代表的信息多項式m(x)的乘積，即a(x)=m(x)g(x)，因此一個循環碼可以通過給出其生成多項式g(x)來規定。

在構造線性碼時，要使各非零碼字的重量儘可能大。若一種碼的碼長為n，碼字數為M,最小距離為d，則可把此碼記作（n,M,d）碼。若此碼為線性碼，常簡記作(n，k)或(n,k,d)碼。人們還常用

表示碼率。R越大,則編碼效率越高。

（五）解碼方式

誤碼率=錯誤數/傳輸總碼元數。若用戶發現解碼錯誤的概率為P，則誤碼率的最小值

當R一定，n越大則M越大，pb越小。

人們希望找到的解碼方法是:誤碼率隨碼長的增加按指數規律下降;解碼的複雜程度隨碼長的增加接近線性地增加；解碼的計算量則與碼長基本無關。

四、香農三定理

（一）香農第一定理(香農信源編碼定理)

設離散無記憶信源包含n個符號，發出k重信號序列，則信源可以發出的信息數為,其中第i個信息出現的概率為pki，編碼後所得二進位代碼長bi，則代碼組的平均長度

(二)香農第二定理（香農信道編碼定理）

設某信道有r個輸入符號，s個輸出符號，信道容量為C，當碼率R&

其中

(三)香農第三定理（香農信道容量定理）

只要碼長足夠長，總可以找到一種信源編碼，使編碼後的信息傳輸率略大於率失真函數，而碼的平均失真度不大於給定的允許失真度，即D"≤D。

設R(D)為一離散無記憶信源的信息率失真函數，並且選定有限的失真函數，一定存在一種信源編碼W，其碼字個數為

而編碼後碼的平均失真度

D"(W)≤D+a

五、信息安全

（一）一次一密

一次一密密碼本：最能保證通信安全的加密方式，但因過於複雜，除了在二戰等特殊時期外，並未得到推廣。

密碼的要求：易於實現；絕對安全；長度大；不可重用；穩定性。

（二）RSA演算法

RSA演算法基於一個十分簡單的數論事實：將兩個大素數相乘十分容易，但是想要對其乘積進行因式分解卻極其困難，因此可以將乘積公開作為加密密鑰。

缺點：

產生密鑰很麻煩，受到素數產生技術的限制，因而難以做到一次一密。

人們已能分解140多個十進位位的大素數，這就要求使用更長的密鑰，速度更慢；另外，人們正在積極尋找攻擊RSA的方法。

速度太慢，由於RSA 的分組長度太大，為保證安全性，n 至少也要 600 bits以上，使運算代價很高，尤其是速度較慢，且隨著大數分解技術的發展，這個長度還在增加，不利於數據格式的標準化。

（三）哈希演算法

哈希演算法將任意長度的二進位值映射為較短的固定長度的二進位值，這個小的二進位值稱為哈希值，是一段數據唯一且極其緊湊的表示形式。如果散列一段明文而且哪怕只更改該段落的一個字母，隨後的哈希演算法都將產生不同的值。要找到散列為同一個值的兩個不同的輸入，在計算上是不可能的，所以數據的哈希值可以檢驗數據的完整性。一般用於快速查找和加密演算法。

（四）密碼學的未來

利用無線介質的特性生成密鑰：

• 優點：頻道變異——合法的接收器和竊聽者在相同的傳送中收到不同資料。多路徑性和反饋性。
• 缺點：對黑客具有天生吸引性。

利用物理系統的特性為網路物理系統設計安全協議：

• 優點：個性化
• 缺點：異構應用程序間的互操作較為複雜

利用量子力學特性生成密鑰：

• 優點：十分安全（海森堡不確定原理）
• 缺點：傳輸距離和加密速率受阻

六、資訊理論在現代社會

（一）量子信息

量子位元的隨機測量：當從某一角度進行觀察，會隨機的出現兩種測量結果。

量子網路是量子計算和量子密碼系統的一個重要元素，允許物理上獨立的量子系統之間量子信息的傳遞，使得安全通信成為現實。

使用光纖連接或無線連接的光量子網路在以光子形成遠距離傳輸量子態方面發揮著積極作用。光膠子用於捕獲單個原子，作為這些網路中存儲和處理的節點。

單位量子信息存儲在單個粒子中，從系統論意義上看，比特是最簡單的兩態系統。在量子通信中，信息是一個個兩態量子系統，如具有兩個相反的偏振方向的光子就是一個兩態系統。量子通信以兩態量子系統——量子比特（qubit）作為單位，一個量子比特是兩個相反邏輯狀態的疊加。

量子信息的演化遵循薛定諤方程，要想實現量子通信，首先是製備量子態，進行信源編碼，將信源發出的信息轉化為量子態。

（二）無線通信

無線通信技術的發展：

• 頻率復用：多區域行動電話系統，同信道區域頻率分配，任意子區域不存在互相干擾的信息。
• 小區分裂：大容量移動無線通話系統。小區模型下的協調與增長。
• 切換技術：多區域行動電話系統，地理布局，控制中心，子區域，互聯網。
• 信道：射頻單元傳輸所產生的回波，不同位置的採樣脈衝。
• 語音通話：以100赫茲的頻率快速衰減20~30分貝。數字語音壓縮，語音碼本的預測編碼，激勵線性預測編碼。

維特比演算法：

• 維特比最優性原理：如果概率最大的路徑p(或者說最短路徑)經過某個點A，那麼這條路徑上的起始點S到A的這段子路徑Q，一定是S到A之間的最短路徑。否則，用S到A的最短路徑R替代Q，便構成一條比P更短的路徑，這顯然是矛盾的。
• 最短路徑原理：從S到終點E的路徑必定經過第i個時刻的某個狀態，假定第i個時刻有k個狀態，那麼如果記錄了從S到底i個狀態的所有k個節點的最短路徑，最終的最短路徑必經過其中一條，這樣，在任意時刻，只要考慮非常有限的最短路即可。
• 假定當我們從狀態i進入狀態i+1時，從S到狀態i上各個節的最短路徑已經找到，並且記錄在這些節點上，那麼在計算從起點S到第i+1狀態的某個節點B的最短路徑時，只要考慮從S到前一個狀態i所有的k個節點的最短路徑，以及從這個節點到B的距離即可。

小型手機的問題：

• 背景噪音如大媽跳廣場舞時的音樂，人們對背景噪音的抱怨，有風環境下的風吹聲和其他聲音
• 寬頻語音，信號差引起語音中斷
• 對極端條件的音量無法實現自動控制的調節，意象不到的噪音傷害，另一端聲音太小
• 對回聲的自動化識別不足，語音識別問題

無線網路的發展：

• 現代蜂窩系統的功率控制；
• 自適應編碼和使傳輸效率與信道信噪比相匹配的調製技術；
• 混合ARQ能夠在高層實現魯棒數據包差錯恢復；
• 自適應調頻和差錯控制編碼；
• 多入多出系統和空時編碼，MIMO和STC的使用為用戶提高吞吐量；
• 空間、時間、頻率三位一體；
• 直接序列擴頻和差錯控制編碼。

超大規模集成電路的發展：

• 處理器在手機上的應用（CPU+音頻、視頻、圖像處理器）
• WiFi的廣泛應用
• 單晶元手機設備
• 多模無線技術，射頻製程

2015年全球移動數據流量每月3.7EB（1EB=1024PB=10242TB=10243GB），比2014年增長1.7倍，佔總數據流量的74%。2015年全球數據流量相當於2010年的15倍，2015年移動數據流量比固定IP流量網速快3.5倍。

手機的發展歷程：模擬語音→數字語音→文本信息→富文本信息（圖文並茂）→社交網路

周立波曾說現在人們拿手機當電腦，拿電腦當電視，拿電視當擺設。

拿手機當電腦：無線網路的普遍化，全面互聯互通的推進，網路交流的便攜化。個性化的APP設計是智能手機的靈魂。大數據的發展使用戶細分成為可能，私人訂製成為時尚。

拿電腦當電視：網路資源分享和信息交流的廉價化，內容選擇更加自由豐富。

我們無法預測太長時間移動互聯網的光輝前景，因為這個行業的業態隨時可能迸發出令全世界發生深刻變革的驚人潛力。試問，五年前有多少人能預料今日微信的成功：

• 語音聊天、小視頻：為懶人考慮，為大眾考慮，用最簡單的方式征服最大多數的用戶。
• 二維碼：智能手機獲取圖像能力的發展，全面互聯互通，新的信息存儲形式。
• 微信掃一掃支付：更便捷的支付平台，未來出門不需帶錢包。
• 微信群、紅包：新的人際交流方式，加強家庭、同事、同學的聯繫，中國是人情社會。
• 朋友圈曬自拍、P圖：中國人比之前更大膽的展現自己的風采，P圖帶火了美圖秀秀、足記等手機APP，朋友圈成為真正的朋友圈。
• 公眾號：量身定做的內容推送，個體用戶與傳媒的互動，管理微信公眾號是一種重要的職場素質。
• 最近的例子——表情包。
• 搖一搖：基於WiFi全面覆蓋的地理位置共享。

阿里巴巴的數據顯示，2015年11月11日全天，天貓雙11全球狂歡購物節的交易額達到912.17億元，超過去年銷售額（571億元）六成。網購是對中國傳統銷售模式的顛覆，電商崛起正在改變中國的經濟版圖。目前基於天量的網購市場，一手托起了數以億計的消費者，一手托起了數以千萬計的從業者，體現了互聯網的力量和市場的力量。

原因：

• 馬云：感謝親愛的剁手黨，感謝路上的快遞員，感謝億萬客服，感謝每一位商家，感謝加班加點的技術宅，感謝每一面手機和電腦屏幕前的自己。
• 雙十一是人造的消費熱點，處於傳統上的國慶和元旦兩個購物高峰中間，傳統上出現供過於求的局面。
• 迎合了互聯網時代的草根文化。

互聯網金融模式介紹：

• 020=online
  to offline，offline to online
• C2C=consumer
  to consumer
• B2B=business
  to business
• B2C=business
  to consumer
• B2F=business
  to family
• S-S=software
  service
• P-S=platform
  service
• M-B=mobilephone
  business
• B2G=business
  to government
• B2M=business
  to market
• M2C=manufacture
  to consumer
• SoLoMo=social
  local mobilephone
• ABC=association
  business consumer
• BAB=business
  association business
• P2C=platform
  to consumer
• P2P=point
  to point，platform
  to platform
• SN-EC=social
  network electronic commercial
• B2S=business
  to share

未來發展：

• WiFi的廣泛覆蓋，速率進一步提升；
• 輔助授權頻譜接取技術；
• 毫米波個域網技術；
• 射頻前端的發展提供更寬的帶寬；
• 大規模MIMO；
• 感測器；
• 電池技術；
• 5G:高帶寬、高容量、低功耗。

（三）能量採集

發射率存儲所採集的能量同時有效利用它使可靠通信達到最大，以此來完成數據發送。

能量採集系統要素：

• 能源：如振動、熱、光；
• 能量轉化器(sensor)：其他能→電能；
• 能量採集區塊：捕獲、存儲並管理設備能量；
• 結束應用的程序：低能耗無線感測器網路，監控設備。

未來：

• 血管內的感測器和機器人納米器件；
• 用於醫療監測的生物印章；
• 尋找不間斷通信的方法，那就是優化由能量採集器作為動力的無線通信中的能量耗費：配有能量採集器的無線設備能在沒有電網的情況下持續通信並且降低碳排放；
• 太陽輻射供能的空間勘探和太陽能手機；
• 部署在河流中用於預測洪水的無線感測網路；
• 射頻辨識標籤庫存系統。

挑戰：

• 設備能量存儲空間有限；
• 能量採集效率有限；
• 能量存儲過程中存在泄露，容量損失等缺陷；
• 所採集能量的預測精度；
• 對可用能源意外變化的適應性。

七、資訊理論的現在與未來——人工智慧

（一）人工智慧（artificial intelligence，簡稱AI）的方向

• 利用計算機強大的運算性能對大量數據進行分析，結合運籌學與控制論，從近乎無數中方案中幫助人們選出最優;
• 利用計算機網路模擬人類的神經網路和認知(物質轉化為意識的嘗試)，讓計算機模仿人類那樣思考，而其計算能力又遠高於人類。

兩次人機大戰，前者是「深藍」的思路，後者是「阿爾法狗」的思路。

（二）機器人的定義

美國斯坦福大學的Roth認為：

「所謂機器人是一種與人，其他動物或機器聯合做事的機器，它有自動和半自動的兩形式。機器人和其他自動化機器不太容易區別清楚，但它改變快，商品傾向較強，其含義也隨時間的推移而改變」。

美國K.J.Waldron提出如下定義：

「所謂機器人是一種具有較多自由度，靠與機構有介面的主動系統進行決策和控制運動的機械。這裡所提的主動系統是指工業機器人中計算機控制的伺服驅動器，或是指遙控操作機中，作為系統一部分的控制操縱桿的操作者。」

另一位科學家Wolovich給出的定義是：

「機器人是可再編程的多功能操作機，用各種編程的動作完成多種作業，用於搬運材料、工件、工具和專用裝置。」

機器人是一種在計算機控制下的可編程的自動機器。根據所處的環境和作業的需要，它具有至少一項或多項擬人功能，如抓取功能或移動功能，或兩者兼而有之，另外還可能程度不等的具有某些環境感知功能（如視覺聽覺觸覺接近覺等）以及語言功能乃至邏輯思維，判斷決策功能等，從而使它能在要求的環境中代替人進行作業。

（三）機器人三原則

1950年，美國著名科幻小說家阿西莫夫在他的小說《我是機器人》中，提出了著名的「機器人三守則」：

• 機器人必須不危害人類，也不允許它眼看人將受傷害而袖手旁觀；
• 機器人必須絕對服從於人類，除非這種服從有害於人類；
• 機器人必須保護自身不受傷害，除非為了保護人類或者是人類命令它做出犧牲。

（四）機器人是一種典型的集成技術

機器人的覆蓋面非常之廣，可是說什麼合用就用什麼。現在新材料、生化技術、新能源、下一代互聯網和MEMS技術等已經成為機器人技術的新寵。以機器人技術為代表的集成技術，其發展與進步一定會得益於一系列的核心技術的逐步成熟。就集成技術本身而言，最關鍵的就是系統設計和尋找應用的突破點。

（五）三代機器人

第一代機器人主要是指只能以「示教——再現「方式工作的順序控制機器人，以1962年AMP公司和Unimation公司的「Versatran」與「Unimat」為起始產品。目前國際上商品化、實用化的機器人大都屬於第一代機器人，但是它們的技術進步也是很顯著的。它依靠人們給與程序，進行多種重複操作。由於其不具有感測器的反饋信息，因此不能在作業過程中從外界不斷獲取信息來改善自身的行為品質，故其應用範圍和精度受到限制。

第二代機器人具有一定的感覺裝置，能獲取作業環境、操作對象的簡單信息，通過計算機處理、分析，能作出一定的推理，對動作進行反饋控制，表現出低級的智能。由於其信息處理系統的龐大與昂貴，第二代機器人目前只有少數可以普及應用。

第三代機器人是指具有高度適應性的自製機器。它具有多種感知功能，可進行複雜的邏輯思維，判斷決策，在作業環境中獨立行動。

（六）機器人和AI的未來

· Robot-CAD CAD Multi-body Simulation;

· 動力學實時控制與補償，新機構、新結構、新控制器、新感測器的開發和新型伺服驅動系統的研究；

· 視覺、觸覺、力覺感測器和多感測器信息融合技術;

· MARS(多智能體機器人系統)技術；

· 微機械技術在機器人上的應用，微小型和微型機器人；

· 虛擬現實和增強現實技術在機器人上的應用；

· 多媒體和信息網路在機器人技術上的應用，網路化的群機器人的控制；

· 網路機器人與感測網路技術；

· 機器人共存技術，「軟機器人技術」，Soft Robotics；

· 仿人型和與人友好機器人技術；

· 機器人編程方法與方式的進一步研究；

· 伴隨著機器人應用工程的推廣，作為系統的一部分，開展系統研究。

八、資訊理論的現在與未來——計算機編程

計算機的工作方式:自頂向下逐步求精。

計算機體系結構：馮·諾依曼結構。

計算機的組成：

• 存儲器（RAM － Random Access Memory）：存儲程序指令和數據，包括隨機存取存儲器和只讀存儲器（Read Only Memory）
• 中央處理器（CPU － Central Processing
  Unit）：又可細分為控制器（CU）和運算器（ALU），即，CPU = CU + ALU。
• 輸入輸出設備（I/O － Input / Output）：也稱外部設備，負責對數據和程序進行輸入與輸出。

計算機設計者把計算機可以完成的動作編輯成一個機器指令表，並為每種動作賦予一個二進位代碼，通常由指令碼（操作碼）和內存地址（操作數）來構成。通過機器指令來編寫的程序稱為機器語言程序。

摩爾定律還適用嗎？

編譯程序系統：

• 編譯：將高級語言源程序轉換為彙編語言源程序（目標程序）
• 連接：將目標程序轉換為機器指令程序（可執行程序）
• 執行：執行可執行程序，得到所需的結果

面向對象程序設計方法的特點：

• 將數據以及對這些數據進行操作的方法放在一起，形成一個相互依存、不可分離的整體——對象。
• 通過對事物的抽象找出同一類對象的共同屬性(靜態特徵)和行為(動態特徵)，從而形成類。類是面向對象程序設計方法中的程序主體，類中的大多數數據只能用本類的方法進行處理，以保障程序模塊的獨立性以及數據的安全性。類通過一個簡單的公共對外介面與外界發生聯繫，對象與對象之間通過消息進行通訊。
• 面向對象程序設計的三大特徵是：封裝性、繼承性、多態性。
• 面向對象的計算機程序設計，才能使得軟體產品易使用、易修改、易測試、易維護、易擴展，才能使得軟體產品更便捷、更智能、更靈活、更穩定、更友好，才能勝任全面互聯網時代的海量數據和更複雜問題的衝擊。

九、三論的聯繫

（一）資訊理論與自動化系統及自動控制

將人作為一個組成部分包括到系統之中，並能清楚地區分出哪些工作應該由人去完成？哪些工作應該由機器去完成？在系統運行中，當進行到需要人去完成的工作時，系統就將工作交給人，當需要機器去完成時，就交給機器，構成一套和諧的、協調的、高效的運行機制以保證系統目標的實現。

系統論、控制論、資訊理論三門學科密切相關，它們的關係可以這樣表述：系統論提出系統概念並揭示其一般規律，控制論研究系統演變過程中的規律性，資訊理論則研究控制的實現過程。因此，資訊理論是控制論的基礎，二者共同成為系統論的研究方法。

舊三論：控制論、系統論、資訊理論

新三論：耗散論、協同論、突變論

（二）控制論

如果我們去追溯控制論思想的源流，就能發現它至少是三條悠長的支流匯合的結果。

一條是數學和物理的發展。特別是19世紀末20世紀初，麥克斯韋、玻爾茲曼和吉布斯推動了統計物理的建立，20世紀20年代後，量子力學又建立起來了。有不少科學家認為：與其說我們這個世界是建立在必然性之上的，倒不如說是建立在偶然性之上的，許多物理定律僅僅是大量事件統計平均的結果。科學的發展迫使人們回答必然性和偶然性之間的關係。於是，確定性與非確定性以及它們之間關係的研究成為科學界最熱門的課題。概率論的成熟，熱力學中的熵直至資訊理論的提出，就是這一研究的逐步深入。

另一條支流是生物學和生命科學的進展。科學家早就發現，生物界不是一個充滿必然性的機械世界，另一方面，生物個體行為也不能用統計力學和量子力學所用的純或然語言來刻畫。生命的活動中既有或然性，也有必然性。生命是怎樣把必然與偶然統一起來的?科學家對生命的機制發生了濃厚興趣。20世紀三四十年代，生物學家提出了「穩態」 概念，意味著人類對這一問題的認識已推進到新的階段，它直接為控制論的誕生奠定了基礎。

第三條支流是人類對思維規律的探討。它集中地反映在計算機製造和數理邏輯的進展。數學家特別是計算機的研製者們企圖用數學語言來模擬人的思維過程。第二次大戰前後，電子計算機的製造成為控制論成熟的前奏曲。

在 20世紀40年代，標誌著這三條支流匯合的科學著作終於出現了。1947年，維納的《控制論》就是作為統一它們的最初嘗試。儘管維納的這本書中有許多錯誤，有很多大膽的但後來被證明是不妥切的設想，但這本書震動了科學界。科學家們被建立各門學科的統一方法論的雄心所吸引。一大批各個領域中的專家紛紛互相對話，控制論、系統論成為二次大戰後直至今天的不可忽視的科學思潮。

在控制論中，「控制」的定義是：為了「改善」某個或某些受控對象的功能或發展，需要獲得並使用信息，以這種信息為基礎而選出的、於該對象上的作用，就叫作控制。由此可見，控制的基礎是信息，一切信息傳遞都是為了控制，進而任何控制又都有賴於信息反饋來實現。信息反饋是控制論的一個極其重要
的概念。通俗他說，信息反饋就是指由控制系統把信息輸送出去，又把其作用結果返送回來，並對信息的再輸出發生影響，起到制約作用，以達到預定的目的。

（三）系統論

系統科學是以系統為研究對象的基礎理論和應用開發的學科組成的學科群。它著重考察各類系統的關係和屬性，揭示其活動規律，探討有關係統的各種理論和方法。系統科學的理論和方法正在從自然科學和工程技術向社會科學廣泛轉移。系統論認為，整體性、關聯性，等級結構性、動態平衡性、時序性等是所有系統的共同的基本特徵。這些，既是系統所具有的基本思想觀點，而且它也是系統方法的基本原則，表現了系統論不僅是反映客觀規律的科學理論，具有科學方法論的含義，這正是系統論這門科學的特點。

系統論認為，開放性、自組織性、複雜性，整體性、關聯性，差序性、動態平衡性、時序性等，是所有系統的共同的基本特徵。這些，既是系統所具有的基本思想觀點，而且它也是系統方法的基本原則，表現了系統論不僅是反映客觀規律的科學理論，具有科學方法論的含義，這正是系統論這門科學的特點。

系統論的核心思想是系統的整體觀念。任何系統都是一個有機的整體，它不是各個部分的機械組合或簡單相加，系統的整體功能是各要素在孤立狀態下所沒有的性質。系統中各要素不是孤立地存在著，每個要素在系統中都處於一定的位置上，起著特定的作用。要素之間相互關聯，構成了一個不可分割的整體。要
素是整體中的要素，如果將要素從系統整體中割離出來，它將失去要素的作用。正象人手在人體中它是勞動的器官，一旦將手從人體中砍下來，那時它將不再是勞動的器官了一樣。

（四）耗散論

耗散論把宏觀系統區分為三種：

• 與外界既無能量交換又無物質交換的孤立系；
• 與外界有能量交換但無物質交換的封閉系；
• 與外界既有能量交換又有物質交換的開放系。

孤立系統永遠不可能自發地形成有序狀態，其發展的趨勢是「平衡無序態」；封閉系統在溫度充分低時，可以形成「穩定有序的平衡結構」；開放系統在遠離平衡態並存在負熵流時，可能形成「穩定有序的耗散結構」。

耗散結構是在遠離平衡區的、非線性的、開放系統中所產生的一種穩定的自組織結構，由於存在非線性的正反饋相互作用，能夠使系統的各要素之間產生協調動作和相干效應，使系統從雜亂無章變為井然有序。

例如，生物機體是一種遠離平衡態的有序結構，它只有不斷地進行新陳代謝才能生存和發展下去，因而是一種典型的耗散結構。人類是一種高度發達的耗散結構，具有最為複雜精密的有序化結構和嚴謹協調的有序化功能。

耗散結構論認為，耗散結構的有序化過程往往需要以環境更大的無序化為代價，因此從整體上講，由耗散結構本身與周圍環境所組成的更大範圍的物質系統，仍然是不斷朝無序化的方向發展，仍然服從熱力學第二定律。由此可見，達爾文的進化論所反映的系統從無序走向有序，以及克勞修斯的熱力學第二定律所反映的系統從有序走向無序，都只是宇宙演化序列中的一個環節。

（五）協同論

協同論主要研究遠離平衡態的開放系統在與外界有物質或能量交換的情況下，如何通過自己內部協同作用，自發地出現時間、空間和功能上的有序結構。

協同論認為，千差萬別的系統，儘管其屬性不同，但在整個環境中，各個系統間存在著相互影響而又相互合作的關係。其中也包括通常的社會現象，如不同單位間的相互配合與部門間關係的協調，企業間相互競爭的作用，以及系統中的相互干擾和制約等。協同論指出，大量子系統組成的系統，在一定條件下，由於子系統相互作用和協作，
這種系統會研究內容，可以概括地認為是研究從自然界到人類社會各種系統的發展演變，探討其轉變所遵守的共同規律。應用協同論方法，可以把已經取得的研究成 果，類比拓寬於其它學科，為探索未知領域提供有效的手段，還可以用於找出影響系統變化的控制因素，進而發揮系統內子系統間協同作用。

事物的演化受序參量的控制，演化的最終結構和有序程度決定於序參量。不同的系統序參量也不同。比如，在氣體系統中，壓強（力學參量）、溫度（熱學參量）和體積（幾何參量）就是序參量。在化學反應中，取摩爾濃度或反應速率為序參量。在社會學和管理學中，採用「測驗」、調研或投票表決等方式來反映對某項「意見」的反對或贊同。此時，反對或贊成的人數就可作序參量。序參量的大小可以用來標誌宏觀有序的程度，當系統無序時，序參量為零。當外界條件變化時，序參量也變化，當到達臨界點時，序參量增長到最大，此時出現了一種宏觀有序的有組織的結構。

協同論指出，一方面，對於一種模型，隨著參數、邊際條件的不同以及漲落的作用，所得到的圖樣可能很不相同；但另一方面，對於一些很不相同的系統，卻可以產生相同的圖樣。由此可以得出一個結論：過程的不同模型可以導致相同的圖樣。在每一種情況下，都可能存在生成同樣圖樣的一大類模型。

協同論揭示了物態變化的普遍程式：「舊結構→不穩定性 →新結構」，即隨機「力」和必然「力」之間的相互作用把系統從它們的舊狀態驅動到新組態，並且確定應實現的那個新組態。由於協同論把它的研究領域擴展到許多學科，並且試圖對似乎完全不同的學科之間增進「相互了解」和「相互促進」，無疑，協同論就成了軟科學的重要工具和方法。

（六）突變論

在自然界和人類社會活動中，除了漸變的和連續光滑的變化現象外，還存在著大量的突然變化現象，如水的沸騰、岩石的破裂、地震、細胞的分裂、生物的變異、戰爭、市場變化、經濟危機等等。突變論認為，系統所處的狀態，可用一組參數描述。當系統處於穩態時，標誌該系統狀態的某個函數就取唯一的值。當參數在某個範圍內變化，函數有不止一個極值時，系統必然處於不穩定狀態。雷內托姆指出：系統從一種穩定狀態進入不穩定狀態，隨參數的再變化，又使不穩定狀態進入另一種穩定狀態，那麼，系統狀態就在這一剎那間發生了突變。突變論給出了系統狀態的參數變化區域。

突變論提出，高度優化的設計很可能有許多不理想的性質，因為結構上最優，常常聯繫著對缺陷的高度敏感性，就會產生特別難於對付的破壞性，以致發生真正的catastrophe。在工程建造中，高度優化的設計常常具有不穩定性，當出現不可避免的製造缺陷時，由於結構高度敏感，其承載能力將會突然變小，而出現突然的全面的塌陷。突變論不僅能夠應用於許多不同的領域，而且也能夠以許多不同的方式來應用。

九、資訊理論推動自然科學和社會科學的統一

（一）從關於形式和本質的爭論談起

1924年，一位名叫W.J.賴利的學者在研究零售市場問題中，提出一個數學模型，指出兩個城市之間的人口移動和它們的居民數的乘積成正比，和它們之間距離的平方成反比。天體物理學家施棣華認為這些概念實際上和牛頓的萬有引力定律是同型關係。1949年，經濟學家G.K.齊普夫對這個經驗公式加以改進，於1965年創立了所謂「人類行為中最小努力」原則。很多經濟學家和社會學家對這一類方法卻不以為然。在他們看來，牛頓萬有引力公式和人口流動規律的類同，純粹是形式上的。應用數學方法充其量只能描述事物的運動形式和數量關係。難道數學方法在社會學中的引用可以解決諸如人口流動、人口增長與社會制度之間關係的問題嗎?這一類問題才是更本質、更重要的問題。

在文學領域中也有類似爭論。英國數學家西爾維斯對行列式理論卓有貢獻，他曾頗有興緻地寫了一篇《詩的規律》的論文。論文對莎士比亞十四行詩的形式進行數學分析。近年來一些數學家把倍爾數用來研究詩詞格律，發現四行詩只有15種不同的押韻方式。象當年預言自然界只存在230種結晶方式一樣，這一小小的成果也使數學家感到歡欣。然而，文學家也許會說：你們分析的結論是對的，但這只不過是雕蟲小技，四行詩的押韻方式只不過是詩歌形式問題中的一個小枝節。確實，對於詩歌創作和研究來說，詩歌的內容、情感、意境才是更本質、更重要的問題。

經濟學中的例子就更多更典型了。政治經濟學家尖銳地批評數理經濟學派僅僅研究經濟運動的形式，市場均衡也好，邊際效用也好，都忽視了市場、商品和經濟活動的本質，而只注重了形式和數量關係。

這些爭論集中起來看，實際上就是自然科學和社會科學是否具有統一的方法的問題。一些人主張存在兩種截然不同的方法，自然科學方法只能用來處理形式化問題和定量關係；而社會科學方法則必須遵循從「事物質的規定性」出發的原則，探討這種質的規定性自身運動的法則。在處理事物本質問題及其聯繫上，自然科學方法是無能為力的。另一部分人則認為，社會科學的使命同自然科學一樣都是研究事物發展和運動規律的，因此儘管對象不同，應該具有統一的方法。

這是一場曠日持久的爭論。確實，從目前研究的現狀來看，很難判別孰是孰非。儘管如此，運用自然科學方法來解決社會科學問題，已經成為當今理論探索的一種時尚。經濟學家建立了許多數學模型來描述各式各樣的經濟過程，用線性代數和微分方程來研究和預測價格形成和市場均衡。歷史學家用電子計算機來處理數據，探討古希臘城邦戰爭的規模，出現了計量史學和科學史研究。社會學家則將人口波動過程表達成差分方程，模擬社會人口增長和城市發展。甚至在文學領域中，也出現了接受美學、傳播學、詩歌語義學等新分支。越來越多的青年學者對自然科學與社會科學的結合表現出濃厚的興趣。

另一方面，我們不能不承認社會科學家們自有他們的道理。雖然自然科學在社會科學中的運用已取得了不少成果並且呈現出迅速擴張的趨勢，但是也必須看到這種運用大多只是處理枝節性和技術性的問題，主要是局限於「形式和數量」研究方面。正如考古學中用放射性同位素測定文物年代一樣，它在整個社會科學中的應用還只是從屬性的和技術性的。考古學的主要方法還不得不用傳統的社會科學方法。

那麼，在自然科學奔向社會科學的強大潮流中，難到存在著在形式和本質上不可逾越的鴻溝，使得自然科學方法在社會科學研究中只能處於目前這種從屬的地位嗎？
究竟自然科學和社會科學是否具有統一的方法？這種統一的方法實質上是什麼？如果這些關鍵問題處於若明若暗的五里雲霧之中，那麼我們就無法進一步深入討論這個問題。

為此，我們有必要從認識論的角度對自然科學和社會科學的構造理論的基本過程進行分析。

（二）自然科學和社會科學的共同點

無論是自然科學還是社會科學，理性認識都基於感性認識之上。研究者必須從廣泛地搜集材料開始，然後分析加工材料，進行從個別到一般的抽象，然後提出觀點或理論。任何理論總是對它們所依據的材料的反映，概括和解釋。因此自然科學和社會科學研究的對象雖然不同，但從一般原則上看，它們的理論是否正確，也即認識從感性階段上升為理性階段這一過程是否能科學地進行，都必定取決於兩個重要環節。

• 第一，材料搜集中的經驗（包括實驗）事實是否正確，是否完備、全面；是否能反映出事物的聯繫和全貌；
• 第二，從感性認識向理性認識飛躍時，理論概括是否科學、是否正確。如果這兩個環節中有一個發生重大差誤， 那麼據此提出的理論必然靠不住。

問題就在這裡：一個研究者如何做到在研究中使這兩個環節不出差錯呢？首先，具體經驗事實和材料幾乎是無窮多的，幾乎不可能把它們全部收集在一起。佩雷菲特舉過這樣一個例子：

「有一位青年考古學家，腦袋裡想寫一篇論文，談荷馬時代的兵器學。文獻資料越搜越多，浩如煙海。他覺得明智的辦法是縮小範圍，只研究頭盔。但範圍還是太大，於是再限定為冠纓。最後他風趣地說：『今後誰要談荷馬時代、希臘戰士的冠纓，就非引用我的論文不可。』」

這個例子很典型。它說明研究者常用的方法是用嚴格限定和縮小研究對象來限制收集材料的範圍的。這固然使得材料精細準確，為象考古學這樣的學科或其他學科提供一種可靠的研究基礎，但也必然會使研究領域無限細分，甚至會出現鑽牛角尖的趨勢。我們可以問那個青年考古學家，僅僅研究冠纓就能反映古希臘的兵器學嗎？應該看到，這種方法特別不適應於整體規律和事物間互相聯繫的研究。在限制研究對象的一次又一次分割中，事
物間的本質聯繫也往往被割裂了。而且我們應該看到，很多時候即使對一個具體對象來說，嚴格限定對象以縮小研究範圍，也很難做到使材料充分、完備。

在自然科學中，亞里士多德理論體系是個很明顯的例子。眾所周知，亞里士多德廣泛收集了當時自然現象和各種社會現象知識中的經驗事實，寫出著名的《物理學》。我們姑且不論亞里士多德理論體系的歷史價值，而只是指出人類花費了一千多年的努力才擺脫了它的束縛。

亞里士多德最明顯的特點是，把研究對象進行主觀分類。他在《形而上學》中指出：「所有這些科學都只是割取存在的一個特殊部分——即某一個『種』，對它加以研究」。根據亞里士多德學說，天上的物體和地球上的物體是屬於完全不同的兩類研究對象，因此它們之間不可比，也沒有聯繫，它們有著完全不同的運動規律。從直觀上看，從亞里士多德時代的知識水平看，這似乎是無可非議的：天上的物體做著完美的圓周運動，地上的物體自然趨於下落，做直線運動。因此，在亞里士多德最初構造他的物理學理論時，力學研究的對象被人為地割裂開來。而亞里士多德的後繼者又用他的理論來規定物理學研究的對象，這樣，就束縛了人們的認識。雖然人們曾千萬次看到蘋果下落這一類現象，但在伽利略、牛頓作出他們革命性突破以前，沒有一個物理學家會把「蘋果下落」原因和天體運動規律當作同一力學研究對象，萬有引力定律自然不會被發現。

（三）三論與科學方法論

只要我們承認人類的任何理性認識都來源於實踐（包括經驗和實驗），任何理論都是相對真理，只要承認我們認識客觀事物過程中，在收集取捨材料時往往存在主觀性，片面性因而發生偏差，在概括材料進行抽象和推理時也經常失誤的話，那麼，我們就可以理解所謂「科學方法論」的本質了。無論對於自然科學研究還是社會科學探索，方法論的關鍵在於我們能否找到一種有效的途徑來排除這些偏差和失誤，使人的認識逐步逼近真理。確實，在這方面自然科學和社會科學不同，在近二千年的發展中，特別是近三百年來，已經建立了一整套相當有效和成熟的研究方法，依靠它可以使人類對自然界的認識從謬誤的陷阱中較快地擺脫出來，取得長足進步。只有從這個角度，我們才能理解，所謂自然科學的方法究竟是什麼？它在什麼意義上、在多大程度上可以在社會科學中運用？

波普有一句名言：「科學經常是錯的，而偽科學倒有時是對的」。實際上科學家並沒有什麼靈丹妙藥，以保證他們最初提出理論的時候，所依據的經驗事實一定完全正確，也不能保證他們任何一次理論概括都不出差錯。科學史證明，幾乎所有的科學理論在最初提出時，它所收集的材料都不全面，不能反映本質。它的理論也不完整，甚至有很大的錯誤。

最早化學家是本著尋找「哲人石」這樣的錯誤目的和理論來設計化學實驗的。甚至到了十八世紀，化學家在研究燃燒過程時，還沒有把最關鍵的物質——氧氣考慮進去。今天學過物理學的人都知道，磁偏角和磁傾角是揭示地磁現象本質的兩個必須考察的變數。然而在羅伯特.諾曼以前，幾乎所有西方學者都把磁針不能指向正北看做一種誤差。

然而，科學之所以成為科學，就在於它找到了一套有效的方法，可以一步步排除認識過程中兩個環節帶來的偏差。也就是說自然科學方法中最核心的部分是一種對經驗材料自組織的過程和理論自我改進的機制。它的運用保證了即使我們從不完備的經驗材料和不正確的假說出發，也可以一步步做到使材料變得完備，並使理論趨於正確的過程。為了說明這種機制，我們先來看一個具體的例子。

魏格納在最初提出大陸漂移的設想時，並不可能知道這一學說和研究對象的整個範圍。今天的板塊理論涉及到地質學，地磁學、古生物學、地球化學等廣闊的學科，
這是魏格納當初不可能涉及到的經驗事實範圍。他只能從一些局部的不完備事實開始構造他的理論。他發現非洲大陸的邊界可以和美洲大陸的邊界拼接成一個整體。正是從大陸邊界拼合這一觀察開始，魏格納構想出大陸漂移假說。如果這一假說的形成僅僅停留在這一次性的從經驗材料到理論概括上，那麼無論是這些材料還是理論本身都存在很多偏差和錯誤。比如，大陸邊界的拼合中就帶有很大的任意性。現在發現，魏格納當初提出的大陸海岸線可以拼合的設想並不正確。近年來劍橋大學
的布拉德設計了電子計算機拼接法，發現正確的拼合不是現在的海岸線而是水下1000米的等深線。而魏格納當初根據大陸海岸線可以拼合而構造大陸漂移假說
時，他並不知道這一點。並且，地質構造上的拼接還需要利用對大陸絕對年齡的測定，這是本世紀六、七十年代的地質學家才掌握的手段。而魏格納當時根本不可能 測定和收集有關大陸絕對年齡的數據。相反，這些數據的收集是在人們普遍接受大陸漂移說後才被注意的。那麼，板塊理論的建立是怎樣擺脫並糾正它在初始形成時的錯誤呢？這才是問題的關鍵所在。

我們考察一下魏格納大陸漂移假說，可以發現，第一，這一假說具有清晰性，它明確提出現有的大陸是由一塊整個的原始大陸在水平作用力下慢慢漂移開來的；第二，這一假說可以導出一些最初建立理論假說所依據的材料（大陸邊界拼合）以外的結論，這些結論可以用其他材料驗證，也即它具有認識論的預見性。比如，根據大陸漂移假說，既然存在一個整體的原始大陸，那麼古代曾經相連而目前相隔數千里的陸地兩岸的生物種群和古生物化石必定有一致性，這一現象生物學家已經注意
到了，並生硬地假定存在過「陸橋」來解釋這一奇異現象。而魏格納的假說卻能包容生物學家難於解釋的現象，從而把理論考察的範圍拓展到生物學和古生物學。這樣，它所依據的經驗和材料就不再局限於大陸海岸線的簡單拼合了。

如果理論不具有認識論的預見性，那麼人們就很難想到從與原有依據材料（大陸海岸線可以拼合）幾乎毫無關係的古生物學方面的材料去綜合考察大陸漂移理論假說。由於有了古生物學和生物學大量材料的支持，「大陸拼合」的任意性就相對減少了，魏格納可以得到更為細緻的理論。這些理論還可以進一步推出超出原有範圍的結論。比如，考慮到地球磁場在歷史上曾出現過倒轉，那麼根據大陸漂移說就能預見某些地區岩石中古地磁的反常現象。這就使得理論進一步要包容古地磁學知識領域。同樣，建立在這樣更為廣闊的知識領域上的理論比原有的假說更豐富，更精確了。它又能推出一些新結論，如對大陸水平移動力的研究導致對海底擴張的研究，從而使海底年齡、重力異常、火山分布等一系列原先想像不到它們之間有什麼聯繫的現象進一
步組織到統一的理論體系中去了。大陸漂移說經過了漫長的自我改進，逐步變成了板塊學說。這是現代最著名的地質學理論之一。

這個例子是頗有代表性的。因為，無論是物理學、化學，還是生物學，地質學，一種科學理論的成長或者是一門學科的研究對象的確定，我們都可以看到類似過程。
雖然學科研究對象不同，理論的具體內容也不同，但是理論成長的機制，研究對象明確的過程、收集材料由片面到全面的途徑都是通過在經驗→理論→經驗→理論一次次循環中實現的。它說明由感性認識向理性認識的飛躍，形成正確的理論並不是人們想像的那樣，一開始必須完備而全面地收集材料，明確研究對象（這是不可能的），然後進行理論概括，它不是一次性完成的（這也是不可能的）。只有通過一次一次的循環，研究對象才能明確，材料的收集才能趨於完備，理論才能趨於正確。因此，從認識論上看所謂科學方法最本質的乃是利用這一循環，實現材料自組織和理論的自我改進，以克服認識過程必然出現的兩種偏差。

這裡，理論所具有的清晰性和預見性起了十分關鍵的作用。如果理論沒有預見性，它不能推出超過原來提出理論時所依據的那些經驗事實之外的結論，那麼材料滾雪球般的自組織過程就
中斷了，循環成為一個自我封閉的由事實上升為理論，再由理論回到原有事實的同義反覆，理論也難以自我改進。這時，由理論推出的（或說明的）事實仍是屬於原有範圍。如果一開始收集的材料是片面的（這幾乎不可避免），那麼我們根據理論思維來限定下一次研究收集材料範圍時，就陷入了一個不能有效擴大收集材料範圍
的惡性封閉圈。這時理論是根據這些不完全的材料推導出來的，它很有可能是錯的，而由於錯誤的理論本身的規定使得人們在研究這個對象時總是看不到那些更為本質的材料。前面所說的亞里士多德的物理學就是例子。

同樣，如果理論沒有清晰性和預見性，那麼在循環中，錯誤倒有可能積累起來，由感性認識向理性認識飛躍
時，提出理論時發生的偏差也就不可克服了。為了克服這種偏差，唯一有效的辦法也是通過一次次的循環，把推出的結果和經驗事實不斷地比較，當出現不合時，就對理論修改並和經驗事實再一次比較驗證。一種模稜兩可邏輯上混亂的理論，一旦推出的結論和經驗不符，我們根本不能判別理論錯在哪裡，是假說錯了，還是推導
過程出了毛病？只有當理論成為一個井然有序的邏輯構造型大廈時，它才可能具有自我改進機制，這時，理論推斷和經驗事實的誤差才能成為修改理論中錯誤部分的信息源和推動力。一般說來，理論在邏輯上越嚴格，推導過程和結論越清晰，它的結論就越容易和經驗比較，出現的誤差給與理論自我修改的動力也就越大。

（四）什麼是自然科學方法

科學在近二千年發展中已總結出理論研究必須遵循的最一般的方法，各門學科理論內容可以完全不同，使用的具體方法也往往千差萬別。但它指出，只有那些
邏輯構造型的具備清晰性和預見性的理論才能算是科學理論。在近代構造自然科學理論必須遵循下述的原則，這些原則被科學哲學家稱為科學理論的規範：

• 自然科學理論是建立在大量經驗和實驗觀察事實基礎上的，它通過對經驗和實驗結果的歸納和分析，提出一種邏輯構造型的理論體系作為理論框架；
• 自然科學的理論必須具有邏輯的清晰性，它推導出的結論不僅符合邏輯而且還必須可以用經驗或者實驗來檢驗（證實或證偽）；
• 自然科學理論必須具有可以推出一些超出提出理論時所依據的經驗或實驗事實範圍之外的結論。我們認為，這些規範構成了自然科學方法最核心的部分。它們之所以
  成為自然科學的規範，其原因乃是只有這樣做，才能使研究過程中實行材料的自組織，使理論具有自我改進機制，以克服認識過程中必然出現的種種偏差。

自然科學方法實際上包含三個層次的內容：

• 它是指認識過程中有效地組織材料（經驗和實驗事實），使理論具有自我改進機制的一種程序。理論的邏輯構造型、清晰性以及預見性保證了這種機制。研究者必須
  把這些原則自覺地貫徹到認識過程中，自覺地加快經驗（實驗）→理論（具有上述三個特點）→檢驗→組織更廣泛的新材料→新的理論的循環過程。
• 它是以上規範在自然科學中的普遍實現。它在自然科學各學科中為了更有效地實現上述規範及循環，普遍採用了科學實驗的方法，來鑒別理論。科
  學實驗的功能是使鑒別理論和分析、拓展材料成為一種自覺的手段，有效地促成認識的循環。這樣，材料的自組織和理論的自我改進，被實驗→理論→實驗→新理論 這樣一種有結構的過程來實現了。這種循環過程越快，科學發展也就越迅速。為了保證這種科學的認識過程，實驗是指的受控實驗，而理論則是以構造性自然觀為基礎的。實際上，這就是我們在第一點中所講的科學認識的一般程序和自然科學的普遍特點相結合而產生的自然科學的一般方法。
• 它的一般方法和原則應用到自然科學各學科中時，各學科根據自身的特點又發展起一套適合學科發展的特殊研究方法。比如，空氣動力學中的模擬試驗方法，天文學中的天文觀測方法，地球物理學中的高溫高壓實驗等等。這些具體方法都是結合學科特點而發展起來的，其目的是為了更有效地實現科學認識的一般程序。

隨著各門學科的不斷發展和深入，學科方法顯得五花八門，各不相同。我們稱它們為每一學科在具體運用中的特殊方法。人們所謂的自然科學方法實際上是指這三個不同層次上所有含義的總和。顯然就第二第三層次意義上的自然科學方法，即學科方法，在社會科學研究中的運用是有限的，因為它們是針對自然科學特定對象已經和
具體對象相結合而產生的特殊方法。這種方法在社會科學中應用的廣度要根據社會科學研究對象和自然科學相應方法對應的對象有多大程度的類似性而定。

但是，如果我們從第一個層次上來看，社會科學理論的提出，如同自然科學理論一樣，也有一個從感性認識向理性認識飛躍的過程，那麼，社會科學包應該有這樣一種科學認識的一般模式。實際上，構造自然科學理論最一般的規範早已滲透到社會科學研究中了，很多社會科學家也在運用著。在社會科學研究中，任何一個社會科
學家都是把理論建立在對經驗材料的分析的基礎上，並儘可能在理論構成中運用邏輯，使自己的理論成為嚴密的。社會科學家也同樣明白理論必須受實踐的檢驗，要用經驗來證明，並同樣期待著自己的理論有著預見性，能指導我們的實踐。那麼，現在我們提倡把自然科學方法應用到社會科學研究中，實行兩科方法的統一還有什麼意義呢？是不是說，現在社會科學家已經在運用自然科學研究最普遍的方法了呢？

事實並沒有這麼簡單。我們知道，近代科學建立三百餘年來，自然科學家們已經成功地建立了一套保證實現經驗→理論→檢驗→組織更廣泛的材料→新的理論的循環 的方法，形成了共同的科學規範，它制約著科學家們的行為。這樣，就使得這種循環不僅在某一個科學家個人研究中自覺地進行，而且還應在整個科學領域內廣泛地
進行。自然科學家有的從事理論研究，有的從事實驗研究，但他們都很理解自己在這整個認識論程序中的位置。實驗科學家鑒別理論科學家的設想，而理論科學家總 是想盡辦法去推出新的觀點，指導實驗科學家的實驗。推進這一循環已成為整個科學共同體自覺的事業。這一點，在目前的社會科學研究中做得是不夠的。很多理論家雖然明白理論要用實踐來檢驗，但他們在研究中往往忽視從經驗到理論再從理論到經驗這一反覆循環。他們常常忽視理論必須要具有材料之外的結論。他們很少用這種新結論去組織材料，從新的角度去分析材料，並通過一次一次循環避免材料的片面性和理論的失誤。我們知道，構造理論的科學規範一旦與科學家有意識地加速循環的努力相脫節，即使人們分別使用它們，它也不能組成理論的自我改進機制。目前社會科學研究中，還沒有形成象自然科學家那樣嚴密分工但又合作地共同加速這種循環的共同體。一種方法要成為一種革命性的工具除了提出一些抽象的原則和標準外，必須有實現這種原則的手段和途徑。僅僅在理論上認識到社會科學
理論應有預見性、可以接受檢驗、具有邏輯性是遠遠不夠的。我們必須找到切實可行的方法來實現這一點。 如果找不到切實可行的途徑，那麼泛泛地理解和使用這些規範就沒有多大意義。

自然科學家是找到了具體而有效的方法來提高自然科學理論的預見性、清晰性的。這就是廣泛地應用形式化和數學語言。一個清晰的、有預見性的理論不
一定是形式化的和數學化的，但一個數學化和形式化的理論往往是清晰的和有預見性的。自然科學各門類之所以要廣泛地運用數學，除了用數學精確地表達事物數量方面特徵外，更重要的是數學提高了理論的構造性，從而也使理論具有更大的清晰性和預見性。這方面最著名的例子是1845年勒維烈和亞當斯運用牛頓力學計算並預言了海王星的存在。應用了數學後，理論上的任何含糊其詞都可以被數學的嚴格性排除。實際上，數學化和形式化除了使理論具有高度的清晰性外，對提高理論的預見性促使科學家去開拓那些原來根本想像不到的經驗事實也是至關重要的。眾所周知，如果科學家不是從數學上發現了愛因斯坦引力場方程必定存在著一個奇異點，那麼是不可能把廣義相對論和宇宙大爆炸學說聯繫起來的。這時，紅移現象就不可能被納入廣義相對論研究的對象，30K微波輻射的意義也不可能被發現。也就是說，如果沒有數學的洞察力，宇宙大爆炸的發現幾乎是不可思議的。

自然科學家在提高理論的邏輯構造性、清晰性和預見性方面是不遺餘力的，科學家把理論在這方面的一點點進步都看作具有深遠意義的。為此，哲學家還專門提出了一條所謂「邏輯簡單性」原則，來鑒別自然科學理論在提高理論的清晰性、預見性方面有沒有新的進步。科學家認為，必須用儘可能簡單和儘可能少的假說來
說明更多的經驗，一個理論越符合「邏輯簡單性」原則，它就越美，也越可能「真」。確實，「邏輯簡單性」原則在一定程度上是對理論構造性、預見性和清晰性程度的衡量。

（五 ）不僅僅是引進，而是創造

目前，社會科學在實現這些原則的具體途徑方面卻前進得很少。社會科學理論的構造性、清晰性、認識論上的預見性都還不能和自然科學理論相比，科學研究的程序並沒有成為社會科學家切實可行的方法。這方面主要的困難在於社會科學對象不能象自然科學研究對象那樣形式化、數學化，社會科學家往往找不到切實可行的方法來提高自己理論的構造性、清晰性和預見性。另一方面自然科學實驗大多是可以重複的，而社會科學中某些學科研究的對象純粹是過去的事情，比如歷史學，在這些學科中，自然科學理論規範中所要求的那種時間超前的「預見性」往往沒有意義。

我們認為在社會科學研究中實現這種程序不能硬搬自然科學中實現這一程序的那些方法，而應該根據社會科學特點作出創造。這正是探討社會科學和自然科學相結合
的方法和途徑的學者的歷史任務。社會科學中很多問題現在還不能形式化，數學化，但我們可以用其它辦法來提高理論的構造性、清晰性和預見性。實際上對於自然科學各學科中，那些和社會科學比較接近的學科，如生物學，地理學、生態學等，同樣遇到形式化和數學化的困難。達爾文開始提出進化論時，並沒有運用多少數學。我們前面提到過的魏格納，他那本闡述大陸漂移學說的專著《海陸的起源》中也沒有多少數學。但這些理論都具備構造性、清晰性、預見性等特點。它們表明，
在社會科學理論研究中，即使對於那些暫時不能形式化、數學化的研究對象，尋找適當的方法，提出構造性假說，系統地引進自然科學研究程序不是不可能的。它需要我們實行艱苦的創造。

（六） 三論的不朽意義　

系統論、控制論、資訊理論等橫斷科學的出現正在為提高社會科學理論的構造性，清晰性和預見性提供有力的工具。由於這些理論對組織過程、信息過程、有目的的運動以及局部行為和整體關係方面的研究邁出了可喜的一步，提出了一種清晰的構造性理論來把握它們，而這些過程在社會科學研究中往往是最難形式化、最難清晰地表達的，因此，它們往往成為目前自然科學和社會科學結合的介面，它們可能是把自然科學廣泛引進社會科學研究新的生長點。同樣，這些學科在社會科學應用時，也必須結合社會科學研究的具體對象進行一次再創造。

即使是對自然科學最一般的規範，在運用到社會科學研究時，還必須作出適合社會科學特點的改造。比如科學理論的預見性要求，對於歷史學研究，必須具備比自然科學領域中更豐富的含義。這時，預見性不僅僅是表現在某一種科學理論可以作某種時間超前的科學預見之上，也不僅僅是表現在它對理想實驗的設計之上，在這裡預見性是具有廣闊的認識論含義的，它表現在理論能推出超出它提出所依據的經驗範圍之外的結論上。它意味著能指導我們分析新的材料，從新的角度理解歷史事實，發現原來無關的歷史現象之間的聯繫，甚至是對考古發掘的指導方面。總之，結合社會科學的特點，從自然科學中抽出的科學研究的一般規範，都需要根據材料自組織和理論自我改進機制進行某種改造。可以想像，它不僅僅是把自然科學方法引進社會科學，而且社會科學的方
法也對自然科學研究產生著日益深刻的影響，在兩方學科尋求統一方法理論的努力下，把科學研究的一般方法發展到一個新的高度，一個能包容自然科學和社會科學更大的發展空間和一個更高的層次上去。這對自然科學本身方法的發展，也具有深遠的意義。

從認識論上看，從科學研究最一般的程序來看，自然科學方法和社會科學方法是可以統一的，而且也是必須統一的，只可能存在著科學和偽科學的分界線，而不可能有不同研究對象和學科之間絕對的分界線。那麼，人們會問，我們又怎樣看待現在社會科學中從分析事物「質的規定性』這種研究方法的功能呢？實際上關鍵在於「什麼是質的規定性」？目前社會科學中關於事物「質的規定性」的分析實際上是對規律的哲學解釋，它只能是認識的結果而不是出發點。有人之所以感到自然
科學方法和它是對立的，一方面是對自然科學方法本質不了解，另一方面很多人錯誤地使用了分析「質的規定性」這一原則，把它當作研究的出發點而不是終點。這樣就難免重犯亞里士多德的錯誤。當我們沒有認識有關對象時，我們並不能科學地知道對象「質的規定性」是什麼。它不是僅僅靠直觀思辨就能解決的。當物理學家揭示力學規律以前，人們不可能知道天上行星和地上蘋果在力學範疇中質的規定性是否一樣。在化學家發現有機物分子結構之前，我們怎麼能知道有機物和無機物質
的規定性有什麼不同呢？因此，先驗地靠直觀感覺和思辨來確定對象質的規定性，很容易落入錯誤的陷阱。它一旦成為構造理論選擇材料的出發點，就很可能中斷認識論中糾錯和合理組織材料的程序。因此，正確的關於事物「質的規定性」只能在用科學方法認識有關對象後才能確定，它只能是對科學認識的哲學解釋，因此它是
不會同科學方法對立的。在社會科學研究中也和自然科學研究一樣，哲學的總結是不可少的，但是我們不能用哲學來代替科學方法，來代替科學研究本身。

當我們回望香農、維納、貝格朗非這些創造三論的前輩們的不朽業績時，我們必須清楚，科學從來是人類一種艱苦的事業，它不可能是在哲學家的思辨的書齋里完成的。社會科學和自然科學一樣，它們是人類一代又一代認識世界和改造世界的運動。而科學方法也不僅僅只是探索者的工具，它象培根所說的是大自然點起的一盞明燈，人類用它驅趕那錯誤和無知偏見的黑暗。有了它，我們可以把自己的創造積累起來，使自己具備改進錯誤走向真理和光明的一種能力。

十、資訊理論和互聯網精神

（一）什麼是互聯網精神

同治七年(1868年)，時任江蘇巡撫的丁日昌上書奏請朝廷禁絕歌贊青年男女自由戀愛的《西廂記》和宣揚「革命無罪，造反有理」的《水滸傳》，朝廷立馬准奏，下詔曰：「......至邪說傳奇，為風俗人心之害，自應嚴行禁止，著各省督撫飭屬一體查禁焚毀，不準坊肆售賣，以端士習而正民心。」

丁日昌高舉著朝廷發出的聖旨，加強禁書力度，遠逾歷朝歷代，自設專門禁書機構，自訂禁書條款，自圈禁書範圍，自開禁書目錄，不但禁小說，而且禁戲曲、彈詞、民間小調。平心而論，丁日昌的確不但是位能打善戰的好將軍，而且是一位稱職的政治能吏。不過，丁的舉措與其願望開了個大大的玩笑。

一是，他把禁書名目清清楚楚開列出來，敲鑼打鼓，吹號揚旗，張榜公佈於大街鬧市，等於反面宣傳。當時的中國，國敝民貧，斷字識文者少，這麼一鬧騰，引得人們好奇心頓起，於是，識字者流，便難免來個「雪夜閉門讀禁書」了；文盲者們，也便難免探頭歪腦，向那些知道「禁書」所以禁讀焚毀因由者們，打問個清清楚楚，明明白白了。當時就有人說：「按以上各書，羅列不可為不廣， 然其中頗有非淫穢者。且少年子弟，雖嗜淫艷小說，奈未知真名，亦無從遍覽。今列舉如此詳備，盡可按圖而索，是不啻示讀淫書者以提要焉夫？」

二是，丁大人的寶貝兒子丁惠衡，就在老爸大搞禁毀「邪說傳奇」書籍的當口，叫上同宗同族的丁繼祖者流，在逛妓院時，和另一夥嫖客為爭妓女，打了起來，弄出人命，最後，丁大人不得不借著為母丁憂的由頭，灰溜溜離職回鄉去了。

封建統治者意圖通過綰籠頭，套韁繩，上枷鎖，對勞動人民灌腸洗腦，以求皇位永固。然而，正如馬克思指出的，歷史發展是不以人的意志為轉移的。有時歷史往往朝著一心想管控其方向者們的願望的反面發展；那些一時套在人們腦袋頭顱上的籠頭韁繩枷鎖鐐銬，還是在時代前進的腳步中給一個一個地打碎了，掙脫了，留在歷史冊頁上的只是些焚書禁書的笑柄。想用政令或者是運動的形式，一棍子打死式的實行某種政策，既違背社會科學的規律，也背離三論的精神和互聯網精神，最終只能是一陣風，是掩耳盜鈴的鬧劇。

今天的我們與150年前有了很大的不同。互聯網成為影響我們這個時代的最偉大的發明。互聯網精神，來自互聯網的最初設計：對等、開放、容錯、共享、去中心、自組織、非商業，等等。

互聯網精神不要求人人具備這種精神，但互聯網的原始設計，卻會自動放大符合其精神的東西。

「自由」、「開放」、「平等」、「分享」並不僅僅是個人價值觀和意識形態偏好，這些東西是被寫死在互聯網的基礎協議中的，是早期天才們的設計產生的必然結果。一封從網易發出的電子郵件，可以送達Gmail，是因為有很多中間伺服器承擔了傳遞任務，這種傳遞既不是商業任務，也不是行政任務，它並不帶來直接的商業利益，也不存在任何行政隸屬關係。這個開放網路的存在，僅僅因為你要參與這個遊戲，就不得不接受開放的遊戲規則。

比如，電信運營商是痛恨這種設計的，但從3G到4G，電信的標準也不得不屈服於IP協議，因為這已經是一個等死還是找死的問題。這導致運營商被管道化的必然命運。iPhone
App Store是完全運營商無關的，開發者無須像過去的SP/CP那樣去討好運營商，他們只要討好用戶就可以了。

在具體的商業操作上，開放還是封閉，並不決定事情的成敗，也不決定賺錢的規模，這就好像不能簡單地說開放模式的代表——微軟的比爾蓋茨，和封閉模式的代表——蘋果的喬布斯，孰好孰壞一樣(事實上，兩位互聯網巨擘正如一個雙星系統，他們的旋轉中心與各自基點便是當代IT業的體現);也就像在計算機編程中也會有公有成員、友元和私有成員的區分一樣。但iPhone的去運營商化能夠成功這一事實，恰好證明了互聯網開放的價值。互聯網上的巨頭，從Google、Facebook，甚至到國內的BAT等，無不是互聯網開放架構的受益者。

正如約翰·密爾在《論自由》中指出:「進步唯一可靠和恆久的源泉是自由，因為只要有自由，有多少個體，就可能會有多少個獨立的進取中心。」

（二）信息時代與多元聲音

若批評不自由，則讚美無意義。——博馬舍

我不同意你說的每一個字，但我願誓死捍衛你說話的權利。——伏爾泰

生命誠可貴，愛情價更高。若為自由故，二者皆可拋。——裴多菲

我們要聽得進各種意見和建議，最害怕的是鴉雀無聲。——鄧小平

整整九十年前的1926年，在天津，《大公報》正式由張季鸞、吳鼎昌、胡政之三人合組創立的新記公司接辦。1926年9月1日，《大公報》復刊，張季鸞發表《本社同仁之志趣》一文，提出「不黨、不賣、不私、不盲」的辦報方針。直到今天的互聯網時代，張季鸞先生的思考依然有其積極作用。

從這時直至病逝的十五年間，張季鸞始終親自擔任社論主筆，使《大公報》的政論立場成為該報安身立命、乃至產生國際影響的根本所在；十五年間，他始終以「八字 方針」為辦報宗旨，不僅自己即便是在生活窘困時也從不接受任何金錢饋贈和職位誘惑，報社也一樣，即便是在最艱難時期，也從不接受任何政府方面的資金投入或協助；又始終以「不偏不倚」為獨立和公正的辦報立場，正因為其「獨立」而敢言，在汪精衛公開背叛孫中山國共合作綱領，大舉屠殺共產黨，而導致第一次大革命
失敗時，他曾以社評《嗚呼領袖慾之罪惡》痛罵汪精衛，又在蔣宋聯姻時，發表《蔣介石之人生觀》一文，痛快淋漓地指責蔣「甚矣不學無術之為害，吾人所為蔣氏惜也。」等等。在他罵過蔣介石一年之後，被馮玉祥介紹與蔣結識，對南京政府高官做了為期一月的深入接觸和採訪，連發《新都觀政記》、《論造成廉潔有為之政府》等評論文章，列舉軍政高官種種腐敗現象，並提出許多建設性意見，但並不為當局政府所採納。

每一個人總有那麼幾次，會做出與眾不同的事情，或不合常理的決定，因而被稱為「怪小孩」，被稱為「少數人」，被稱為「異類」，卻並沒有錯。因為有些事情是沒有對錯的，只是不同而已。不管我們自身的性向如何，支持同性戀是在支持一個包容的心態，支持一個寬容的社會，一個多元化的社會，在一個多元化的社會裡，我們需要聽少數的聲音，要尊重少數的權力。

支持LGBT的努力，不代表我們就是非異性戀，不代表我們需要喜歡LGBT人群。我們的支持，是為了促進一個多元的、包容的社會;是為了尊重少數的權利;是為了承認這個世界上的每一個人，都生而平等。

因為任何一份對平權運動的支持，都會反向回饋於自身。

（三）互聯網業吸引用戶的方式

先向大家提幾個問題：

• 如何做出一個飛行器飛到太空，並把成本控制在100萬以內？
• 如何做一個新的滑鼠，每隻售價2000元，我希望每年能賣出去5000萬隻，並且讓很多人瘋狂的喜歡我的產品？
• 如何重新做一種手機，並且讓蘋果和三星都變成垃圾，起碼讓他們都學習我的外觀設計才能在市場上銷售出去？

這些問題是喬布斯當年做Apple Macintosh、ipod和iphone時的情況，喬布斯把它們都解決了。

喬布斯用極致的用戶體驗吸引了一大批忠實用戶，但他自己卻很少做市場調研，他曾說：

「用戶很多時候並不知道他們想要的是什麼，可能你做出來的東西就是他們想要的東西。」

喬布斯十分重視廣告，蘋果的每一條廣告喬布斯都要仔細看過，蘋果的經典廣告語：

• 非同凡想（Think different.）
• 我們把大量的時間，花在少數的幾件事情上，直到這些事情和其產生的影響，改變了我們和我們周圍的世界。

喬布斯斯坦福演講（2005）：

• 沒有人願意死, 即使人們想上天堂, 人們也不會為了去那裡而死。但是死亡是我們每個人共同的終點。從來沒有人能夠逃脫它。也應該如此。 因為死亡就是生命中最好的一個發明。它將舊的清除以便給新的讓路。你們現在是新的, 但是從現在開始不久以後, 你們將會逐漸的變成舊的然後被清除。我很抱歉這很戲劇性, 但是這十分的真實。所以，不妨把每一天當成生命的最後一天。
• 求知若渴，虛懷若愚。
• Reed大學在那時提供也許是全美最好的美術字課程。在這個大學裡面的每個海報, 每個抽屜的標籤上面全都是漂亮的美術字。我決定去旁聽這個課程，去學學怎樣寫出漂亮的美術字。我學到了san serif 和serif字體, 我學會了怎麼樣在不同的字母組合之中改變空格的長度, 還有怎麼樣才能作出最棒的印刷式樣。那是一種科學永遠不能捕捉到的、美麗的、真實的藝術精妙, 我發現那實在是太美妙了。當時看起來這些東西在我的生命中，好像都沒有什麼實際應用的可能。但是十年之後,當我們在設計第一台Macintosh電腦的時候,就不是那樣了。我把當時我學的那些傢伙全都設計進了Mac。那是第一台使用了漂亮的印刷字體的電腦。
• 對於工作是如此, 對於你的愛人也是如此。你的工作將會佔據生活中很大的一部分。你只有相信自己所做的是偉大的工作, 你才能怡然自得。如果你現在還沒有找到, 那麼繼續找、不要停下來、全心全意的去找, 當你找到的時候你就會知道的。就像任何真誠的關係, 隨著歲月的流逝只會越來越緊密。
• 你在向前展望的時候不可能將這些片斷串連起來;你只能在回顧的時候將點點滴滴串連起來。所以你必須相信這些片斷會在你未來的某一天串連起來。你必須要相信
  某些東西：你的勇氣、目的、生命、因緣。這個過程從來沒有令我失望,只是讓我的生命更加地與眾不同而已。
• 你們的時間有限，所以不要把它花在為別人而活上。不要被別人的看法羈絆住自己前進的腳步，不要被別人的議論遮蓋自己內心的聲音。最重要的是，始終懷著忠於你自己的心靈的勇氣，找到自己想要的東西，其他一切都是其次。

廣告宣傳的對比：魏則西事件。魏則西會成為下一個孫志剛嗎？這取決於下一個程益中是否出現？

（四）廉價的信息獲取的必要性

從大的方向講，「自由」、「開放」、「平等」、「分享」，是互聯網發展的必然選擇和最大動力。在互聯網剛興起的時候，雅虎制訂了互聯網的最基本規則——免費。當時其他人提供互聯網服務，然後收費的。但是雅虎打破了這一規則，提供免費分類信息，其盈利來自廣告等業務。如果沒有免費這一規則（或者低價），互聯網便只能被少數人享受，而不會影響這麼大這麼深遠。因為免費，人們得以自由地通過網路獲取信息(事實上英文中「自由」和「免費」是同一個詞free)。因為免費，知識和信息變得廉價(P↓)，(dP/dQ)&<0，(d2P/dQ2)&>0，使得人們接收知識和信息的量(Q)和速度(dQ/dt)都以幾何級數增長，從而以更加開放的態度認識外界與自身。因為免費，信息交換門檻幾乎為0，於是無論富裕或貧窮，人們都得以平等地進行溝通與交流。同樣因為免費，有更多而非更少的人願意將自己的資源與大家分享，以共同推動這個互通有無的平台。

網路上免費分享的做法有沒有缺點，當然是有的，就像當年丁日昌禁書的時候，也確實有些書是該禁的。但是我們要解決這些問題，最重要的是要把理性的思考更多的引入到每一個人的心裡(實際上，想要達到這樣的目標，最好的方式不正是想方設法地鼓勵大家更多地通過網路獲取知識，啟迪民智嗎？)，同時健全法律法規 。至少就當下中國而言，進一步推動互聯網的自由、開放、平等和共享，推動知識的免費化獲取，還是一個帕累托演進。

如果居里夫人沒有放棄鐳的專利，她將獲得十分不菲的經濟利益。但是，居里夫人放棄了鐳的專利，為的是讓鐳更好地造福人類。鐳延長了無數癌症病人的生命，甚至一度在20世紀20年代被當時的富人們濫用，因為他們相信飲用含鐳的水會使人青春永駐，甚至有相當一些富人因此導致接受過量輻射而死亡。可當居里夫人自己因為長期研究放射性元素而患上癌症時，她自己竟然沒有錢治自己的病。但是，當有人問居里夫人是否後悔時，她回答：「人類需要勇於實踐的人，他們能從工作中取得極大的收穫，既不忘記大眾的福利，又能保障自己的利益。但人類也需要夢想者，需要醉心於事業的大公無私。」

拿球衣或者是什麼其他東西和書來比是沒有太大可比性的，因為您買一本書的用途，不是拿來吃、拿來穿，也不是把它擺在您家客廳里作裝飾。一本書最重要的價值，不是印刷書的紙是什麼材料，也不是書的封面是誰設計的，而是書上寫了什麼。因此，我們從一本書上所獲得的最重要的東西，也就是啟迪我們心智，使得我們變得更加理性的力量。

版權是要保護，可是就目前而言，本朝與評論中許多朋友提到的發達國家和地區不同，大多數人還沒有到馬斯洛所說的「滿足（最高級的）自我實現需求」的層次。如果獲得書籍的成本過高，勢必阻礙相當一部分人獲取書籍的動力，進而放慢啟迪民智的進程。而今天我們所要做的很要緊的事情，就是更快地提升更多人的科學文化素質，至少在這個問題上，版權需要讓路，我們需要居里夫人。

正如李澤厚所指出：「傳統意識形態的影響不容低估，有利益的問題，也有認識的問題。要認識當前經濟發展與社會進步、政治進步失衡的要因，錯誤的觀念影響了我們客觀地認識人類文明和共同價值。在經濟發展的同時開啟民智、移風易俗，仍是精英們應承擔的重要使命。我們要追求筆的自由，反對槍的自由。只有真正鬆綁，真正百花齊放百家爭鳴的局面才能起來。啟蒙應該搞，因為現在有些人不是啟蒙，而是『蒙啟』，把已經啟蒙的東西再『蒙』起來。社會穩定是經濟建設的前提，但穩定並不是僵化或固定不變，更不是倒退。現在經濟大發展了，某些領域卻停滯或倒退，經濟領域中也有問題，這是值得憂慮的。在教育方面，從小就灌輸一些錯誤觀念，學生喪失判斷、選擇的機會和能力，對整個民族是個巨大的問題。」

袁偉時也指出：「公民的心智狀態對自己乃至國家和社會發展的影響也十分巨大。屈辱、挫折、兵連禍結、前仆後繼，一部中國近代史蘊藏著多少血淚和經驗教訓!我們有責任將歷史真實告訴我們的青少年，讓他們永誌不忘。這是幫助他們成為現代公民的必由之路。如果天真純潔的孩子吞食的竟是變味乃至有意無意假造的丸丹，只能讓偏見伴隨終生，甚至因而誤入歧途。」

如果我們所接受的是一種錯誤的觀念，而正確的觀念又首先不是因為其他的阻攔，而是因為價格的高企，使得人們敬而遠之的話，那麼通過降低價格，甚至直接免費，就是最短平快的選擇。如果總是糾結於盜版與正版，那麼我要說，在這個問題上，沒有帕累托最優，只有卡爾多演進。作者的利益蒙受了損失，但這樣的損失換來的是更多人——最終也包括他自己——更大的紅利。

我相信，當人們的素質更加提高，人們也就更加尊重作者們的勞動，認為我掏這麼多錢去買這一本書是值得的，於是作者們的收入會更加提高。並且同時，人們也將給予作者們更大的尊重，推動作者們和出版商們獲得更好的寫作條件和更大的寫作自由。

當然，目前的主要原因，已不是價格的高企了。

風起於青萍之末，浪成於微瀾之間。

負責熄燈的人手腕上戴著手錶，知道還有多久到天亮，卻未必期望白天。可是熄燈，可以換來一時的暗，卻擋不住太陽的升起。

正如張鳴教授在高華教授的葬禮上高呼的：「天一定會亮的。」

（五）互聯網精神的意義

除非人們的智慧能夠自由地表達，否則既難有明智的法律，也難將明智的法律付諸實施。但是如果存在自由，愚蠢將由於自身的毒害而滅亡，而智慧將生存下來。越是在自由處於挑戰之中時，越有人需要它，它對正義而言是至關重要的。

只要人們能夠暢所欲言，理性從來不會背叛人類，只有武力和高壓一直在世界上製造著毀滅。

當牆建起來以後，翻牆去外邊的人反而比以前去外邊的人更多。人們不會因為一盞燈關閉了，就停止他們追尋和求索光明的腳步，他們總可以從其他的地方找到他們所需要的光亮。停電了，還可以用蠟燭;蠟燭沒了，還可以抓螢火蟲;螢火蟲也沒了，還可以鑽木取火來照明嘛。

喬治·奧威爾、阿道司·赫胥黎和尤金·扎米亞京預言的，現在同時出現，弔詭之極。對待塞壬，我們推崇俄狄浦斯的方式，再不濟，也是奧德賽的方式，但我們懼怕宙斯的方式。因為下一次，霹靂也許將落在我們自己身上。

耗散論指出，體系的熵總是不斷增加的。同理，社會的多元化，更加自由、民主、平等、開放、法治也是不可逆的。正如第二類永動機不可製成一樣，一切想要減少熵的行為，最終只會招致更大的熵增。然而我們所面對的不是一罐理想氣體這樣簡單的系統。退一萬步說，我們面臨的氣體系質量也是不斷增加的。假如氣體容器體積不變大反而縮小，那體系的壓強和溫度必然上升。當壓垮駱駝的最後一根稻草被放下時，高溫高壓就將爆發。

控制論指出，要增強系統的魯棒性(可簡單理解為穩定性)，最重要的是要增強系統的穩定裕量(在無靜差的前提下)。我們這個社會(在法治與共同價值的前提下)越是能廣泛的開放包容，就越是能健康發展。正如哈耶克在《通向奴役之路》中指出:「法律的目的不是廢除和限制自由，而是保護和擴大自由，自由使我們免於他人的強制和暴力，而這在沒有法律的地方是不可想像的。」

我們希望將音樂劇《悲慘世界》片頭所唱的與諸位共勉：

Do you hear the people sing? Singing a song of angry men?
　　你是否聽到他們的歌聲，那憤怒者的歌唱
　　It is the music of a people Who will not be slaves
again!
　　那來自人民的歌聲，不再為奴的呼喊！
　　When the beating of your heart Echoes the beating of
the drums
　　若你心跳的節拍，與鼓點一同激蕩，
　　There is a life about to start When tomorrow comes!
　　新生活便將開始，迎接美好的明天！
　　Will you join in our crusade?Who will be strong and
stand with me?
　　你是否會參加我們的戰鬥？誰將堅強地與我們同在？
　　Beyond the barricade Is there a world you long to
see?
　　在牢籠的那一邊，是你所熱望的世界麽？
　　Then join in the fight，That
will give you the right to be free!
　　那麼請參加這場戰鬥，得到通向自由的權利！
Will you give all you can give So that our banner may advance
　　你是否會傾盡你的所有，讓我們的旗幟高揚？
　　Some will fall and some will live
　　存者不必再偷生，死者亦將不朽
　　Will you stand up and take your chance?
　　你是否會起來，為此機會放手一搏？
　　The blood of the martyrs Will water the meadows of
France!
　　烈士的鮮血，將把法蘭西的芳草澆灌。
（尾聲版）
Do you hear the people sing, lost in the valley of the night
你是否聽到他們的歌聲，彷徨在黑暗深淵
It is the music of a people who are climbing to the light
那來自人民的歌聲，他們嚮往著光明
For the wretched of the earth, there is a flame that never die
即使時運乖蹇，希望之光從未消逝
Even the darkest night will end and the sun will rise
沒有熬不過的黑夜，光明終將來臨
We will live again in freedom in the garden of the lord
我們將重獲自由，在上帝的田園中
We will walk behind the ploughshare, we will put away the sword
我們會鑄劍為犁，和平共處
The chain will be broken and all men will have their reward
身上的枷鎖將被打斷，人人都會得到幸福
Will you join our crusade? Who will be strong and stand with me?
你是否會參加我們的戰鬥？誰將堅強地與我們同在？
Somewhere beyond the barricade is there a world no long to see
牢籠外面，一定有你渴望的世界
Do you hear the people sing? Say, do you hear the distant drums.
你可曾聽到他們的歌聲，你可曾聽到遠處的戰鼓
It is the future that they bring when tomorrow comes.
他們將帶來嶄新的未來，就在明天
Will you join our crusade? Who will be strong and stand with me?
你是否會加入勇者的隊伍？誰會和我們一起並肩作戰？
Somewhere beyond the barricade is there a world no long to see
在牢籠的那一邊，是你所熱望的世界麽？
Do you hear the people sing? Say, do you hear the distant drums.
你是否聽到他們的歌聲，你可曾聽到遠處的戰鼓
It is the future that we bring when tomorrow comes.
擁抱光明的未來，當明日降臨之時
Tomorrow comes!
明日降臨

從秦朝到明朝，中原王朝的萬里長城從來都沒有成功阻擋住游牧民族的鐵蹄，但修建和保衛長城所耗費的巨大人力物力卻拖垮了一個又一個中原王朝本身。

從三代到清朝，建的越來越高、堵的越來越死的黃河大堤最終造成的卻是越來越嚴重、越來越頻繁的黃河決口，進而引起越來越嚴重的流民問題和饑荒，也醞釀出規模越來越大的農民起義。

是的，現在不是三代，不是秦朝，不是明清。現在是一個標榜自由、平等、開放和分享的互聯網的時代，是一個創造無限可能、迎接無限挑戰、無限互聯互通的互聯網世界。在人類歷史上，無論是中國的「四大發明」、還是西方的蒸汽機、電動機、發電機，這些科技上開天闢地的成就最終都推動了人類社會的偉大進步。而互聯網，由於它的上述種種特質，它對社會進步的推動必將有甚於斯。正如韓寒在《這一代人（2012）》中指出：「政府擁有公權力，但其實每一個個體的話語權，具體人權，能力，社會影響力，甚至蒼白無力，都能匯聚成權力。足夠多後者，就能夠改變公權力。但改變公權力並不是目的，束縛公權力才是。我們目力所及的某些進步，是因為科技在進步，推動權力改變權力。這個國家最光明的轉機也許就在這一代人身上。」從地中海畔盛開的茉莉花香中，我們不是就是嗅到互聯網的奇效嗎？從喀爾巴阡山的逶迤山嶺中，我們不是就能看到互聯網的能量嗎？從伊洛瓦底江的滾滾波濤中，我們不是就能聽到互聯網的偉力嗎？

分享程益中的一句話:「沒有熬不過的黑夜，沒有等不到的黎明。」

當燈光逐漸熄滅的時候，我們知道，那是因為天快亮了。

---

香農在資訊理論說了些什麼呢？
1. 無損Source Coding的極限是信息源的entropy。（Source Coding Theorem)
2. Noisy Channel傳輸速率的極限是輸入和輸出的最大mutual information。（Channel Coding Theorem)

比對一下牛頓三定律和麥克斯韋定律，是不是有一種開山之作的簡潔之力？

此外，他還說：
信息交流應該由以下元素組成：
1. 一個信息源
2. 一個傳輸器，可以把信息encode為信號
3. 一個頻道，信號可以從中通行
4. 一個接收器，可以把信號decode為信息
5. 一個接收者

看上去簡直就是一堆廢話，可是想像一下1948年的世界，是不是有一種「這就是通信系統界的馮諾伊曼架構啊」的感覺？

香農、巴丁（可能還有肖克利）之於電子工程，就是牛頓、麥克斯韋之於物理學，圖靈、馮諾依曼之於計算機科學，都是真正通過一己之力開創了一門學科。他們的工作，使得一些零散的研究終於有了體系和系統的方法，而之所以在今人的眼裡看起來普普通通，只是因為他們的工作是一切後來者都不能繞過的基石。

相關：Caltech EE本科，上過資訊理論

---

香農有一次演講解釋資訊理論的時候援引了《新約·馬太福音》，「你們的話，是，就說是；不是，就說不是；若再多說，皆出於那惡者」。就覺得他很神。

我不懂通信工程，也沒有系統學習過資訊理論，僅以哲學業餘愛好者的身份來回答一下。我覺得香農的資訊理論最使我感到印象深刻的是他「一不小心」引發了哲學史上（至少是部分人的哲學史觀）的「信息轉向」。這次轉向的影響之深廣程度雖不及」認識論轉向「、」語言轉向「，且爭議仍存，但同樣為哲學世界提供了新的範疇和方法論。

這還要從香農所定義的信源與信宿的關係說起。信息從信源發出，中間經過編碼、信道、解碼，最終到達信宿。在香農的理論里，信源與信宿要對概率空間的構成有完全一致的認識，還要對先前發生發生的狀態有完全一致的認識。只有這樣，在往後的概率空間發生變化時，信源根據這種改變，再通過編碼、信道、解碼一通來到信宿這裡，不確定性才得以消除。

香農提出用熵來度量不確定性，更準確地說法是熵用來度量信息所要消除掉的不確定性的量。而一千個讀者有一千個復仇王子，概率空間的差異可以是千差萬別的。羅密歐和朱麗葉彼此真愛，這構成了相當一致的概率空間，而最後其實只要1比特的信息量就能消除不確定性，避免悲劇。而像我和女票之間的溝通，如果雙方各懷心事各有懷抱，概率空間的改變可要成百萬上十億的比特了。概率空間可以千差萬別，研究人類這種智能體、尤其是研究像女票這種複雜多變的通信主體這樣的深坑，也只有我這樣的會不幸跌入，香農顯然不會。香農所指涉的信源信宿，是單純的數學表達，是抽象思維的成果，絕不會與模糊的主觀世界有任何牽扯。

正如香農自己說的，「通信的基本問題是，在一點精確地或近似地復現在另一點所選取的信息」。資訊理論解決的問題是信源發出之後、信宿收到之前發生的事情，也就是信息在這兩者之間的傳遞，是編碼，是符號，是先驗的存在，與意義無關，與真實世界無關。

而現實中的信宿想要的卻不是符號，而是意義（meanings）。但一旦涉及到意義，概率空間根本不可能完全一致——信源發出信息要看信源的動機、信源對信息所在的概率空間的理解和對信宿的概率空間的推斷，信宿接收到的信息量要看信息本身的內容屬性和特點、信宿對自身所在概率空間的理解和對信源的概率空間的推斷。所以香農不問「意義」，當信息進入到智能的通信主體，信息乾脆死掉好了。

但信息的死法還比較複雜，因為信息進入到智能的通信主體會產生一個「再編碼（re-encoding）」的過程，也就是一個閉合反應，將信息拼湊成越來越大的組塊，就好像電報的點和劃拼湊成字母，字母再拼湊成單詞，單詞再拼湊成短語，短語拼湊成句子，句子拼湊成場景、模型、故事，這些又拼湊成情緒、情感……然後再抽象化、符號化……這個過程如此循環往複，直到沒有新的信息產生為止。

這也就是為什麼「重要的事情說三遍」，就是為了讓聽者把這個「再編碼」的過程多循環幾次，直到我們理解其意義，存儲起來形成知識。

然後我們看一下西方哲學的轉向軌跡：先是17世紀的科學革命把人類侃蒙圈了，發現「本體」「世界之本源」這些我們玩不來，所以從形而上學轉向認識論，也就是從探討「存在」轉向「知識」，探討這世界能否被人類所認識；接下來20世紀上半葉，科學主義思潮讓人們發現自己即使有經驗證實，也無法將形而上學進行科學化表述，所以從探討「知識」轉向「意義」，探討人類對世界的認識能否被表述;可是自從資訊理論被發明以來（當然也包含著信息社會的時代語境），人類發現「意義」也追求不來，還是追求「信息」吧。所以從「意義」轉向「信息」這一更為基礎的分析概念，這就是「信息轉向」。

所以信息是一個比知識和意義更天然、更基礎的概念。在恰當地達到知識之前，人類有必要集中在信息這個概念上，比如獲取信息時沒必要理解其具體觀點，信息流的擴散遠比知識的傳播更為容易。

---

香農理論不是在大白話……

講個故事。

十二個小球，其中有一個質量和其他不一樣，並且不知道它是輕是重，現在你有一把天平，問需要幾次可以將特殊小球辨別出來？

按照資訊理論所學，我們不需要試驗每一種稱重方式，只需要log2(12)/log2(3)=2.26~=3
就是說，三次就夠了
（記憶不清，有錯誤請指正）

把抽象的概念使用數學公式進行計算和表達，並且給出了這個世界上某個東西的運算方法或者理論極限，讓初學者的我簡直是佩服的五體投地。

香農的幾個理想極限在學通信的眼中，完全就是非專業人士眼中「速度越快，質量越大，光速是速度的極限」一樣，是個顛撲不破的真理了……我們為之後做的的努力，就是如何不斷的去逼近這個真理…誤碼率總是受到碼元能量限制的…按照老師的說法，還沒有誰能跳出香農理論…得到更低的誤碼率

---

你確定大白話能說清香農幾個定理？我建議你在題目里補充一下自己資訊理論的理解。

別人對香農的評價是「具有驚人的數學直覺。」也就是說他的發現是不那麼顯而易見的。

資訊理論是唯一一門通信專業在本科和研究生階段都會開設的必修課，而且到最後很多人還是沒學明白。

香農的原始論文被引用7萬多次，可以說之後的通信研究都是圍繞著香農三定理進行的。

有爭議再補充

---

信息即是負熵！

他把「信息」這個本就很抽象概念定義為可計算可測量的數值。

---

他是通信行業的牛頓

---

有一個常見的益智題：有n個小球，其中一個不同於別的球，但不知此球是較輕還是較重。你有一個天平，如何在最少的次數內找到這個球？

這種題，靠的是是苦思冥想或者腦筋一轉找到解法。但用香農的資訊理論，這種題都可以一步一步規規矩矩地做出來。

還有就是很多人搞的演算法，都得用資訊理論來驗證一下，看看是不是最優的。

我們系的一個老教授年輕的時候見過香農，當時仰慕大牛，對香農說：「你簡直就是這個世紀最聰明的人！」。香農對他說：「真希望你把這話也說給我太太聽。」

---

因為後世的信息技術就是在他的理論上發展出來的，所以你看著像大白話。

---

1. 定義了一個新單位，bit。世界物質、能量、信息三大元素，信息的單位是香農定義的。而且很多物理學家相信bit是世界的本源。可以看bit from it與it from bit的論爭，以及信息、物質、能量之間的轉換關係。E=mc^2，是物質與能量轉換公式。而信息與能量之間也有轉換公式。所以信息與物質之間也能轉換！！！

2. 引入了一個新domain，entropy domain。可以與牛頓引入的time domain 時域、傅立葉引入的frequency domain 頻域 並行的熵域。對通信、自然語言處理，乃至控制、信號處理等很多領域產生了巨大的推動作用。

3. 通過capacity的定義，給出了很多人造系統的極限。質能方程、絕對零度、測不準原理是自然的極限，香農的資訊理論則給出了人造系統的極限。包括數據壓縮、數據傳輸等，甚至包括自動控制、信號處理的很多極限。

4. 等等等等。

愛因斯坦的質能方程也是大白話啊E=mc^2，其實狹義相對論也是大白話。數學上也不難，不過是都是乘除、平方開方運算。

從數學上看，香農的資訊理論，不過借用熱力學中的熵，一些log運算而已，然後通過加減乘除定義了互信息什麼的。

但一個理論的重要性與否，不能看它數學上的難度。有的數學上很難，但不重要（現在的大部分論文）；有的數學上簡單直白，卻很重要。當然，有的數學上簡單，也不重要；也有數學上很難，同時很重要的。

那怎麼判斷重要性呢？打個比喻吧。

有的理論是森林，有的是大樹，有的是枝幹，有的是葉子，乃至葉子上的蟲子，乃至蟲子的腿，乃至腿上的毛，乃至毛上的細菌，乃至。。。

以濾波為例，維納濾波雖然現在用的不多，但他的理論算是森林，是開創了一片新疆域；其中的大樹，包括卡爾曼濾波，粒子濾波，H無窮（也有說卡爾曼是H無窮的特例的）等；擴展卡爾曼、無味卡爾曼、自適應卡爾曼、平方根卡爾曼等則是卡爾曼濾波的枝幹；然後比如無味卡爾曼再做trick則是葉子。。。

但話說回來，真正做出大樹乃至枝幹似的結果的，實在太少了。更不要說做出一片森林了。現在大家為了糊口、為了發論文，都是葉子、蟲子以下的結果，還能發展出一套包裝的「藝術」，拉關係發到『top』期刊、相互引用湊影響因子等等。。。扯遠了。。。

回到原題目。資訊理論絕對是森林似的結果，而且是一片大森林。其實比森林還要宏大。。。

相比而言，如今的論文，就拿IEEE Transaction on Information Theory上的來說好了，各個『高深莫測』，但大多（當然也有好的）不過是葉子、蟲子等罷了。

---

有了資訊理論，數據傳輸、數據壓縮等等，就可以按照如下步驟來了（參照最下面的圖）：

0. 轉換成01串；
1. 確定01串的熵entropy和碼率data rate；
2. 確定capacity；
3. 如果data rate &<= capacity，則可以達到；
4. 使用各種編碼方式（其實是信源編碼source coding），降低誤碼率。用資訊理論可以證明，在收發方都知道編碼方法的前提下，信源編碼所引入的額外的01不改變原信號的entropy。
5. 信道編碼channel coding，傳輸。。。

當然，上面有不大嚴謹的地方，如01串，如data rate。

一般來說，編碼越長，所能達到的誤碼率越低。至於為什麼，應該有這方面的理論結果；intuitively，可以想像極端情況，編碼長度越長，全flip的概率就越低。而且香農證明的是，當編碼長度無窮時可以找到achieve capacity同時誤碼率趨近於零的。反過來說，如果編碼長度不是無窮大，也可以想像，誤碼率是有下界的，不可能是無窮小。

編碼的長度應該跟capacity沒什麼直接關係了，因為前面說了，編碼不改變原信號entropy，也就不改變所需的data rate和capacity。但還是有間接關係的，因為有time這一因素，是capacity的定義里沒涉及的。

圖來自：David MacKay: Information Theory, Inference, and Learning Algorithms: Home

橫坐標是rate，縱坐標是誤碼率，+和正方形是一些編碼方法。很多時候，大部分還是離capacity挺遠的。

橫坐標是rate，縱坐標是誤碼率，+和正方形是一些編碼方法。很多時候，大部分還是離capacity挺遠的。

在香農之前，也有各種編碼，但人們那時候想，當p_b ---&>0時，rate一定也---&>0。但香農證明並非如此。

---

你見過一個學科的創始人，在學科開創之日就宣布了這個學科發展的終點在何處嗎？

有，這就是香農。創世之日，就宣布了數據壓縮的最大速率，無失真數據傳輸的最大速率。但是這些速率如何達到，香農沒有給出答案。

後人就如同捉迷藏一樣的，尋找著香農所宣布的數字寶藏在何處。每接近一步，往往都是價值無量的專利。典型就是運用在3G和4G上的Turbo編碼方法，給創始人帶來無盡的財富。我估計是數學演算法中，獲利最多的一個演算法（估計已經超過RSA演算法了）。

一個平常很少人注意到的是另外一點：香農在他的證明中使用了probability method 隨機方法。要知道，當時這個方法在專業數學家裡都很少有人知道或者使用（最早是從隨機圖論中開始使用的），然而香農卻用這種演算法證明了對人類如此重要的結論。當然鬱悶的是，至今為止也沒有什麼比較構造性的方法能夠證明同樣的結論（一但能發現，通信學科基本上估計就要被終結了）。

---

從概率和統計的角度，shannon entropy 給出了（一個隨機事件） 不確定性的度量：
sum log(p(x)) p(x)
這個度量，是通過先列出對這個度量的直覺感知需要滿足的條件，然後從數學上證明只有這個公式能滿足這些條件，推出來。
shannon entropy 在統計上最少有兩個非常重要的應用：
一、
在統計分布中，應用最廣泛的是 exponential family，包括 normal ,possion, gamma 等。experimental family 中的所有distribution 有兩條非常重要的性質：
1） 用maximum likelihood求分布的參數時 有唯一的 解：即 似然函數滿足convex性質， 沒有local minimum。
2）給定一個未知分布的約束，比如說我想要一個均值為1的分布，那麼「最客觀（objective）」的分布是滿足約束條件下，最大化shannon information的分布。同時，求出來的這個分布 會是 exponential family中的一個分布。

二、
reference prior (objective bayesian analysis, noninformative bayesian analysis)
Objective 貝葉斯派認為，我們需要這樣一個prior，這個prior distribution 在所有的prior 中對 最後參數估計的posterior distribution 影響最小。換句話說，就是最大化觀測數據對最後參數估計的影響。 然後通過 maximize mutual （shannon）information between 參數 和 觀測到的數據 X，可以求出 reference prior。

---

A Mathematical Theory of Communication，這麼多年來，這可能是唯一一篇我能不假思索地說出名稱的論文。我不是搞資訊理論的，但是作為一名傳統的通信人，對香農充滿敬意。我認為，如果說沒有香農就沒有通信學科，也不過分。信息這種看不見摸不著又抽象又晦澀的東西，竟然能被量化，並且其傳輸的速率極限竟然能在那個年代就被證明，這麼多年過去了，資訊理論也在發展，但香農定理的地位一直沒有變。任何一個通信系統，實際上都是在傳輸信息，既然用於傳輸信息，那麼就無法突破香農限，當然，像mimo之類的，雖然提升的信道容量，但卻是引入了空域，相當於多個信道了，每個信道的容量仍然受香農定理約束。

真是細思恐極，就像光速永遠不變一樣。

---

借用The Idea Factory中一段話：

It was one of the rare memonts in history, where somebody founded a field, stated all the major results, and proved most of them all pretty much at once.

誠如所言

---

沒學過通信原理這課，但是覺得資訊理論非常神奇自己wiki和學過一些，如果有理解的不對的請大家改正。

最妙的東西我覺得是他是第一個認為編碼問題本質上是一個概率論問題的人。因此他成為世界上第一個理解信息是什麼的人，這裡面的道理極其基本深刻。讓人學起來覺得顯然的東西一般都是最妙的，例子比如進化論，你學了以後覺得卧槽我怎麼以前沒想出來。。。了不起的地方在於他對於問題抽象的是如此準確以至於結論的方向性都是顯然了，這更體現了他對問題本質概括的正確和神妙。

Shannon一生最偉大的兩個貢獻，第一是資訊理論（把通信編碼問題轉化為概率論問題），第二是數字電路（把數字電路轉化為布爾代數組合邏輯問題）。因此，香農了不起的地方在於他跳出了通信、數字電路這些電子工程問題的物理實現，直接看到了最本質的數學問題。也就是通信原理和數電都是他一手創建。

在資訊理論中，條件概率有極其中心的作用比如 I(X|Y) = H(X) - H(X|Y)。這一點很有趣的！仔細想的話香農用來推出信息熵表達式的最後一個不顯然的公理(熵的依概率相加)就和條件概率有關。我們了解多少信息，未知多少信息，這個聯繫的功能都是由條件概率的一個豎杠解決的。

如果你覺得資訊理論顯然的話（如果你不是沒學明白的話），很可能是因為你已經看到裡面大量定理和不等式與概率論之間的明顯對應，因此覺得裡面基礎結論的數學是trivial的。例如，Jensen不等式和Relative Entropy positivity，AEP（Asymptotic Equipartition）和中心極限定理；這些東西感覺對於學數學的人來說確實就是一個Proof = Trivial. QED 的推論，但是這給了我們一個重新深入理解這些數學上基本定律的物理情景，這種關係就好像量子力學之於線性代數。

另外，Shannon對於熵的概括有著跨時代的意義。我們大學學熱力學學到的 dS = dQ/T，這個對熵的唯象解釋簡直太抽象了，沒人能真正舒服的理解。直到Boltzmann和Shannon給出了另外兩個熵的表示大家才理解，原來熵就是可能性的數學度量，而且是一個概率們的函數。他相當於是第一個創造了由概率分布到實數的映射的人，這個東西太有用了，比如D-L Divergence也就是香農熵的相對熵 (這個嚴格的說不算是香農自己的工作)，在大量問題中都起到了概率空間上度量的作用（儘管它不對稱所以不是度量）。

而資訊理論厲害的地方還在於編碼問題是一類極為廣泛，易於擴展的問題，我們可以發現其與物理、統計、計算理論、當下流行的各種模式識別演算法間的聯繫。相傳費曼大神曾說過一句話（大意如此）：你如果能用n種方法解釋一個問題，你算真懂了。就是因為資訊理論為很多相關問題提供了一個解決問題的範式或者工具，所以可以認為這套理論在應用數學和工程上是非常基本和重要的，讓我們真懂了很多問題。舉幾個例子：

1. 統計物理：統計熵的統一表達、熱二律的「推導」、統計學力學最大熵詮釋 ( E.T. Jaynes )、自由能的相對熵詮釋等。你可以發現統計物理里大量的基礎物理量本質都可以用熵和最大熵解釋，我們完全可以基於熵的資訊理論表達式為第一公理重建統計物理和熱力學（甚至能量都能用熵解釋，比如szilard engine和 min-max relative entropy）
2. 統計：Fisher Information 被發現就是 D-L divergence的二階導，還有用最大熵構造先驗概率分布。有意思的是，每一個MLE問題都有一個對偶的最小化相對熵的問題。
4. 計算理論：稱球問題，某層樓有人提到這個問題，我就借來討論一下。

十二個小球，其中有一個質量和其他不一樣，並且不知道它是輕是重，現在你有一把天平，問需要幾次可以將特殊小球辨別出來？

這問題相當深刻。首先，最優方式當然是每次分兩組二分，最後就log2(12)取個整，本身這問題沒用到資訊理論是吧，不就是二分么，連個演算法海面都到不了！其實這裡面用了，但是因為太基本以至於我們都忽視了資訊理論在其中的應用。不信？如果裡面有兩個球特殊呢，現在天平還可能平衡，那麼你還會做嗎（能做出來的也至少得想一想吧）。我們設計演算法的時候，只有秤球的時候天平給出可能的幾種結果的概率一樣的時候，這樣每次秤得到一個結果得到的信息才是最大的（現在是不是對條件概率有點感覺了）。其實這個問題和編碼的時候構造輔助碼是一樣的，相當於我們給一個一堆0裡面有一個+-1的碼去設計一個糾錯碼。

我們不妨聯想一下到底什麼是編碼？識別手寫字元的時候，我們難道不是也可以認為人腦子是一個碼源，只不過手寫這個channel too noisy。編碼其實體現的精神不在於編碼的物理過程，而在於碼源的概率分布在一種操作下變成了另一種概率分布。我們要做的就是用資訊理論的範式去model channel， 然後利用不同的熵標度去找到一個最優解碼方式。

---

還記得我90年剛剛入學學通信工程的時候，因為香農定理在通信行業太過於基礎，是公理般的存在，以至於我們直覺都以為他應該是19世紀自然科學黃金時代的人物，至少應該是和愛因斯坦，波爾等人差不多時代的人。

結果我們很多老師都見過香農，人家1916年生人，2001年才去世的。

---

推薦閱讀：