如何評價香農 Claude Shannon 的學術貢獻？

01-01

Shannon的學術貢獻其實已經不需要別人評述，且以我的微末水平自然不敢隨意置喙。我只想分享下對Shannon以及他的paper的一些零散的想法。

Shannon最大的貢獻自然是發明了Information Theory。一般來說，大部分工作包括一些很厲害的工作，比如Viterbi Algorithm, FFT Algorithm, Kalman Filter, 都屬於那種就算你不做別人也遲早能做出來的。但是Information Theory顯然不是，如果沒有Shannon的話可能到現在都沒有Information Theory這個東西。而且Shannon完全是自己花了10年做出來的，沒有任何的合作者.

然後是讀Shannon 1948年的paper的兩點想法。最大的感受佩服Shannon的勇氣與執著。例子是Shannon的信道編碼定理(一個存在性定理)的證明過程。眾所周知對於存在性定理，證明過程就是要構造一個具體的例子來滿足定理條件。在這個問題里就是要構造一個optimal code來達到capacity。Shannon其實也不知道應該怎麼構造。如果是我做這個問題，到這個程度估計就放棄了。但是Shannon竟然隨機生成了一組code，然後問自己
「這組隨機生成的code的平均性能怎麼樣？」
最後他居然證明了隨機生成的code的平均性能可以任意好，因此在這組隨機的code中最好的肯定能達到capacity，於是就證明了存在性。我的文筆比較爛，沒法描繪出那種驚心動魄的感覺。但我當時讀他的paper到這裡的時候確實震驚了，沒有極大的勇氣是絕對不可能想得到這種方法的。

另外一點比較有意思的感受和我的方向有關，我算是通信裡面做optimization的，屬於計算數學. Shannon的work在得出information limits的同時其實是沒有考慮演算法複雜度的，而且事實上對於一般情況下的code，optimal decoding的複雜度也是NP-hard的(當時還沒有NP-hard之類的概念)。但是之所以現在通信系統能夠work的原因是NP-hard其實只是描述所有情況的worst case，所以只要找出decoding複雜度低的好碼就可以了，並不需要關注所有的情況。說到這裡必須要感謝這幾十年專註於coding theory的科學家，沒有他們的努力不可能實現現在暢通無阻的通信。

祖師的貢獻三天三夜也說不完。資訊理論不僅是他創立的，其中大部分基本問題也是他提出的。靠他吃飯的人不知有多少。根據記憶、道聽途說以及google學術，簡單答一個，以後或再完善。

1948年的論文創立了資訊理論

1949年的論文是保密通信的重要理論基礎

1949年的另一篇論文開創了了通信理論的幾何分析方法

三十年代的碩士論文建立了布爾代數和邏輯電路分析之間的聯繫

1960年的論文開創了多用戶資訊理論

1959年的論文開創了率失真理論

1959-1967年與Gallager和Berlekamp共同建立了錯誤指數的理論

和Elias，Feinstein合作提出了最大流最小割，Ford-Fulkerson同時獨立提出

梅森信號流圖其實是Shannon發明的

採樣定理被稱為Nyquist-Shannon採樣定理

1951年的論文研究了英文的熵

1956年的論文提出了zero error capacity的概念

1958年的論文研究了有狀態信道

對PCM的理論，圖靈機，時間序列的平滑和預測，以及早期計算機研究也都有重要貢獻

50年代有論文分別研究了計算機下棋，機器老鼠走迷宮等問題，參加了達特茅斯會議，因此也是人工智慧的重要先驅人物

將資訊理論應用於股票投資，後來在Cover-Thomas的書里成為專章，祖師自己據說也賺了很多錢

但祖師最喜歡的還是各種玩。

祖師就是神。

看到這個問題還是需要說一下對神的仰慕，畢竟每天上班經過大堂都能看到他老人家的銅像（如上圖）。

樓上的回答很詳細，也做不了很多的補充，只想強調一下，他第一個閃光的首先是他的碩士工作，提出了使用Boolean algebra來簡化circuit design，業內稱為最偉大的碩士論文。他的PhD論文為：An Algebra for theoretical genetics，說實話我不懂不好置評。

在Bell Labs做的工作大家應該都知道，說說我自己第一次看他的論文，有那種一看就覺得是天才寫出來的感覺，一點都不誇張，至於資訊理論的重要性，想必也不需要多說了。一點小事情，最早資訊理論提出的那個論文名字是: A mathematical theory of communication，之後被改成了：The mathematical theory of communication, 大家就知道這理論的提出的到了多大的擁護。

對於從事通信產業工作的我們來說，Shannon無疑是我們祖師爺，除了膜拜也就只剩下膜拜了。