控制論和資訊理論之間的關係是怎樣的？維納和香農的根本分歧是什麼？

12-28

我說的不做數，看的也不夠仔細，大概的談談我的理解吧。
我個人覺的維納和香農研究問題的出發點都是：人的思考是怎樣進行的。為了解決這個問題這兩個人產生了截然不同的思路。

維納總結了一下，他認為要想解決這個問題首先要解決的是控制問題，於是他就假設了一個模型：首先，我必須有個結構（手），其次，我能通過一定的結構使其狀態改變（肌肉），再次，我需要控制狀態改變，使之達到我的要求（腦），解決了控制問題也解決了人類思考的問題。所以他提出的資訊理論更多的是從控制這個角度進行闡釋的。控制這門學科就產生了。

香農不然，香農認為解決這個問題的關鍵是：人是如何理解溝通的。因為在日常生活之中，理解別人說話內容才是最重要的事情，只有知道人是如何溝通信息的，也就解決了人的思考是如何進行的過程。所以香農的資訊理論更多的是從一句話包含多少信息，從這個出發點進行闡述的。通訊這門學科也就產生了。

恩，再加一條吧，圖靈也在思考這個問題，他的答案是我不知道人如何思考的，但是我能知道的並且可以觀察到的是：對於某句話人是如何反應的。如果我做了一個機器，他對某件事的反應和「真正的人」一樣，我就認為他會思考了，然後觀察這台機器如何運作，就會知道人是如何思考。恩，這個就是圖靈測試，然後計算機這門學科就產生了。

恩，一家之言，貽笑大方。

這個問題比較大。暫推薦兩篇關於Automatic Control與Information Theory早期歷史的文章吧：

A Brief History of Automatic Control
http://ieeecss.org/CSM/library/1996/june1996/02-HistoryofAutoCtrl.pdf

The Early Days of Information Theory
IEEE Xplore Abstract

一、香農的資訊理論：

最核心的觀點是：香農認為：「通信的基本問題就是在一端精確地或近似地再現另一端所選擇的訊息。」

他建立了一個模型：

信源——發射器———接收器——信宿
訊息信號、雜訊訊息

信息量研究信源能發出多少信息量；信道能傳送多少信息量；信宿能收到或提取多少信息量。

二、維納的控制論

包含3部分:反饋論、資訊理論、自動計算機論。
採用功能模擬法、黑箱—灰箱—白箱法等。

其中，核心觀點是反饋論。系統要實現其預期目的，就要從複雜的因果關係中選擇出那種能產生期望的果。對「因」施加某種手段，引導其產生「果」。

三、差異：

1.分析方法不同
香農的資訊理論是一種量化研究，維納的控制論還有定性分析。

2.主客觀
資訊理論淡化了人的參與，以傳播的信息為研究對象。而控制論是能動的，以效果及實際反饋為研究對象。

3.結構不同
相比控制論，資訊理論更加單薄一些。前者是迴環的結構，後者是單鏈結構。

題目夠大, 也夠大膽. 恰好今年維納提出控制論70周年, 發文紀念一下.

---

香農是基於熵的資訊理論; 維納是cybertics(我真的沒有辦法翻譯, 翻譯成控制論太low了, 不翻譯叫賽博學, 其實還是沒懂)

應該說, 系統論, 資訊理論, 控制論, 是認識事物的過程.

系統論, 是事物是可認識的, 是存在通過系統分解方式認識宇宙的方法的, 正因如此, 所以, 人類用自己千億細胞萬億億原子的物質, 可以認識宇宙2^609次方個量子大小(大概是億億億億億億億億億億億億億億億億億億億億億億個), 相信我們有科學存在.

資訊理論, 就是將系統論的思想定量化, 既然, 無法用大腦的小量信息完整反映大量信息, 那麼假設規律存在, 這個規律必然是概率性的真理, (如同上帝有一個完整信息量2T的片子, 我用100G的U盤拷貝, 理論上說不能做到無損壓縮),除非有先驗知識, 而任何先驗知識又是信息, 那麼先驗知識(真理)也是概率性的, 於是評估信息的熵.

cybertics/控制論, 是基於以上系統論和資訊理論, 對世界如何進行調整和改造.

錯!!!!!!

這是大部分人, 特別是將cybertics翻譯成控制論之後的中國人的理解. cybertics, 更強調的是, 人類擁有一種在cyber世界進行研究學問(tics就是什麼什麼的學問的意思), 或者說, 因為有cyber, 所以, 人們可以不受限於已有系統, 不受限於已有的信息(熵), 而可以在cyber世界中進行思考, 進行cyber世界中進行嘗試, 將信息無中生有,

cybertics是對人大腦想像能力的肯定, 對人在大腦中構建超越系統, 超越信息熵, 超越機器人簡單推理, 產生信息的能力. 而這種能力的產生, 在哲學上, 是形而上的信息可能超越宇宙所有客觀實際的來源; 在神學上, 是人類超越自然, 具有神性, 而非機械唯物運動論的自由意志的基礎.

美國NASA在建立internet的時候, 另一個平行項目, 就是cybernet.

德國人將cyber physics space作為工業4.0中最難理解的一個內容.

英國人霍金將虛時間這一個概念列為"目前很少有人充分理解的概念之一"

回到維納cybetics的著作中, 有如下的一些關鍵內容:

數字計算機，感測器，電機執行，反饋，人工機器（機器人），自動工廠，無人的裝配線。在計算機尚未出現的1947年，維納非常清晰的給出了技術路線。更厲害的是，他還替七十年之後我們沒能做到這些給出了一個台階式的借口。

今年是維納提出控制論七十周年，自動化人，重溫經典。

另外, 參見我的文章: https://zhuanlan.zhihu.com/p/31843989

---------

有人寫的比我好:

《控制論》-導讀及譯者序第二版序 -讀書筆記

其中有幾句:

4) 與shannon的離散觀點不同，維納是從連續的觀點來定義信息量的。

我的評論: 離散是有理數, 是可數的; 而連續是實數, 是稠密的;之間的界限有一個連續統那麼大!

9) 控制論的四個原則

非決定性原則

大宇宙、小宇宙的不完全的秩序產生出目的論和自由。

&> 我認為就這一個原則, 其他的都是由此產生的: 因為宇宙不完全秩序, 才存在想像, 這也是離散和連續對世界認知不同之後的關鍵.

14、從方法論上說，維納把兩類迥然不同的對象——機器與有機體——放在同一概念體系下來考慮，這是他在思想上最重要的變革。不過，這只是說從行為主義的分析中兩者找不到區別，但在結構功能主義分析中，機器與有機體顯然大相徑庭。

談不上根本分歧，幾點區別：

1. 控制論多以系統分析為基礎，然後做信號分析；資訊理論多以信號分析為基礎，然後做系統分析。

2. 控制論更側重動態系統分析；資訊理論更側重靜態信號分析。

3. 控制論以閉環為主；資訊理論以開環為主。

但其實兩者更多是聯繫。

就此，我們剛出版了一本專著：

Towards Integrating Control and Information Theories:
From Information-Theoretic Measures to Control Performance Limitations

開篇 Section 1.1，寫了一些關於控制論與資訊理論的關係的討論：

1.1 A Word on Control versus Communication

The attempt to merge control and communication theories dates back to the early works of Hendrik Bode, Claude Shannon, and Norbert Wiener. In [166], observations on similarities and relations between control and communication were made in many places, proclaiming that 「the theory of control in engineering, whether human or animal or mechanical, is a chapter in the theory of messages,」 and that 「it is my book that the physical functioning of the living individual and the operation of some of the newer communication machines are precisely parallel in their analogous attempts to control entropy through feedback.」 Indeed, the book [167] is themed on the merging of 「control and communication in the animal and the machine.」 As Norbert Wiener put it, 「(we) become aware of the essential unity of the set of problems centring about communication, control, and statistical mechanics, whether in the machine or living tissue... We have decided to call the entire field of control and communication theory, whether in the machine or the animal, by the same Cybernetics.」 On the other hand, as early as in [12], it was observed that 「there is an obvious analogy between the problem of smoothing the data to eliminate or reduce the effect of tracking errors and the problem of separating a signal from interfering noise in communications systems,」 (see, e.g., [14, 165]) while noting that 「this analogy... must of course not be carried too far.」

It was not carried too far. Since then, control and communication have grown into two almost independent fields (see, e.g., [7, 52], respectively), with different focuses and even different mathematical tools (control/estimation theories and information/coding theories, respectively) for modeling, analysis, and design. In a way, control mainly concerns utilization of information, while communication is more about information transmission.

In control, properties of systems are almost always of first priority and should be soundly modeled where possible, based on which stability and performance analysis can then be carried out. On the other hand, in communication, properties of signals are most emphasized, whereas models of communication systems are often not easily obtained, and certainly not describable in ways typical for dynamic processes. For instance, what is the input-output 「dynamic model」 of the source coding layer/process using Hamming code [52, 62]?

In addition, in control, the element of 「time」 is always explicit in the analysis of system dynamics, while in communication, at least in classical information theory, 「time」 is not directly involved. Time delays are tolerable in communication and information theory. Indeed, to achieve a tight bound of channel capacity usually requires coding with arbitrarily long block lengths [34, 52, 142, 143]. On the other hand, time delays severely deteriorate stability and performance as well as robustness of the closed-loop systems in control theory [59], and must be taken good care of in the analysis and design.

In spite of these differences, and just as an old Chinese saying goes, 「that which is long divided must unify; that which is long unified must divide,」 the interplay of control and communication (information theory) is once again a heated topic in recent years.

以上信息來自：

Springer: Towards Integrating Control and Information Theories - From | Song Fang | Springer

Amazon: Towards Integrating Control and Information Theories: From Information-Theoretic Measures to Control Performance Limitations (Lecture Notes in Control and Information Sciences): Song Fang, Jie Chen, Hideaki Ishii: 9783319492889: Amazon.com: Books

因為篇幅原因，參考文獻就不貼在這裡了。而且 draft 中關於此的討論更多，成書之時刪減了不少。各位如果感興趣歡迎垂詢。

維納的哲學基礎是偶然性的宇宙觀，因此他非常推崇吉布斯在統計物理學方面做出的貢獻

香農的資訊理論，是通信的數學理論，側重於編碼理論與密碼學

維納考慮通信時消息的失真和雜訊，以通信做為反熵來研究社會

還需要說明一點的是，維納的控制論，並不是翻譯成control thory，而是cybernetics

題外話

維納在寫完控制論之後，還寫過一本書，《人有人的用處－控制論與社會》，國內有出版的

維納是數學家，哲學家和神學家

物理學研究發現了分子原子電子，化學則分析和合成了各種物質。直觀上看「控制論」和「資訊理論」也類似如此，資訊理論把「信息」認證為一種基本元素及基本屬性，而控制論負責研究這種元素的廣泛應用。

就目前提問的表面來看，感覺更像是題主在疑惑「控制論」和「資訊理論」為什麼常常要放在一起說。那麼其實如同物理和化學，是互為表裡的，「資訊理論」專註於基礎理論，而「控制論」涉及範圍更廣，所以放一起說也很正常，而且香農比維納年紀小很多，研究範圍也小很多，但是巧的是香農（Claude Shannon）的"A Mathematical Theory of Communication"和維納（Norbert Wiener）的"The scientific study of control and communication in the animal and the machine"都是1948年發表的。另外在國內還有「老三論」和「新三論」之稱謂，資訊理論和控制論都被歸為老三論之中。

至於根本分歧，為什麼要有根本分歧？信息量和信息熵問題上他們的意見是一致的，所以才會有Shannon–Wiener Index這東西。

基於信息控制論的混雜系統正在逐漸成為研究熱點。

香農說信息就是熵，而維納則說信息是負熵。這個文字遊戲算得上他們的分歧之一嗎？