思維的革命-從 「機械性思維」 到「資訊理論思維"(筆記)

從 工業時代的「機械性思維」 到 信息時代的「資訊理論思維」

機械性思維：1. 認為世界變化的規律是確定的。2. 而且這個規律是可以被認識，並能夠被用簡單公式和語言描述清楚的。3. 這些規律是可以應用到各種其他未知領域的。

機械性思維的想法來源於牛頓的方法論。後來瓦特利用這種思維改良蒸汽機，後來各種工業革命的各種成就也是基於這種方法論來的。甚至包括後來的愛因斯坦，也是利用機械型思維產出相對論。

機械性思維局限在於他否認不確定性和不可知性。

But，不確定性在世界中，其實無處不在。因為 1： 當我們越來越細節了解世界後，發現影響世界的變數其實非常多，已經無法通過簡單的方法或公式算出結果。（如，你無法算出桌上擲骰子的點數-變數太多）2. 客觀世界本身也是不確定的。由於量子力學的測不準原理，我們的本身測量活動已經影響了被測量的結果。（如當你要了解股票的規律時候，你去了解股票，或者按照某個理論購買股票，就已經給股市帶來想法的推動力，這將導致股票與預測相反。）

摻雜了不確定性的世界，我們需要用概率去解釋，這就是資訊理論。

資訊理論思維：香農引入了熱力學的「熵」的概念，他用「熵」來描述信息系統的不確定型。

信息的不確定性與信息量有關：對某個不確定的事情，如果我們能獲得更多的信息，便能減少事情的不確定性。信息的度量等同於不確定性的多少。

信息思維完全建立在不確定基礎上，要想消除不確定性，就要引入信息。 至於引入多少信息，則要看不確定性有多大。如，普通網頁廣告隨機猜測用戶需求，準確度很低（如萬分之一的準確度，約為14比特信息）。當引入用戶輸入信息-如google，便能消除信息的不確定性（如 2個詞，每個詞2個字，能提供10-12比特的信息，能夠緩解隨機時大部分不確定性）。當引入用戶的使用習慣和背景-如facebook，能獲得1-2比特的信息。

信息時代的方法論：誰掌握了信息，誰就能夠獲得財富。

智能時代的絕大多問題，可以轉變成信息處理問題。利用信息來消除不確定性。（如，象棋每一步情況都有幾種可能，很難確定最後的結果，這種不確定性可以用信息來緩解；如識別人臉圖像，可以看成從有限可能性挑出一個，世界上的人數是有限的，這就把識別問題變成了消除不確定的問題。）

互信息：互信息用來量度信息之間的關聯。「互信息大」的信息才能真正解決不確定性。

香農第一定律：對於信源發出的所有信息設計一種編碼，編碼的平均長度一定大於該信息的信息熵。也一定存在一種編碼方式，是的編碼的平均長度無限接近他的信息熵。（把最短的編碼分配給使用效率最高（頻繁）的信息）。

香農第二定律：信息傳播速率不可能超過信道的容量。要提高信息傳播的速率，必須要提高帶寬。人際交往一樣如此，如果帶寬（人脈）不夠，發出/獲得的信息都會受限。

最大熵原理：當我們要對未知時間尋找一個概率模型時，這個模型應該滿足我們所有已經看到的數據，但是對未知的情況不要做任何主觀假設。最大熵原理比任何認為假定的理論更有效，廣泛用於機器學習。

交叉熵：反應兩個信息源之間的一致性，或者兩種概率模型之間的一致性。當兩個數據源完全一致時，他們交叉熵為零，當他們相差很大時，交叉熵也很大。建立模型所使用的數據與使用模型時候用的數據要有一致性，否則，數據驅動的方法就會失效。交叉熵就是衡量這種一致性的量度。

當某些小概率數據應用的時候，其交叉熵極大，結果將會非常出乎意料，也就是黑天鵝事件。此時，數據驅動的方法就失效了。

在搜索的行業，已經從研究「因果關係」轉變成「尋找相關性」。當你完成一個搜索模型，如果發現用戶大量的點擊在A連接，而不在B連接，C連接，現在通用的方法不是去研究原因，隨後改善排序演算法（傳統因果關係思路），而是基於用戶的點擊建立一個模型，讓這個模型來排序。

模型的準確性取決於數據量的大小，熱點辭彙一般都能做比較好。但是一個搜索引擎使用的時間越長，數據累計最充分，對於長尾的搜索就做得越精準。他們的模型就能更好。

後來的時代，大家發現通過瀏覽器搜索條，輸入法，瀏覽器輸入欄等獲取用戶數據其實更有效（量更大），大家都在發力瀏覽器等客戶端軟體。

思維方式的全面領先，才是西方近代走在世界前列的真正原因。機械思維曾改變了人類的工作方式，但是今天我們面臨的複雜情況，已經不能用機械思維來解釋了，有太多的不確定性。在無法確定因果關係時，我們更應該利用數據來消除這種不確定性，幫我們獲得我們想要的真正答案。

推薦閱讀：