思維的革命-從 「機械性思維」 到「資訊理論思維"(筆記)
從 工業時代的「機械性思維」 到 信息時代的「資訊理論思維」
機械性思維:1. 認為世界變化的規律是確定的。2. 而且這個規律是可以被認識,並能夠被用簡單公式和語言描述清楚的。3. 這些規律是可以應用到各種其他未知領域的。
機械性思維的想法來源於牛頓的方法論。後來瓦特利用這種思維改良蒸汽機,後來各種工業革命的各種成就也是基於這種方法論來的。甚至包括後來的愛因斯坦,也是利用機械型思維產出相對論。
機械性思維局限在於他否認不確定性和不可知性。
But,不確定性在世界中,其實無處不在。因為 1: 當我們越來越細節了解世界後,發現影響世界的變數其實非常多,已經無法通過簡單的方法或公式算出結果。(如,你無法算出桌上擲骰子的點數-變數太多)2. 客觀世界本身也是不確定的。由於量子力學的測不準原理,我們的本身測量活動已經影響了被測量的結果。(如當你要了解股票的規律時候,你去了解股票,或者按照某個理論購買股票,就已經給股市帶來想法的推動力,這將導致股票與預測相反。)
摻雜了不確定性的世界,我們需要用概率去解釋,這就是資訊理論。
資訊理論思維:香農引入了熱力學的「熵」的概念,他用「熵」來描述信息系統的不確定型。
信息的不確定性與信息量有關:對某個不確定的事情,如果我們能獲得更多的信息,便能減少事情的不確定性。信息的度量等同於不確定性的多少。
信息思維完全建立在不確定基礎上,要想消除不確定性,就要引入信息。 至於引入多少信息,則要看不確定性有多大。如,普通網頁廣告隨機猜測用戶需求,準確度很低(如萬分之一的準確度,約為14比特信息)。當引入用戶輸入信息-如google,便能消除信息的不確定性(如 2個詞,每個詞2個字,能提供10-12比特的信息,能夠緩解隨機時大部分不確定性)。當引入用戶的使用習慣和背景-如facebook,能獲得1-2比特的信息。
信息時代的方法論:誰掌握了信息,誰就能夠獲得財富。
智能時代的絕大多問題,可以轉變成信息處理問題。利用信息來消除不確定性。(如,象棋每一步情況都有幾種可能,很難確定最後的結果,這種不確定性可以用信息來緩解;如識別人臉圖像,可以看成從有限可能性挑出一個,世界上的人數是有限的,這就把識別問題變成了消除不確定的問題。)
互信息:互信息用來量度信息之間的關聯。「互信息大」的信息才能真正解決不確定性。
香農第一定律:對於信源發出的所有信息設計一種編碼,編碼的平均長度一定大於該信息的信息熵。也一定存在一種編碼方式,是的編碼的平均長度無限接近他的信息熵。(把最短的編碼分配給使用效率最高(頻繁)的信息)。
香農第二定律:信息傳播速率不可能超過信道的容量。要提高信息傳播的速率,必須要提高帶寬。人際交往一樣如此,如果帶寬(人脈)不夠,發出/獲得的信息都會受限。
最大熵原理:當我們要對未知時間尋找一個概率模型時,這個模型應該滿足我們所有已經看到的數據,但是對未知的情況不要做任何主觀假設。最大熵原理比任何認為假定的理論更有效,廣泛用於機器學習。
交叉熵:反應兩個信息源之間的一致性,或者兩種概率模型之間的一致性。當兩個數據源完全一致時,他們交叉熵為零,當他們相差很大時,交叉熵也很大。建立模型所使用的數據與使用模型時候用的數據要有一致性,否則,數據驅動的方法就會失效。交叉熵就是衡量這種一致性的量度。
當某些小概率數據應用的時候,其交叉熵極大,結果將會非常出乎意料,也就是黑天鵝事件。此時,數據驅動的方法就失效了。
在搜索的行業,已經從研究「因果關係」轉變成「尋找相關性」。當你完成一個搜索模型,如果發現用戶大量的點擊在A連接,而不在B連接,C連接,現在通用的方法不是去研究原因,隨後改善排序演算法(傳統因果關係思路),而是基於用戶的點擊建立一個模型,讓這個模型來排序。
模型的準確性取決於數據量的大小,熱點辭彙一般都能做比較好。但是一個搜索引擎使用的時間越長,數據累計最充分,對於長尾的搜索就做得越精準。他們的模型就能更好。
後來的時代,大家發現通過瀏覽器搜索條,輸入法,瀏覽器輸入欄等獲取用戶數據其實更有效(量更大),大家都在發力瀏覽器等客戶端軟體。
思維方式的全面領先,才是西方近代走在世界前列的真正原因。機械思維曾改變了人類的工作方式,但是今天我們面臨的複雜情況,已經不能用機械思維來解釋了,有太多的不確定性。在無法確定因果關係時,我們更應該利用數據來消除這種不確定性,幫我們獲得我們想要的真正答案。
推薦閱讀: