氣和深度學習3：回到氣的問題

05-02

在上一篇的討論中，有人提起這麼一個問題：為什麼人工神經網路的功耗這麼高，而生物神經網路功耗沒有那麼高？

這個問題應該要問生物學家。但我這裡給一個我的「感覺」。

我在第一篇就強調過，「氣」是個Pattern。這個觀點背後是什麼，我想不是每位讀者都注意到的，這裡我希望深入一下這個概念。

對於這一點，我其實還寫過另一個討論：in nek：中國傳統文化下的共通性在哪裡？如琴藝、圍棋、繪畫、書法、園林、武術、醫術……，那裡其實在強調的是同一個東西：「氣」是「以無述有」。總結起來，這個意思是：我們在我們所觀察到的所有信息中，抽象出了一個Pattern，然後我們希望用「因果鏈」把這個Pattern關聯起來，形成一個「判斷」。這是思維的本質。好比一隻雞，每天收到主人的餵食，它會形成一個Pattern：「主人是造物主製造出來每天為我餵食的一種生物」，在我們看來，這並非是這個事情的因果，但在雞看來，這個因果就是這樣。等它被殺了，它可能就有不同的判斷了，但那時那個判斷也不重要了。

中國傳統文化中的「氣」，本質上是說：我看到現實是這個樣子的，它有一個pattern，但我建不出，或者我不想建（為什麼不想建我們後面討論）這個邏輯鏈，我僅僅想復現這個Pattern，所以我把它稱為「氣」。但一旦叫它「氣」，在某些人的眼中，就成了一種「因果」（天地能量驅動萬物運作）了，但這個實非我（我是說原來發明這個定義的人）的本意，因為人家就是不知道是什麼在驅動著，但兩者又有Pattern，所以，才類比性地把它叫氣的。你又把它理解為一種因果，這就已經錯了。

這就是為什麼在《氣和深度學習1》中，我強調「氣」不是一種「天地能量」，而是一種Pattern，也是為什麼在《中國傳統文化下的共通性》，我強調中國文化的共通性不是氣，而是「無」，或者「無為」。

好了，到此為止，也許你仍沒有注意到這裡的問題是什麼。我要正確地觀察這個世界，就不能用我的個人期望去影響它，但觀察本身就已經是一種影響了（這和量子物理的觀點很像，但拜託，中國古人是肯定不懂量子物理的，請不要動不動腦補，你想證明佛祖已經在山頂上等我們了，你自己早點去見佛祖，沒有必要拉上我們，省得把你那份好處分薄了），因為觀察這件事情本身也是一種對世界的改變，這種行為本身就可能造成觀察的結果的變化。

所以，氣的意思是，我盡量減少我人為加入的「因果」的成分進去，我盡量抓住其中幾個特徵，然後讓它隨著「自然發展」的那個我感受到的Pattern，從流飄蕩，任意東西。我故意讓那些東西不確定或者留白，來「說明」那些部分的不在Pattern之內，或者Pattern是運動的。換句話說，我嘗試放棄掉精確性，關注特定的結果，關注一個「綜合作用結果」。

從前面的神經網路的類比中，我們可以看到，嚴格的邏輯判斷，是以「感性Pattern」作為基礎的，哪怕1+1等於2這樣的簡單判定，背後都是大量Pattern的總結，是高成本的信息提取。所以，今天整個計算機的基礎，都是高成本的。一杯水，加上另一杯水，會得到「一大杯水」，這個信息是粗糙的，低成本的，但它仍是信息，仍是有用的。但「一升水」加上另「一升水」，得到「兩升水」，這是嚴格的，Specific的，這個信息的規整度很高。

而我們今天的計算機技術，以及一切以此為基礎的「數字化技術」，都是建立在這種高成本的「邏輯思維」的基礎上的。河流衝到海邊，形成一堆的分流進行大海，這是「自然」形成的，這是模擬的（或者說是高度離散化信息的綜合的），沒有人要求它的每個水流應該數字化的流到什麼地方去，沖刷多深的河溝。兩個聲音同時發出，形成一個諧音，這是自然聚合的結果，並沒有發生那個數字化合成的過程……在整個數字化的過程中，我們實際上人為地引入了一個計算過程，精確地規定了一組東西的合併關係，就好比兩杯水倒在一起，我們立即就可以知道它有多少了，但我們卻在這之前，先把水量化為了「升」，然後再預期這兩升放在一起是怎麼樣的，這在「自然融合」之中增加了更多的控制，所以它的成本就很高了。同樣，生物的神經元思考，僅僅是把多個模擬的刺激量聚合在一起，然後讓它自然輸出，而計算機方法是把這些刺激量變成數字信號，然後進行確切的卷積，然後進行確切的Sigmoid等計算，這些都是額外的控制，這形成了「精確度」，從而造成了不必要的成本，所以人工神經網路的代價就遠遠比生物神經網路來得貴了。

解決這個問題，一個方向是今天比較火熱的「非精確計算」，或者也許需要等有一天，我們可以生產一個個獨立的模擬神經元，每個具有自己的特徵，同時我們還有一種實用的反饋演算法，可以修正神經元的參數，這樣我們才有可能把這個功耗成本降下來。

簡單總結：信息提取是一種創造性的行為，如果針對一個目標，我們提取了過多的無意義的信息，控制了過度的信息方向，我們針對目標的努力，就是高成本的。

「數字化」和「Specific」是我們今天一切信息處理高成本的原因。「氣」，是在邏輯思維在放棄Specific上的努力（在保證解決問題的前提下）。

這個問題如果反過來理解，其實細思恐極。這意味著，我們僅僅看到，或者感受到這個世界，很小很小的一個「特徵提取」，因為我們被我們的感覺器官限制了輸入，然後我們進行特徵提取的時候，被我們的演算法和內部參數限制了我們的模式提取模型。當我們擁有複眼，不同的感光系統，不同的感受系統（比如基於昆蟲的生物素），不同的提取系統的密度的時候，那我們整個世界的樣子，因果關係，就是完全不同的。我們不但僅僅看到一個特定時空的投影，我們甚至只看到特定時空中某個維度的特徵的提取。甚至，時空的整個概念，都是我們提取的其中一個特徵，這個特徵，換一下我們腦子的參數，它可能也是完全不一樣的。WTF：）