從下往上看--新皮層資料的讀後感 第三部分 MP神經元-70年前的逆向推演

從這部分開始，調整一下視角主要學習神經網路演算法，將其與生物神經網路進行橫向的比較，以窺探一二。 現在基於NN的AI應用幾乎是滿地都是，效果也不錯，這種貌似神奇的玩意怎麼想出來的。個人不禁好奇，隨後一通亂找。想理出來個線頭，誰知一挖發現這線後面的故事太豐富，這裡特意分享出來。

其實對神經元的認知是比較早的，在機制和功能方面多是偏向生物學解釋，在這個領域最前面的自然是神經學和生物學家。在生物學框架下成果在二戰前後推進速度飛快(二戰期間德國和英美科研投入特別大，這也算是戰爭福利)，逐步搞清楚一系列關於腦神經微觀上事實。直到1943年，神經學家McCulloch和邏輯學家(其實文章發表的時候他連高中文憑都沒有)Walter Pitts一篇共同的論文出現，一把將一堆其他門類的學者拉進了大腦研究的大坑中。

這篇叫做「A Logical Calculus of IdeasImmanent in Nervous Activity」的文章(第一次學神經網路演算法的同學必看)，其中提出來一個假說：在細胞在通過網路連接可以實現計算的能力，也就是是說」大腦是台計算器「。說明了在細胞的基礎上可以構建一套圖靈機，而這個工作模式可能就是大腦工作的本質。更進一步的是pitts給神經元設計了幾種基本連接模式，構成了完備的邏輯集合(類似於羅素搞出來的 與 或 非)進一步解釋一種大腦可能存在的運作機制。也就是說他找到了一組通過神經元簡單邏輯單元構建複雜計算的框架。在這套框架下生物學的機能解釋被邏輯框架組裝了起來。之後幾十年內，最主要的神經網路演算法都是在此基礎上調整改進.乃至到圍棋大師AlphaGo還是得認它為親媽。隨後Pitts被MIT和Norbert Wienner看中，招為研究生。沒錯，這個Wienner就是那個折磨萬千自動化系學生的[控制論]作者(此書很值得讀，輕薄小巧),Cybernetic學科的創始人。說到Cybernetic，這個被我們叫做"控制論的"學習小組事實上在不只是干自動控制這一個事情，事實上這是一個雜學小組，目標是用數學邏輯的方法解釋所有能動的東西的機制，特別是活的。按照Wienner他老人家的說法，這個學科的目的就一個：統一通信，控制，統計力學的核心問題。(Cybernetic本身是拉丁文翻譯出來的，原來的意思是"掌舵",聽聽看人家這氣魄.)重要的是這是一幫子實踐派，他們不滿足於單純的學術研究，還總試圖把這些活的東西用別的方法造出來。所以這裡面的人就顯得特別神奇，一個學科裡面充滿了，數學家，生物學家，社會學家，物理學家，甚至還有心理學家以及各種工程師，唯獨沒有一個叫做控制學家。就這樣的一個雜學學科，在今天我們的高校以單一技能專業化的方式授課，自動化系普遍成了電子系第二專業，實在為教學方式捏一把汗，Wienner若泉下有知不知會不會吐血再死一次。Pitts自然在wienner的帶領下參加Cybernetic組織。按照wienner在書裡面的說法，pitts認識了Claude Shannon，這時候的Shannon還沒開始搞資訊理論，主要工作是跟著VannevarBush(這貨搞的曼哈頓計劃)寫論文等畢業，當時他的畢業研究是搞開關電路(其實就是數字電路)。當時Wienner的把他兩搓到一起就是想讓pitts去找到把「腦牌計算機」用數字電路造出來，讓Shannon給他傳播數字電路的知識。隨後又將pittes拉去參加小聚會，期間接觸到John von Neumann(這個現代計算機的發明人也是這個組織成員)，這期間pitts主要給von Neumann和Goldstone的團隊說明「腦牌計算機」的故事，同時還做神經學的科普。這跨組織，跨學科的效果就是好，vonNeumann把"Pittss loops "用到了EDVAC的改進中（就是那篇文章的成果之一，這個loops具體說來就是通過閉環網路實現內存)，這下計算機的指令和數據基本存儲體系才算是基本補全了。讀完這通才恍然明白，計算機和腦結構在很多方面的相似性原來不是偶然的，這幫人是在一起混的。Cybernetic和計算機的產生其實還對研究現實問題在基本方法上產生根本性的影響，這個找時間我們再說。

按控制論導論裡面的說法，McCulloch 和Pitts1947年還設計了一套盲人閱讀機，這套機器能模仿視覺皮層第四層的，可惜年代久遠不能得見，甚至論文都找不到了。後來Pitts加入了一個小組，試圖用統計學，資訊理論，數學，生物學來搞清楚神經網路的工作機制。當時他覺得神經元結構的學習形成過程可以用統計力學來做過程建模。 1959年他們弄出來一篇關於青蛙視覺論文，裡面揭示了視覺到大腦的信息傳遞過程和內容和眼球本身對視覺信息的預處理機制。這對神經元網路的數據輸入信息內容有了來自生物實驗的準確觀測，今天看來成效卓著。隨著著他對生物細節的了解，pitts對這條路漸漸感到絕望和Wienner的關係也產生了激烈的矛盾，一怒之下把博士論文給燒了。在後續能查閱到的研究中pitts對網路結構本身的過程建模沒能做出更大的突破。沒多少年這位仁兄就掛了，實乃一大遺憾。Pitts這條故事線基本也就到這裡。之後在NN的研究就再沒有按照使用數學邏輯+生物學逆向工程的基本邏輯走下去的，逐漸與生物學分家了。神經學的研究又回到微觀細節上。

而此後的NN真的就成了ANN(人工神經網路)，更多是在演算法和邏輯上直接發展了 ，這也就不難理解今天的神經網路演算法壓根不需要學習生物學了。

先丟開故事的精彩和神奇，仔細看看這個Pitts留下的遺產是什麼?

1：給出了神經元建模 ，也是NN沿用下來的McCulloch-PittsNeurons 就是常說的MP/MCP 神經元。

2：找到了完備的基本的計算邏輯連接集合。圖中的每個具體連接形式。

3：說明了如何用這些運算元在開環結構中如何用這些基本的邏輯結構組建計算的功能。即是生物邏輯的圖靈機

4：數學上解釋了如果在網路中環裝連接會產生的遞歸效應(環狀網路計算自身的效應)。

5：揭示了時間在環裝結構中的不存在。聽起來很詭異，一旦進入環裝邏輯以後就只有順序但時間被消除掉了，這個觀點在後來的很多學說上都被承認，但直觀上不容易理解。

這對40年代簡直是個奇蹟，這些信息可以說是一套邏輯上的「現代計算機」模型了(儘管沒造出來)，你可以通過設計輸入"公式"和"數據"它就能幫你完成計算過程。事實上這也是我們日常的「編程",「錄入」的基本模式。但往前一步，這和人腦比較下來任在工作範式上存在本質的差異---從「錄入」的信息中生長出「公式」的能力。這種能力就是「學習」，具備「學習」能力的系統，只需要向它輸入數據，它自身就能形成與之匹配的計算模式。同樣在40年代Donald Hebb 搞出來一套叫做Hebbianlearning的假說，歌詞大意就是當兩個神經元反覆激活，連接的關係會得到加強。這個Hebbian是個心理學家，裡面沒有做複雜的數學邏輯論證和建模，Hebbian learning在後續過程就一直被當做工具或方法被沿用，直到後來發現LTP這個假說才得到驗證。這個先放下不表。

基本上40年代NN最大的遺產就是MP 神經元和Hebbian Learning的基本思路，一直用到今天。後面我們將MP神經元應用的發展作為一條主線，看看pitts的這個假說到底帶來如何巨大的變革。

推薦閱讀：