理解計算：從√2到AlphaGo——第2季 神經計算的歷史背景

來自專欄 SIGAI人工智慧講堂

SIGAI特邀作者：twinlj77作者簡介：大學教師研究方向：機器學習、信息安全

導言

儘管「神經網路」這個詞的出現已經有些年頭，但是人們並沒有對其建立嚴格的數學符號和形式化的表示，而且神經網路從一開始就不是獨立的學科，它來源於生理學，心理學，物理，數學，工程的交叉領域，所以這種交叉使的神經網路的研究看起來有點混亂。特別是現在的「深度學習」，有點急於撇清與神經網路的聯繫，我將通過對這一段漫長歷史的回顧，來看看他們之間無法割捨的血緣關係。

感知機的出現標誌著一門稱之為「神經計算「的研究領域的誕生，現在更一般說法就是人工神經網路，儘管這個說法現在看起來已經不那麼時髦。感知機是計算機科學家們藉助神經科學或腦科學的研究成果，對實現人工智慧所做的一次偉大而又具有深遠意義的嘗試。感知機在為人工神經網路的發展歷程中起到的作用非常有趣，我們將在後面看到這一點。然而，人工神經網路(Artificial Neural Network的發展簡直是一波三折，可以認為它的興衰完全反映了人工智慧道路的崎嶇坎坷，實際上到目前為止，沒人敢說他真正理解什麼是人工智慧。生理心理學家大都持謹慎的態度，一部分計算機科學家更加雄心勃勃，最激動的則是一些小報記者。本文的歷史追溯應該比你在很多地方看到的要古老的多。

希臘哲學家亞里士多德(Aristotle 前384年-公元前322)認為人的意識、想像和記憶都植根於人的心臟。古埃及人也是這麼認為的。所以，古埃及人在製作木乃伊時，會仔細處理心臟，反而將腦子扔掉。這可能是大家在電影中看到的木乃伊大多傻傻的一個原因。

公元170年，古羅馬時期最有影響力的醫學大師，曾經給角鬥士療傷的羅馬醫生蓋倫( Galen，130-200左右))，認為腦子控制人的脾氣和身體的功能。他的病人包括被角鬥士納爾西斯(Narcissus)刺殺的古羅馬皇帝康茂德(Commodus)（公元180至192在位）。沒錯，根據這個故事改編的電影就是由極富魅力的克勞羅素主演的史詩大片《角鬥士》。蓋倫最大成就來自於那些當眾演示的動物解剖和生理實驗；他在大庭廣眾面前運用修辭學技巧所進行的邏輯性很強，言辭犀利的辯論讓人印象深刻。然而，使人印象更深刻的則是他的傲慢態度和刻薄語言，這深深地激怒和傷害了許多成就不如他的同行們。他接受亞里士多德"在自然中一切都是有目的的"的觀點，認為人體構造，如手上的肌肉和骨骼，大腦等，都執行事先安排好的功能。蓋倫的最基本的理論是生命來自於「氣」，例如腦中的「動氣」（Pneumaphysicon） 決定運動、感知和感覺。直到1600多年後，義大利生理學家伽爾伐尼( Luigi Galvani) 才提出：腦神經之間是通過電脈衝來相互交流的。從此腦電波的概念才得到廣泛接受。蓋倫還提出了』氣質』這一概念，形成了關於人格的4種氣質學說(膽汁質，多血質，粘液質，抑鬱質)。不用說，這一定是一個經常拿刀在動物身體上開窗的人提出的，蓋倫把傷口比喻成進入身體的窗戶。此分類方式一直在心理學中沿用至今。他的理論持續流行了1200多年，遺憾的是，我們現在幾乎開始用「氣質「來形容男士和女士的外貌了。

現代神經網路領域的研究背景起源於19世紀末和20世紀初，那簡直是多學科交叉發展的黃金時代，那是一個感覺隨便搞搞研究就能開闢一個學科的時代。對於神經系統的結構，當時人們眾說紛紜：神經細胞之間到底是相互獨立的還是相互融合的？對於這個問題的回答代表了學界的兩種意見：一種說法是神經細胞之間是相互獨立的，那麼細胞之間又是以何種形式傳遞信號的呢？在當時，這種形式仍屬未知；一種則認為神經細胞之間是相互融合的，那麼這將意味著整個神經系統是一個巨大的網路，神經細胞胞體將只負責提供支持和營養，腦將作為一個整體來實現它的功能。上述兩種意見各自擁有自己的支持者。然而在當時，第二種意見，也被稱為網狀理論還是佔據了主流——至少它看上去更加合理，也不需要研究什麼「未知的形式」去完善理論。現代的人工神經網路至少從字面上看更接近網狀理論，然而它的發展卻是由堅定地站在反對網狀理論的一邊的西班牙著名的生理學家聖地亞哥·拉蒙-卡哈爾（Santiago Ramón y Cajal，1852年5月1日－1934年10月17日）奠定了基礎。

卡哈爾致力於觀察視網膜神經細胞之間的聯繫，這裡的觀察是真的用眼睛看，他的這種研究只需一台過得去的顯微鏡就能開張了。這主要是因為卡哈爾本身並不富裕(看看那簡陋的實驗台和打滿補丁的外套), 這種情況在當時的科學界其實很少見。那個時候顯微鏡的發展對生理學和神經科學的作用完全可以跟現在GPU的發展對計算科學的作用相媲美。不同之處則是顯微鏡不斷的將物體放大，而GPU的基本單元則一個勁的是使自己變小。有意思的是,在20世紀後半，神經科學和計算科學相結合誕生的神經計算(Neural Computing)，顯微鏡終於和集成電路聯繫在一起。19世紀，高質量消色差浸液物鏡的出現，使顯微鏡觀察微細結構的能力大為提高。19世紀70年代，德國人阿貝(Ernest Abbe)奠定了顯微鏡成像的古典理論基礎：阿貝正弦條件，確定了可見光波段上顯微鏡分辨本領的極限，為迄今光學設計的基本依據之一。同時他也進入一個以發明複合式顯微鏡著稱的公司，卡爾·蔡司(Zeiss)股份公司, 阿貝博士幸運的結識了奧多 (Otto Schott)，一位30歲的剛得到博士學位的玻璃化學家。他們進行合作，很快地於1886年生產了新型玻璃，能充分地表現阿貝的正弦學說，大大改善透鏡品質。這種新型玻璃為新顯微鏡的物鏡開闢出一條新的道路。1938年，魯斯卡(Ernst Ruska)將電子流作為一種新的光源，使物體成像，構造出第一台透射電子顯微鏡以來，我們現在能夠把物體放大到200萬倍，一個神經元細胞的突觸(我將在後面的文中解釋)看起來就像花灑一樣大。

實際上，顯微鏡製造和觀察技術的發展為另一項更為緊迫和有價值的研究提供了有力武器。藉助這種工具，19世紀後半葉包括科赫、巴斯德等在內的生物學家和醫學家發現並研究了細菌和微生物。他們藉助顯微鏡的研究成果使得整個醫學邁進了細菌學時代，它研製出雞霍亂疫苗、狂犬病疫苗，炭疽疫苗等多種疫苗，這項發明挽救了無數的人。跟這比起來，人類在智能領域到目前為止所取得進展簡直都可以忽略。這位被世人頌為 「進入科學王國的最完美無缺的人」，不僅是個理論上的天才，還是個善於解決實際問題的人，他創立了一整套獨特的微生物學基本研究方法，並開始用「實踐—理論—實踐」的方法開展研究，其發明的巴氏消毒法(溫度滅菌法)你幾乎天天都在使用。

通過顯微鏡來觀察腦神經細胞的過程也頗有點運氣成分。細胞有自己的特點，細胞內部含有一些具有特定形態結構和功能的微器官，稱為細胞器。某些細胞器的折射率與細胞質很相近，這影響了對細胞內部的觀察。通俗的講，如果你把細胞比作人一個人的話，這個人的內部器官幾乎是透明的，就像隱形人一樣。1872年，在義大利一家廚房裡發生了神經科學中的一次重大進展。帕維亞大學年輕的醫學研究生卡米洛·高爾基（Camillo Golgi）由於對大腦的強烈興趣而在醫院的廚房建立了一個簡易實驗室。偶然地將一腦塊放入盛有硝酸銀溶液的碟子中，並在其中浸泡了幾個星期。結果，高爾基發現了一個極其重要的反應。當他取出腦塊時，變化已經發生了。在顯微鏡下出現了一種複雜的圖案：在網狀的纏結中懸浮著黑色的斑點。這種情況實際上比我們想像的更加複雜，這種染色過程只隨機地標記出十分之一到百分之一的細胞，因此表現為蒼白的黃褐色背景上的黑點。如果全部染色的話，黑色斑點的重合度將使我們什麼都看不到。到目前為止，仍然無人完全了解的這個神奇的變化過程。我只能說幸運女神偏愛卡米洛·高爾基（Camillo Golgi）。這是人類第一次在顯微鏡下清晰地看到構成大腦的神經細胞的模樣。「我眼前有堅實的證據，它表明了我所稱的無處不在的神經網路的存在。」 高爾基斷言到。

高爾基的發現使得它更加堅定的支持網狀理論，他認為大腦類似於循環系統那樣相互連通的網狀結構，這些細胞的網狀結構作為一個整體來完成大腦的基本功能。然而這種堅定的想法則把更加深刻的發現讓給了意志堅定的卡哈爾。卡哈爾研究並改進了高爾基染色法，即換用了更高濃度的其他液體並且延長了浸泡時間，從而獲得了更清晰可靠染色樣本，這種技巧現在依然是生物專業大學生的必修課。作為一個天才，他在他心愛Zeiss光學顯微鏡下（他的自傳中他強烈表達了擁有高性能顯微鏡的喜悅，他的很多照片也都是與顯微鏡合影），憑藉著自己高超的觀察能力和繪畫技藝，他完成了數百幅美觀、細緻的神經解剖學繪圖。這些繪圖後來長期被用作教學的範本，直到現在仍然可以出現在某些教材的對應章節中，下圖3(a),(b)是《卡哈爾靈魂的蝴蝶》一書中的一些作品。

這些圖絕不僅僅因為他針對客觀事物細緻入微的觀察以及嚴謹而認真的記錄，更是因為他對神經結構功能的理解和分析。卡哈爾憑藉其天才的觀察力和想像力，從粗陋設備獲得的模糊數據得出了對神經科學起到重大作用的精確的結論。卡哈爾通過手工繪圖，使得這些神經結構變得清晰且易於理解。圖3(c)是卡哈爾繪製的脊椎動物視神經相關通路的圖。在圖中，卡哈爾已經繪製出了神經之間不連續的結構（後人命名為突觸）。他靠直覺想出了神經元突觸的形式和功能。儘管當時視網膜細胞已經被充分認識，但這些細胞的排列及其緣由仍然不太清楚。卡哈爾發現既然視錐細胞(感強光和顏色)和視桿細胞(感弱光)傳遞的信息相互隔離，那麼那種認為神經細胞相互融合成為一大網路的見解顯然站不住腳。從所有一切的開始，視覺就與大腦有著密切的聯繫，這種聯繫是如此密切，人工智慧有時候甚至可以被看作人工視覺(計算機視覺)。過硬的事實使得神經元理論開始贏得尊敬。卡哈爾確定了若干個重要的規律，並且在研究中始終貫徹：1神經系統由神經元這樣的基本單位構成，但在研究功能時，需要整體考慮各個結構之間的相互作用；2神經信號的傳導大多是單向的；3神經元之間是生理結構上不連續的，神經信號可以跨過這種不連續的結構而傳遞下去。天才科學家總能憑藉直覺和想像力創建指導後來研究人員的一套理論，後人在更先進的技術以及更精密的儀器支持下，證明了卡哈爾的結論正確性。

卡哈爾的另一項工作也頗為有趣，他寫了一本《致青年學者(Advice for a Young Investigator)》的小冊子，這本小書給一邊吐槽西班牙政府的無能，一邊卻給出到目前依然值得借鑒的科學研究的精闢思想，在亞馬遜和豆瓣幾乎得到滿分評價。本書特別適合研究生閱讀，他給出了一名青年研究者應該具備的幾乎所有品質。他特彆強調了持久專註的重要性：「持久的專註可以讓研究者覺察到最複雜的問題之中閃現的一線微光。」 「多數缺乏自信的人對持久的精神專註產生的非凡力量一無所知，這種腦力的極端化能夠改善判斷、增強分析、激發有益的想像，像收集火種那樣把在黑暗中探索問題時遇到的理性因素聚集起來——可以發現那些最微小的精妙聯繫。」 他還指出「嗜書者的博學如果不能維持人的長期進步並使其取得一定成就，便沒有多大價值。我們不僅需要知識，還需要轉化知識。不僅會體驗，而且能創造。這就是真正熱愛科學的人應該遵循的標準。「 最最有趣的部分則是他極度認真的教育青年研究者該找什麼樣的伴侶。卡哈爾認為身體健康、精神奮發向上的職業型女性是年輕研究者唯一可以嚮往的理想對象，他把女性分為知識型、財富型、文藝型、職業型。知識型在當時顯然太少，而財富型女性和文藝型女性在他看來明顯不靠譜，尤其是文藝型的。財富型的女子雖然奢侈浪費卻至少是自掏腰包，她們也不喜歡書本雜誌，只去珠寶店和時裝店，但是文藝型女子無論是瀏覽珠寶時裝，還是檢視書商的貨物，都是一樣的興奮和狂熱。」 悠閑、奢華、炫耀生活的女人很難不把這些嗜好傳染給她的丈夫「 他認真的寫道。 」那些妻子們膚淺無知、炫耀浮華的性格，使輝煌的事業被迫中止，逼著年輕的科學家們棄學從政、把顯微鏡換成汽車，晚上還要把他們從實驗室中拉出來，陪著她們參加聚會或者去劇院看戲。「 我想他最不能容忍的就是把他那心愛的顯微鏡換成汽車了。像許多神話天才一樣，卡哈爾更獻身於他的事業而非他的家庭。卡哈爾沉迷於他的顯微鏡中，無法回應他的妻子，那時她尖叫著度過了6歲女兒死去的夜晚。在哀嚎中，顯微鏡的燈光是卡哈爾唯一的避難所。

卡哈爾還是一名心理學家，當時的心理學家都對夢有一種痴迷，他認為「做夢是大腦生理機能最有趣且最奇妙的現象。」 你可以堅定的宣稱什麼時候計算機能做夢了，人工智慧也就實現了。可是，目前的科學家們到現在對夢境如何產生也給不了太多解釋，絕大多數理論都只能低調的宣稱自己只是一種「假說」。 在世紀之交的1900年，偉大的弗洛伊德出版了《夢的解析》，極力想表明一個觀點：「所有夢境都是被壓抑慾望的結果」,為了證明弗洛伊德是錯的，卡哈爾開始做夢境筆記並收集其他人的夢境，嚴格並有邏輯的分析這些夢境。《卡哈爾的夢》於2014年在西班牙出版，其中包括卡哈爾在1918到1934年1月去世前記錄的103個夢。在女兒死後的三十年，這位當代「神經科學之父「夢到他正溺水於西班牙海岸，把他的小女兒緊緊摟在懷裡。這個夢不需要解析。

高爾基和卡哈爾先後完成的工作對神經系統的發展做出了巨大貢獻，但是兩者依然堅持各自觀點。在他們同時分享1906年的諾貝爾獎的時候，斯德哥爾摩市政廳便成了他們最好的宣傳各自觀點的平台。高爾基首先發言，他以腦部受損後功能的恢復以及腦組織強大一致的信息整合能力為依據再次申明了自己對網狀理論的支持。隨後，卡哈爾則說：「的確，如果神經中樞是由運動神經……和感覺神經相互融合併連續組成的網路，那麼事情會變得非常方便、經濟和易於分析。不幸的是，大自然似乎無視了我們智力上對方便和一致的需求，而往往樂於表現出複雜性和多樣性。」 我們必須對100多年前的科學家們給予足夠的尊重，高爾基的染色法是跨時代的，但不足以支撐對神經元更深入、更細緻的研究，卡哈爾是幸運的，他得到了更接近事實的結論，所以被譽為 「神經科學之父「。

現在的人工神經網路的很多研究者把神經網路看作是一個函數逼近器，從宏觀上看這是把網路看成了一個整體，有點類似網狀理論。而在另一類模型中，一種借鑒視覺特性提出的模型，卷積神經網路(我們後面將詳細介紹)則利用了視覺神經元獨立性的特點。之前的感知機，我們也將會看到，它徹頭徹尾就是一個單一的神經元細胞！因此，在計算機科學領域則更多的是借鑒一種思想，可以認為計算科學交叉使用了網狀理論和神經元理論。

那麼神經元到底是個什麼東西？神經元（Neuron）就是一種細胞，神經元理論認為神經系統由大量的神經元構成，是神經系統的基本結構和功能單位之一， 卡哈爾的「神經元學說」提出神經細胞由細胞體、樹突和軸突三部分組成，它是神經系統的基本單位，如圖4所示。

早在1865年，年輕的德國解剖學家Dieters (Otto Friedrich Carl Dieters)同樣藉助光學顯微鏡對脊髓神經元進行了描述，他將軸突和樹突分別描述為神經元細胞的「軸線管狀物」和「原生質突起」，這是一種不能再直白的描述了。遺憾的是在這項研究成果還沒發表的時候，他就不幸的因為傷寒去世了，他在論文中的遺願「這些突起(樹突),從今以後將被稱作原生質突起」也並沒有實現。1889 年，德國的Wilhelm His 將「原生質突起(離細胞體比較近的樹狀分支) 」命名為「樹突 」(dendrite)，原指一種樹枝狀晶體。1896 年，德國解剖學會會長Kolliker (Rudolph Albert von Kolliker) 將「軸線管狀物」命名為「軸突」( axon)，由上圖黃色的髓鞘包裹的軸狀物。謝靈頓(Charles Scott Sherrington)於1896年提出使用突觸(synapse)這個術語來描述一個神經元與另一個神經元之間的接觸部位，並認為神經元與神經元之間在這個部位進行信息溝通，我們已經知道這個部位最早是由卡哈爾在他心愛的光學顯微鏡下作了組織學描述。 除了神經元的結構以外，卡哈爾憑藉其天才的直覺，斷言神經衝動的傳導方向是自樹突到胞體再到軸突，一般是單向的。

通過利用顯微鏡來對神經元結構進行定義以外，我們還需要一些科學家給出關於神經元功能和運作原理的進一步理解。儘管謝靈頓 1896年把神經元與神經元之間的機能接點命名為突觸，當時他雖然還不了解接點的具體形態，但是他指出神經元與神經元之間是不連續的，而且推論有些突觸是興奮性的有些突觸是抑制性的。1911年，艾德里安(Edgar Adrian，1889 -1937 )從劍橋大學畢業後，開始研究控制肌肉活動的神經衝動問題。他是研究神經興奮的電作用的第一個專家。他利用青蛙進行神經興奮傳導方面的試驗。艾德里安發現外界刺激只有增強到一定閾值時才會引起神經衝動，此後即使再增加刺激強度，神經衝動的強度和傳導速度也不會增加。這種階梯跳躍的形式，就是生理學上著名的「全或無」法則。他和謝靈頓一起由於「關於神經功能方面的發現」而獲得1932年諾貝爾生理學或醫學獎。

你可以把神經元想像成一個小小的，滑溜溜的小掃帚，把柄就是軸突，用來掃地的一端就是樹突，把柄另一段則是突觸。樹突主要用來獲取其掃帚的突觸傳給他們的刺激， 這種刺激單向的傳遞到掃帚另一端的突觸，突觸本身就像一個花灑一樣，把它的感受以化學或電作用的方式傳給其他小掃帚。這些小掃帚，頭尾相連或尾尾相連，但並不真正接觸，它們構成的比拳頭大不了多少的地方絕對是全宇宙當中最神奇的地方。

現在我們大都了解神經元具有感受刺激和傳導興奮的功能，通過接受、整合、傳導和輸出信息實現信息交換。從信息轉換角度來看，神經元可以被認為是一個基本的編碼單元。我們將會看到(第3季中)，人工神經網路的不僅從結構上，更重要的是從功能上，幾乎完全借鑒了這種思想。直到1943年，關於神經系統的研究一直都是在生理學與心理學方面，這項研究主要依賴於顯微鏡，電學以及化學作用。由於諾貝爾獎頻繁的授予關於神經系統的開創性工作，儘管距離真正的神經網路模型(第1季的感知機(1957))還有10多年的路要走，一些有遠見的數學家也開始準備聯合心理學家為神經元(網路)建立數學模型了。

推薦文章

往期文章匯總

[1] 機器學習-波瀾壯闊40年 SIGAI 2018.4.13.

[2] 學好機器學習需要哪些數學知識？SIGAI 2018.4.17.

[3] 人臉識別演算法演化史 SIGAI 2018.4.20.

[4] 基於深度學習的目標檢測演算法綜述 SIGAI 2018.4.24.

[5] 卷積神經網路為什麼能夠稱霸計算機視覺領域？ SIGAI 2018.4.26.

[6] 用一張圖理解SVM的脈絡 SIGAI 2018.4.28.

[7] 人臉檢測演算法綜述 SIGAI 2018.5.3.

[8] 理解神經網路的激活函數 SIGAI 2018.5.5.

[9] 深度卷積神經網路演化歷史及結構改進脈絡-40頁長文全面解讀 SIGAI 2018.5.8.

[10] 理解梯度下降法 SIGAI 2018.5.11.

[11] 循環神經網路綜述—語音識別與自然語言處理的利器 SIGAI 2018.5.15

[12] 理解凸優化 SIGAI 2018.5.18

[13]【實驗】理解SVM的核函數和參數 SIGAI 2018.5.22

[14] 【SIGAI綜述】行人檢測演算法 SIGAI 2018.5.25

[15] 機器學習在自動駕駛中的應用—以百度阿波羅平台為例(上) SIGAI 2018.5.29

[16] 理解牛頓法 SIGAI 2018.5.31

[17]【群話題精華】5月集錦—機器學習和深度學習中一些值得思考的問題 SIGAI 2018.6.1

[18] 大話Adaboost演算法 SIGAI 2018.6.2

[19] FlowNet到FlowNet2.0：基於卷積神經網路的光流預測演算法 SIGAI 2018.6.4

[20] 理解主成分分析(PCA) SIGAI 2018.6.6

[21] 人體骨骼關鍵點檢測綜述 SIGAI 2018.6.8

[22] 理解決策樹 SIGAI 2018.6.11

[23] 用一句話總結常用的機器學習演算法 SIGAI 2018.6.13

[24] 目標檢測演算法之YOLO SIGAI 2018.6.15

[25] 理解過擬合 SIGAI 2018.6.18

[26] 理解計算：從√2到AlphaGo ——第1季 從√2談起 SIGAI 2018.6.20

[27] 場景文本檢測——CTPN演算法介紹 SIGAI 2018.6.22

[28] 卷積神經網路的壓縮和加速 SIGAI 2018.6.25

[29] k近鄰演算法 SIGAI 2018.6.27

[30] 自然場景文本檢測識別技術綜述 SIGAI 2018.6.27