「少數派」的深度學習成長史

「我的 CPU 是一個神經網路處理器，一個會學習的計算機。」

——阿諾德·施瓦辛格《終結者 1》, 1984

1971 年，43 歲的康奈爾航空實驗室心理學家 Frank Rosenblatt 在美國 Chesapeake Bay 的一次航海事故中離世，留下了一個老鼠腦細胞移植的未盡實驗。

對這位上世紀 50 年代大腦模仿實驗先驅的評價，外界一直褒貶不一。最讓人詬病的是，在 1965 年提出了感知機 (Perceptron) 的概念後，又與曾經的高中同學 Marvin Minsky（後被譽為「人工智慧之父」）一起對感知機的鼓吹者進行抨擊。

感知機想法的提出源自於加拿大心理學家 Donald O. Hebb 的理論：可以通過神經元間的連接創造一台能夠識別物體的機器。這一想法的提出開啟了「神經網路」學派的先河，但 Rosenblatt 等人隨後的抨擊也險些將還在萌芽階段的「神經網路」研究扼殺在搖籃。

Frank Rosenblatt 想不到的是，一位美國心理學家對一位加拿大心理學家想法的改造會影響到日後深度學習及人工智慧的發展。巧合的是，推動這一系列發展的人也是位心理學專家，來自英國的 Geoffrey Hinton。

▼ 少數派們的秘密研究

Geoffrey Hinton 年少時就深深著迷於大腦的奧秘，為了真正理解大腦如何工作，Hinton 在大學期間橫跨了心理學、化學、物理、生物學和哲學等學科的研究，並在當時唯一一個擁有人工智慧專業的愛丁堡大學開始了自己的研究生項目。

但當時飽受爭議的「神經網路」顯然不能出現在他的研究論文中，而志同道合的研究者也寥寥無幾。處於秘密研究中的 Geoffrey Hinton 還在不斷嘗試讓電腦識別出圖片里的內容，直到他遇見了 Terrence J. Sejnowski。

二人在 1979 年 Hinton 組織的一次會議上結識，並在 1984 年共同發明了「玻爾茲曼機」(Boltzmann machine，BM)，這是最早的生成式隨機神經網路之一。由於 80 年代初計算力的限制，他們的研究還遠未達到預期，但彼時被當作異類的二位卻一直堅持至今。在過去的三十多年裡，Sejnowski 每隔一段時間都會接到 Hinton 關於「我終於知道大腦是如何工作了」的電話，這也成為了他們共同的默契。

在 Hinton 和 Sejnowski 提出了「玻爾茲曼機」後沒多久，兩位分別來自法國和加拿大的年輕人就被「神經網路」的想法所折服。還在學習專家系統課程的 Yoshua Bengio 看到 Hinton 的論文後激動不已，而遠在巴黎就讀博士的 Yann LeCun 也立志加入 Hinton 的「神經網路」秘密小組。二人後來順利在貝爾實驗室匯合，並為「神經網路」思想的復興做出了突出的貢獻。

在很長一段時間被當作「異類」的他們離被稱為「人工智慧三駕馬車」還有二十餘年。

▼「神經網路」的再次流行與泯滅

就在「玻爾茲曼機」被提出後沒多久，關於「神經網路」的討論又一次吸引了主流的目光，研究者們甚至重返《紐約時報》的版面。就連在 1984 年上映的《終結者 1》里，機器人終結者的扮演者阿諾德·施瓦辛格也有一句台詞：「我的 CPU 是一個神經網路處理器，一個會學習的計算機。」

但主流的熱情沒有持續太久，LeCun 也曾抱怨，媒體的過度追捧和計算力的缺乏過早地透支了人們對「神經網路」的信任。而在實際的研究中，除了計算力，不可控的結果也讓工程師們無法接受。

「如果一個神經網路失敗了，人們也未必清楚其中原因，人類大腦也是如此。工程師討厭這種變化無常。他們說，這太複雜了，除非有人相信魔法。相反，程序員傾向選擇那些可預測的、和反向傳播表現差不多的學習演算法。」

這種理想與現實的落差也讓 Hinton 的重要研究夥伴 David Rumelhart（二人一起提出「反向傳播」演算法）開始了對「神經網路」的自我懷疑，幾乎重蹈了十餘年前 Frank Rosenblatt 對感知機質疑的覆轍。

連前輩們都開始質疑自己的理論，但 Yann LeCun 還是執拗地堅持著自己的判斷。1988 年，想要將自己的想法付諸實踐的 LeCun 加入了貝爾實驗室。在那裡，他遇到了多年的合作夥伴 Vladimir Vapnik 和 Yoshua Bengio。前者曾提出了統計機器學派所熱衷的 SVM（支持向量機）理論，並於日後成為了 LeCun 在 Facebook 人工智慧研究院的同事；而後者則變成了 LeCun 的長期戰友。

1996 年，LeCun 就任貝爾實驗室圖像處理研究部的主任，兩年後，他發明了「LeNet5」，這也標誌著 CNN（Convolutional Neural Network，卷積神經網路）的真正面世。這個模仿視覺皮層建立起的神經網路能夠讀取美國 20% 的銀行支票，但「神經網路」距離真正的流行還有很遠。

沒有 GPU 的加持，「神經網路」很難真正通過模擬人類大腦的複雜結構進行學習，當時大部分「神經網路」演算法所能達到的結果，以 SVM 為代表的統計機器學習方法都能達到甚至是超過。

Youshua Bengio 就曾經抱怨：「在主流機器學習會議上，很難發表任何有關神經網路的內容。在過去的十年中，神經網路走完了從流行到泯滅的過程。」

有一句著名的關於「神經網路」論文拒稿評論：

「The biggest issue with this paper is that it relies on neural networks.」（這篇論文最大的問題，就是它使用了神經網路）。

▼ 救命的 35 萬美元與又一次低谷

自 1965 年 HMM（隱馬爾科夫模型）被提出開始，擁有嚴謹推理證明邏輯的統計預測學派就開始佔據著機器學習研究的主流，如今以深度學習為主流代表的神經網路學派在很長一段時間只屬於少數人的自證遊戲。而這兩個學派的代表正是 Michael I. Jordan 和 Geoffrey Hinton。

如今桃李滿天下的 Michael I. Jordan 在早年間還是神經網路學派的代表，1990 年提出的 RNN（循環神經網路）的影響和應用持續至今。但沒想到的是同樣是本科心理學，後續轉戰「神經網路」的 Michael I. Jordan 卻被 Hinton 以「發表論文太少」為由拒絕其成為門下博士生。而在被拒之後，Jordan 也由神經網路學派方向轉到了統計預測學派。

雖然以 Yoshua Bengio 和吳恩達為代表的「Jordan 得意門生」日後分別轉向了深度學習，但不可否認的是，由於彼時計算力的限制和過高的預期，「神經網路」的發展迎來了又一次低潮。不過，Hinton 等人卻沒有停下腳步。1986 年，Hinton 和 David Rumelhart 等人提出了「反向傳播」（Back Propagation，BP）演算法，這個演算法也成為了日後神經網路研究的基石。

由於擔心論文不被接收，在得知英國知名心理學家 Stuart Sutherland 可能是 Nature 雜誌的一名評審後，Hinton 專門跑去和他聊了很久，並向他詳細解釋了「反向傳播」究竟是什麼。

「這給 Stuart Sutherland 留下了非常深刻的印象，我猜這是論文被 Nature 接收的一個原因。」

可惜的是，由於不被主流認可，Hinton 很快失去了他在英國大學裡的工作。正當他苦於沒有研究經費支撐時，一通戲劇性的電話改變了他個人以及「神經網路」研究的命運。

「Hi Hinton，你可能不知道我是誰，但我認識你。我們想投資一些有遠見但現時還不可行的項目，我看了你的論文，很感興趣，也想資助你接下來的研究。」

這位自稱 Smith 的神秘人為 Hinton 提供了救命的 35 萬美金。後來他才知道，Smith 所代表的是美國一家以軍事為主的綜合性戰略研究機構——蘭德公司，他們的背後正是美國國防部。但作為一名社會主義者，Hinton 顯然是與美國政府格格不入的。很快，Hinton 終止了合作，並接受了加拿大高等研究院（CIFAR）的邀請，從多倫多大學計算機專業的課程教授開始，為 CIFAR 提供計算機和大腦學習項目研究。

從此，加拿大便成為了 Hinton 的長期駐地。儘管面臨著長期的低谷和質疑，但 Hinton 和加拿大的研究社區依舊成為了「神經網路」的不渝的追隨者。

多年以後，一次密謀挽回了「神經網路」長期的尷尬命運。

▼ 三個人的「深度學習陰謀」

直到現在，LeCun 都認為 2003 年是深度學習研究的轉折年份。在那一年，已加入紐約大學任職的他與 Hinton 和 Bengio 共同成立了一個非正式聯盟用來複興「神經網路」。

「我們把它叫作 Deep Learning Conspiracy（深度學習陰謀）。」

實際上，這是一個名為 Neural Computation and Adaptive Perception（NCAP，神經計算和自適應感知）的項目。靠著 Hinton、LeCun、Bengio 和 CIFAR 的資金支持，三人秘密地開發了多層神經網路，在已有強大計算力的情況下通過更大的數據集來對計算機進行訓練。這一切都是為了證明「神經網路」是有用的，這是三人長達二十年的堅持，而 CIFAR 也成為了當時世界上唯一支持神經網路研究的機構。

在這個三人小組組建後不久，Hinton 便將「神經網路」更名為「深度學習」（Deep Learning）。2006 年，Hinton 和他的學生髮表了一篇關於「深度信念網路」的文章，這標誌著如今被廣泛使用的「深度學習」正式登上歷史舞台。

儘管改了名字，但學術界對於每隔一段時間便「復甦」的「神經網路」仍然嗤之以鼻。不過與往年不同的是，如今的「神經網路」已經有了大量計算力和數據集的支持。

三十年河東，三十年河西。小眾的密謀正準備迎接大眾的狂歡。

2007 年，在 Hinton 60 歲生日當天，他在機器學習頂級會議「NIPS」上發起了一場關於「深度學習」的研討會，組織者除了他的戰友 LeCun 和 Bengio，還有後來蘋果公司的首任人工智慧負責人 Ruslan Salakhutdinov。

兩年後，ICML（國際機器學習大會）也在 Hinton 和 Bengio 的地盤（加拿大）舉辦，組織者除了上述幾位，還有一位來自 NEC Lab 的主管，後百度 IDL 常務副院長、地平線聯合創始人——余凱。

2010 年 Hinton 的實驗室證明了 DNN（深度神經網路）在語音識別領域的優秀結果後，大公司們也開始了他們的行動。除了將「深度學習」引入自家語音產品線，也開啟了「深度學習」人才的爭奪戰。時任斯坦福大學教授的吳恩達便是在此時加入了 Google 的 XLab；而在這之前，他也是前文所提到 NCAP 的重要成員。

三個人的努力似乎初見成效，但真正的轉折與突破出現在 2012 年。

▼ 質疑、轉折與改變

2012 年，在計算機視覺領域的知名華人科學家朱松純擔任 CVPR 大會主席期間，LeCun 曾給他寫信抱怨，自己的論文報告了很好的實驗結果，但是審稿的三個人都認為論文說不清楚到底為什麼有這個結果，於是便拒稿。LeCun 一氣之下便聲明再也不給 CVPR 投稿，還把審稿意見掛在網上以示抗議，並指責論文評審人員「無知」和「有偏見」。

其後，LeCun 和 Bengio 共同創辦了 ICLR（International Conference on Learning Representations，國際學習表徵會議），希望為「深度學習」提供一個專業化的交流平台。

同年，Hinton 和學生參加了 ImageNet。Hinton 和他的團隊在五次嘗試之內，以 85% 的準確度成功地識別出圖像中的物體獲得比賽冠軍，比第二名高出了 10 個百分點。隨後，深度學習演算法開始成為人工智慧研究的主流；而 Hinton 與他的學生 Alex Krizhevsky 和 Ilya Sutskever 創立的 DNNresearch 公司迅速被 Google 以 500 萬美金的價格收購，Hinton 也開始了在 Google Brain 的研究。

LeCun 曾回憶起 Hinton 團隊奪冠後那些曾對「神經網路」不屑一顧的專家們的態度轉變，「好吧，現在我們認同你，你們贏了。」

一年後，在 NIPS 一場關於「深度學習」的研討會上，，Facebook 創始人 Mark Zuckerberg 意外地來到了現場並宣布 Yann LeCun 即將加入 FAIR（Facebook 人工智慧研究院）。對於深度學習社區來說，這無疑是一劑強心劑。而在本次大會的 workshop 中，一家來自英國的創業公司展示了他們一個模擬潛水艇躲炸彈的 2D 小遊戲，他們就是後來被 Google 收購併研發出 AlphaGo 的 DeepMind。

別忘了我們的老朋友，和 Hinton 一起提出最早生成式隨機神經網路之一「玻爾茲曼機」的 Terry Sejnowski 在 2013 年也開始幫助奧巴馬實施其斥資 1 億美元的「腦計劃」。

2015 年 5 月，Hinton、LeCun 和 Bengio 聯名在 Nature 上發表了一篇關於深度學習綜述的論文，長達二十餘年的堅守終於讓「神經網路」的研究迎來屬於它的黃金時代，而後面的故事我們也都耳熟能詳。

2016 年，曾與 Rosenblatt 一起抨擊感知機的人工智慧先驅 Marvin Minsky 去世。而在「深度學習」開始大行其道之時，Hinton 又「不合時宜」地站出來質疑他自己曾提出的「反向傳播」理論。但與 Rosenblatt 不同的是，Hinton 依然在試圖通過新的理論來搭建真正強大的「神經網路」。

所有人都在為即將而來的轉折而改變，而真正堅守的卻是那些孤獨的少數派。

版權聲明：

本文為「KnowingAI知智」原創，未經許可，請勿轉載。

如果你對人工智慧行業充滿興趣，並想成為一名內容創作者，歡迎發送郵件至： yumiaomiao@knowingai.cn。