痴人、信徒、先驅：深度學習三巨頭等口述神經網路復興史

來自專欄 量子位

原作：Ashlee Vance

安妮 唐旭 編譯自 Bloomberg

量子位 出品 | 公眾號 QbitAI

現代神經網路、機器學習等AI技術背後的思想，可以追溯到第二次世界大戰行將結束之際。彼時，學者們開始構建計算系統，旨在以類似於人類大腦的方式存儲和處理信息。

數十年來，這一技術起起伏伏。直到2012年。人工智慧終於開始得到更為廣泛的關注和應用。

這多虧一小撮「頑固分子」的堅持，他們不怕被視作蠢貨，一直相信神經網路會照亮這個世界，並改變人類的命運。

最近彭博社記者Ashlee Van就採訪了眾多機器學習大牛，整理了一份人工智慧的口述歷史。

這是一個卧薪嘗膽般的故事，主人公不止一人。而這些是他們記憶中的艱辛和突破。參與講述的親歷大牛包括：

• Geoffrey Hinton，多倫多大學教授，Google大腦成員
• Yann LeCun，紐約大學教授，Facebook首席AI科學家
• Yoshua Bengio，蒙特利爾大學教授，MILA負責人
• Richard Sutton，阿爾伯塔大學教授，強化學習之父
• Jurgen Schmidhuber，Nnaisense聯合創始人，LSTM之父

還有一位歷史的記錄者：

• Cade Metz，《紐約時報》記者，即將出版一本關於AI歷史的書

回首當年，現已身為機器學習「三巨頭」之一的Yann LeCun說：「對Hinton、Bengio和我來說，這是一段黑暗的時期。我們雖然並不痛苦，但也許也會覺得悲傷，人們並不認為我們的想法更好。」

Geoffrey Hinton說他們一直相信神經網路，但當時外人認為搞神經網路簡直是痴心妄想，「研究神經網路，想讓它更好用的人寥寥無幾。」

「什麼是人性？人性就是一場奮鬥，為了變得更好。我們不想停在自己已經走到一半的路上，然後說，這就是宿命。」Sutton說。

未來會怎樣？

Bengio說：我相信我們能夠創造出比我們自身更聰明的機器，聰明到能夠理解我們的價值觀和道德體系，並按照對我們好的方式行動。

LeCun說：我不相信奇點的概念，這種好萊塢式的場景，比如某個在阿拉斯加的天才掌握了AI的秘密，然後造出了一種征服世界的機器人，都是荒謬可笑的。

所有的物質現象和社會現象都要面對摩擦力，因而指數型的增長進程並不能無限地進行下去。

以下就是這份口述歷史

Cade Metz：

神經網路的概念可追溯到上世紀40年代，當時被認為是一種模擬大腦神經元網路的計算系統。Frank Rosenblatt教授在20世紀50年代真正推動了這項工作，與美國海軍等政府部門合作，開發了一種基於神經網路概念的感知機。

當時，《紐約時報》和《紐約客》都濃墨重彩地報道了這件事。

Rosenblatt稱，此感知機不僅能學會識別圖像這樣的小任務，還能從理論上教機器走路、說話和表達感情。

當時，這還是單層神經元結構，功能非常有限。

不用說你也能猜到，上面他所承諾的事情都沒有發生。

60年代末，Rosenblatt的同事兼中學同學、人工智慧先驅、達特茅斯會議的組織者Marvin Minsky（明斯基）寫了本書，詳細介紹了感知機和神經網路的局限性。

就是這本書，把整個領域的研究凍結了至少10年。

Geoff Hinton:

Rosenblatt的感知機能做些有趣的事情，但有些生不逢時，直到50年之後，這個理念才可行起來。雖然明斯基某種意義上講一直是神經網路的信徒，但他也證明有些事情還是無法解決的。

明斯基和Seymour Papert的《感知機:計算幾何學的介紹》當時基本上導致了這個領域走向衰亡。

在20世紀70年代，還有一小撮人在堅持研究神經網路，但總體來說，我們處於人工智慧寒冬之中。

Metz:

Hinton曾經在卡內基梅隆大學(CMU)任教，後來成了多倫多大學的特聘教授，他一直執著於神經網路。

最終，他和同事們研發出了多層神經網路，或者叫深度神經網路。這是機器學習史上的里程碑事件，自此之後，深度學習開始作用於各行各業。

深度學習的另一名巨頭，法國計算機科學家Yann LeCun曾花了一年時間在多倫多的Hinton實驗室做博士後研究，之後去了新澤西的貝爾實驗室。

Yann LeCun：

從很小的時候起，我就被智能所吸引。我成長在20世紀60年代，當時太空探索很流行，第一代電腦也已出現，人工智慧的概念已經興起。所以當我開始學工程學的時候，我對AI這個新興領域非常感興趣。

我當時聽說了感知機之後非常感興趣，因為我很贊同學習是智能的組成部分，四處找資料想弄明白感知器的一切。

對工程師來說，如果你想了解智能，最有效的方法是嘗試建立一個智能機器，這個過程會強迫你專註在構成智能的關鍵不見上。

這和飛機的發展有點像。航空先驅受到鳥類飛行的啟發，但並沒有完全複製它們飛行的模式。

你想要的不僅僅是模仿生物智能或者人類大腦，因為有些功能可能正是由生物化學和生物學決定的，但與智能並無關係，真的。這就像羽毛對飛翔並沒有什麼關鍵作用，真正重要的是背後的空氣動力學原理。

Metz:

有些人認為LeCun是個痴人，而他研究的東西，是西西弗式永無止境的徒勞。

當時，你作為一個神經網路研究員去參加大型人工智慧會議，而你並沒有被學術界的核心所接受。這些理念太邊緣了。

Yoshua Bengio:

1985年，神經網路確實是門邊緣學科，我在加拿大麥吉爾大學上的課都不教這個。我學的是經典的、符號化的人工智慧（Symbolic AI），所以，想做神經網路，必須先說服教授來指導我。

好在我有政府的獎學金，基本上可以自己決定我要做的課題，對教授來說也沒有任何損失。最終我們談妥了：我可以做機器學習，但需要把它應用到他所關心的語音識別任務上。

LeCun:

1986年左右的時候，神經網路的研究出現一股小高潮，一些物理學家也對這種模型感興趣，提出了新的數學方法。

這些方法使這個領域再次高歌猛進，這在80年代後期和90年代早期吸引了很多人關注。部分人開始讓基於神經網路的系統做一些實際的事情，比如信用卡欺詐檢測等。

我當時在做一個用字元識別自動讀取支票的自動化系統。

Metz:

80年代末，一名叫Dean Pomerleau的CMU研究人員用神經網路構建了一輛可以上路的自動駕駛汽車。LeCun在上世紀90年代用這項技術構建了一個可以識別手寫數字的系統，之後被銀行應用。

這樣看來，從80年代末到90年代，神經網路及其應用復甦了，LeCun的工作就是最好的例子。

沒多久，這個好兆頭再次破碎。由於計算力和可用數據的缺乏，人工智慧再次進入寒冬。

「LSTM之父」Jurgen Schmidhuber亂入：

我們沒有用加拿大同行的演算法，他們用了我們的。LeCun本來是法國人，我們用過他的演算法。他有很多有用的重要貢獻。

我認識這些研究人員已經有很長時間了。第一次遇到Yoshua，是他發表了一項研究，和四年前我一個學生髮表的東西是一樣的，或者說差不多。

幾年後，我們在一次會議上攤牌了，所有事實都擺了出來。當時在研討會上有一場公開辯論，誰先做了什麼很明顯能看出來。這不是惡意的，只是在澄清事實。你在科學中所做的事情就是澄清事實。

(Bengio否認了Schmidhuber的說法。)

LeCun：

當時的問題是，這些方法需要複雜的軟體、大量數據和強大計算機來支持，沒有多少人能接觸到這些東西或者願意花時間來完成。

從90年代中期到2000年左右，大多數人選擇捷徑——沒有人真正對神經網路感興趣。

對Hinton、Bengio和我來說，這是一段黑暗的時期。我們雖然並不痛苦，但也許也會覺得悲傷，人們並不認為我們的想法更好。

Hinton：

當然，我們一直相信它，也一直在研究它，但工程師們發現其他方法只需要小數據集就能逼近甚至超越它的性能時，就奔向了其他的陽關大道，把神經網路給定位成了痴心妄想。研究神經網路，想讓它更好用的人寥寥無幾。

加拿大的CIFAR讓全世界像我們這樣的人交流得越來越多，把我們推到了裂變的臨界點。

LeCun：

神經網路終有一天會回來——有很小一撮人心裡是這麼想的。

2003年，Geoff在多倫多，被CIFAR招攬過去啟動一個神經計算項目。於是，我們聚到了一起，決定努力奮鬥，重新點燃我們這個領域的熱情。

但是我們在發表研究成果之前，需要一個安全的地方來辦研習班、開會、發展我們的想法。這個項目2004年正式啟動，到2006年，就產出了非常有意思的論文。Geoff就在《科學》上發表了一篇。

Hinton：

2006年在多倫多，我們開發了一種訓練多層神經網路的方法，同年在《科學》上發表了一篇論文，非常有影響力，也支撐了我們的觀點，吸引了更多人的興趣。

2009年，我實驗室的兩個學生開發了一種用深度神經網路做語音識別的方法，效果比當時已有的方法更好。

它只是好了一點點，但當時現存的技術已經30年毫無進展了。這些深度神經網路研究幾個月就能取得稍好一點的成績，實際上顯然意味著幾年之內就能取得更大的進展。

Metz：

2009年，Hinton和當時微軟的語音識別研究員鄧力有過一次不經意的碰面。像當時大多數人一樣，鄧力推崇的是符號主義。在這條路徑下，你基本得逐條地構建語音識別系統，並將它們以特定行為編碼——進展會非常慢。

Hinton當時提到，他用神經網路方法來進行語音識別的研究已經取得了真正的進展。這種方法可以通過分析語音資料庫中存在的模式來完成字詞識別，並且比符號主義逐條編排的方法更快。

鄧力當時並不完全相信Hinton的話，但後來還是邀請他以及他的兩位同事來微軟開發這項技術。在微軟，語音識別有了飛躍性的進步；2010年，同樣的事情發生在谷歌。

隨後，在2012年末，Hinton和他的兩位學生在圖像識別領域取得了重大突破，與此同時，他們推翻了之前所有的技術成果。也正是從這時起，除微軟和谷歌之外，其他公司開始意識到這些思想的潛力。

要記住，Hinton的這些思想其實並不年輕。在神經網路背後，其實是計算力和數據量發生了變化。在微軟和谷歌這樣的公司，你需要數千台機器協同運作，才能處理從文本到視頻等等一切內容，巨大的數據量和計算力，也為神經網路的成功提供了土壤。

LeCun：

（神經網路）為什麼花了這麼長的時間才取得成功？

這恰恰是科學的特點。這是種哲學。在各種各樣的技術被採納之前，人們需要相信這些技術真正能發揮作用。當時，這些方法的名聲並不好，人們說它們太吹毛求疵，還需要使用某些黑魔法。

Sutton：

看到計算力有如此穩定的提升，意義非常重大。現在，那些開發演算法的人與那些開發更快計算機的人像是在賽跑。你可能需要提前計劃，考慮5年甚至10年後可用的計算機狀況，來調整自己的演算法。

計算機需要能夠意識到哪些是好的，哪些是壞的，然後你要給它一個叫做「獎勵「的特定信號。如果獎勵很高，那代表它是好的；獎勵低的話，代表它是壞的。這是目標的源頭。

神經網路是你放置學習進程的場地，強化是你來決定要進行怎樣的變化。

Bengio：

要實現Geoff、Yann和我夢想中的那種無監督式學習，我們還有很長的路要走。幾乎每種用深度學習來打造的產品主要依賴的都是監督式學習，也就是計算機要被告知它們在數百萬的案例中要做什麼事情。

當然，人類可不是這樣學習的；我們自動學習。我們會觀察自身所處的世界。2歲的時候，我們就有關於物理、重力、壓力等等的初級概念，但父母們從來沒有教過我們牛頓定律。我們與世界進行交互，觀察，並在某種程度上構建一個關於事物會如何依照我們的行為進行展開的模型。

我們的研究正在向非監督學習的階段邁進，它與強化學習方面的工作相聯繫。我們不只是在觀察世界，我們在世界中行動，並依據這些行動的效果來弄清楚它是如何起作用的。

LeCun：

我現在感興趣的，是如何讓機器向動物和人類一樣高效地學習。當你學開車時，你知道要是你偏離道路，就會有不好的事情發生。我們可以預知自己行為的後果，這意味著我們不需要去真正做那些不好的事情，就能認識到它是不好的事情。

所以我現在的目標就是找到一種訓練機器的方式，讓它們能通過觀察來學習，以便能夠構建這種對於世界的預知模型。每種動物都有自己對於環境的預知模型。動物越聰明，它們在這件事上就能幹得越好。你可以說這種預知的能力，加上根據預知結果行動的能力，其實就是智慧的本質。

LeCun：

很有可能在未來3年、5年、10年、15年什麼的，我們就會取得非常大的進展。在真正做出能接近人類智慧的系統之前，我們還要花費很長的時間。要幾十年。

Bengio：

哪怕是機器變得非常聰明，甚至比我們還聰明，我也不認為人類就會失業。我們一直想讓真正的人類來工作，那些工作是人與人之間的交往。我不想讓一台機器人來照顧我的孩子，或是我的祖父母，抑或是在我生病時在醫院照顧我。

我不是在害怕終結者。我相信我們能夠創造出比我們自身更聰明的機器，聰明到能夠理解我們的價值觀和道德體系，並按照對我們好的方式行動。

我真正的擔憂是人們會錯誤地使用AI，比如將它們用在軍事武器上。像你在廣告中看見的一樣，它們已經被用來影響他人了。在某些於道德和倫理上不該使用AI的地方，我認為我們應該將其判定為非法。在集體層面，我們應該保持理智。

Sutton：

我認為，我們把這一領域稱作「人工智慧」是個非常大的錯誤。這個名字讓它看上去與人類差異巨大，也不像是真正的智慧。它讓人們把這些東西想像成過於奇異、陌生的事物，但實際上我們在做的是件非常「人性」的事情——重造人類智慧。

科學揭示的是真理，但不是所有人都喜歡真理——特別是你拿到真理，發現並不是你想要的。這可能也是歷史上宗教總是與科學發生衝突的原因。我覺得，當我們對自己的大腦了解得越多，情況可能也會如此。也可能，根本就不存在對意識的某種解釋。一些人喜歡，一些人不喜歡，科學無法改變真理。

當變革來臨時，總會有贏家和輸家，而一場大變革就要來了。我覺得我們也會變成智慧機器。我們應該把AI當作自己，或是當作我們的後代。我們可以依照我們認為健康的方式來創造它們。

什麼是人性？人性就是一場奮鬥，為了變得更好。我們不想停在自己已經走到一半的路上，然後說，這就是宿命。

LeCun：

在我們真正搞清楚它會是什麼樣子之前，對此的擔心都是不成熟的。我不相信奇點的概念，那東西認為某天我們會學會製造超級智能機器，第二天那些機器就會自己創造出更聰明的機器，然後它們會起飛。

我想人們似乎忘了，所有的物質現象和社會現象都要面對摩擦力，因而指數型的增長進程並不能無限地進行下去。這種好萊塢式的場景，比如某個在阿拉斯加的天才掌握了AI的秘密，然後造出了一種征服世界的機器人，都是荒謬可笑的。

Hinton：

本質上說，提高生產力應該有益於公眾之善。這件事變成壞事的唯一可能性是，社會拿走了生產力提升的全部成果，卻只把它給了站在塔尖的那1%的人口。我住在加拿大的原因之一就是它的稅收體系：如果你掙了很多錢，那國家就收你很多的稅。我認為這非常棒。

我的主要觀點是，未來是很難預測的。當你開始試圖預測未來20年會發生什麼事情，你基本就錯得離譜了。但也有一些東西是可以預測的，比如——這項技術將會改變一切。

原文：https://www.bloomberg.com/news/features/2018-05-17/apple-and-its-rivals-bet-their-futures-on-these-men-s-dreams

— 完 —

歡迎大家關注我們的專欄：量子位 - 知乎專欄

誠摯招聘

量子位正在招募編輯/記者，工作地點在北京中關村。期待有才氣、有熱情的同學加入我們！相關細節，請在量子位公眾號(QbitAI)對話界面，回復「招聘」兩個字。

量子位 QbitAI · 頭條號簽約作者

?? ? 追蹤AI技術和產品新動態