吳恩達被diss，人工智慧的凜冬將至

來自專欄 AI前線4 人贊了文章

本文由 「AI前線」原創（ID：ai-front），原文鏈接：吳恩達被diss，人工智慧的凜冬將至

譯者｜LIU ZHIYONG

編輯｜Vincent、Debra

AI 前線導讀：拜 Alpha Go 所賜，世界進入了波瀾壯闊的人工智慧元年，如今公眾一談到人工智慧，通常想到的就是那如火如荼、如日中天的深度學習。不可否認的是，深度學習肯定帶來了機器學習的飛躍，也正在引起各個領域的技術變革。如果說，人工智慧的凜冬即將來臨，人們會不會認為是一派胡言呢？因為從表象來看，深度學習與人工智慧技術正在逐步的改變人們的生活，使用深度學習來做自動駕駛、金融服務、安全防衛等等業務的公司如雨後春筍般紛紛冒出。一點都看不出人工智慧凜冬的跡象。但實際上，在人工智慧漫長的 70 年歷史里，曾經歷過好幾個低谷時期。所以說，眼下的人工智慧即將出現新的低谷時期，也不是沒有可能。讓我們看看 Filip Piekniewski 是怎麼斷言人工智慧凜冬即將到來呢？

更多乾貨內容請關注微信公眾號「AI 前線」，（ID：ai-front）

多年來，深度學習一直處於所謂的人工智慧革命的前沿，許多人都相信，它是將我們帶到技術奇點的奇蹟世界的「銀彈」(通用人工智慧)。在 2014 年、2015 年和 2016 年，很多企業下了許多賭注，那幾年深度學習正在開疆拓土，如 Alpha Go 等。像 Tesla 這樣的公司，他們的 CEO 宣布全自動駕駛汽車指日可待，Tesla 甚至開始向客戶兜售這種選項（將在未來軟體更新中啟用）。

現在，我們已經到了 2018 年中期，情況已經發生了變化。從表面上看一切一如既往，NIPS 大會門票依舊洛陽紙貴，企業公關仍然在所有的新聞發布會上頻頻提及人工智慧。Elon Musk 仍然承諾自動駕駛汽車的前途是不可限量的，Google CEO 還在不斷重複 Andrew Ng 的口號：「對比電能，人工智慧能夠發揮的價值要大得多。（AI is bigger than electricity.）」

但是，這個美麗的童話開始出現了裂縫，正如我以前在舊文 AI And The Ludic Fallacy 中所預測的那樣，這條裂縫最明顯的地方出現在自動駕駛——這項在現實世界中得到實際應用的技術。

深度學習：塵埃落定

當 ImageNet 的問題得到有效解決時（注意，這並不意味著計算機視覺問題得到解決），該領域的許多傑出研究者（甚至包括沉靜寡言的 Geoff Hinton）都在積極地接受新聞採訪，在社交媒體上打造聲勢（如 Yann Lecun、Andrew Ng、Fei Fei Lee 等）。總的來說，我們正處在一場巨大的革命前夜，從現在開始，革命的腳步只能加速了。

好幾年已經過去了，這些人在 Twitter 上變得不那麼活躍了，如 Andrew Ng 在 Twitter 上發推的情況如下：

• 2013 年：日均 0.413 條推文；
• 2014 年：日均 0.605 條推文；
• 2015 年：日均 0.320 條推文；
• 2016 年：日均 0.802 條推文；
• 2017 年：日均 0.668 條推文；
• 2018 年：日均 0.263 條推文（截止到 5 月 24 日）。

這也許是因為 Andrew 過於離譜的言論現在受到社區更多的反思，正如下面的推文所示：

顯然，公眾這種激昂亢奮的情緒已經相當明顯地減弱了，稱讚深度學習是人工智慧的終極演算法的推文比以前大為減少，論文的論調變得不那麼「革命」了，現在更多提的是「進化」。自從 Alpha Go Zero 出世以來，DeepMind 已經沒有再次顯示出任何驚人的跡象了。OpenAI 也沉寂許久，它最後一次在媒體大出風頭是在 Dota2 中擊敗頂級人類選手，我認為他們是想營造出與 Alpha Go 一樣的轟動，但很快旋踵即逝了。

事實上，這個時候開始有些文章提到，甚至 Google 實際上也不知道如何處理 DeepMind，因為它們的結果顯然不如最初預期的那樣注重實際……至於那些名揚四海的研究人員，他們通常會與加拿大或法國的政府官員會晤，以確保他們未來的資助，Yann Lecun 甚至辭去 Facebook 的研究負責人的職位，改任 Facebook 人工智慧首席科學家。

這種從有財有勢的大公司到政府資助的研究機構的逐漸轉變，讓我意識到這些公司（此處指 Google 和 Facebook）對這類研究的興趣實際上逐漸減弱了。這些都是早期的徵兆，並沒有什麼大聲疾呼，有的只是身體語言。

深度學習：沒有擴展性

關於深度學習的一個重要的口號是，它幾乎能夠毫不費力地擴展。我們在 2012 年就有了 AlexNet，它有大約 6 千萬的參數，我們現在可能有至少是參數是這個數 1000 倍的模型，對吧？我們可能會問，但問題是，這些東西真的有 1000 倍的能力嗎？那有沒有 100 倍的能力呢？OpenAI 的一項研究派上了用場：

因此，就計算機視覺的應用角度來看，我們看到 VGG 和 Resnets 在計算資源應用上的一個數量級之後是飽和的（就參數的數量而言，實際上較少）。Xception 是 Google Inception 架構的一種變體，實際上它在 ImageNet 的表現略顯出色，可以說實際上也略優於其他產品，因為 AlexNet 基本上解決了 ImageNet 的問題。因此，在比 AlexNet 算力提高 100 倍的情況下，我們在計算機視覺方面，或者準確地說，是圖像分類，能夠幾乎讓架構趨於飽和。

所有大型網路搜索引擎玩家都在神經機器翻譯（Neural machine translation，NMT）上付出了巨大的努力，也難怪它需要所能獲取的計算資源（但是 Google Translate 仍然很槽糕，儘管取得了較好的成績）。上圖中最新的三個點，有趣地顯示了 DeepMind 和 OpenAI 應用於遊戲的強化學習相關的項目。尤其是 AlphaGo Zero 和稍微更通用的 AlphaZero，會要求獲取荒謬的計算資源，但並不適用於真實世界的應用程序，因為需要大量的計算資源來模擬和生成這些數據匱乏的模型所需的數據。

好的，我們現在可以在幾分鐘之內，而不是幾天就能訓練 AlexNet，但是，我們能在幾天內訓練出一個 1000 倍大的 AlexNet，並得到質量更好的結果嗎？答案顯然是不能……

所以實際上，這張圖是為了顯示深度學習的擴展性有多好，但實際上表明擴展性有多差。我們不能僅僅通過擴展 AlexNet 別得到更好的結果：我們必須處理特定的體系結構，在沒有更多數量級的數據樣本的情況下，有效的額外計算不會帶來太大的效果，而這種量級的數據樣本實際上僅在模擬的遊戲環境下可用。

自動駕駛：多事之秋

迄今為止，深度學習的聲譽遭到最大的打擊來自自動駕駛汽車的領域（我很早就預料到這點，2016 年我曾發表博文 AI And The Ludic Fallacy，闡述了這一觀點）。最初，人們認為端到端的深度學習能夠以某種方式來解決這個問題，這也是 Nvidia 特別大力提倡的觀點之一。

我認為這個世界上沒有人還相信這一點，儘管我有可能錯了。看看去年加州車管局發布的 2017 年自動駕駛脫離報告（譯註：在加州 DVM 法規中，對於自動駕駛測試定義了一個專用名詞「脫離（disengagement）」，以此來衡量自動駕駛技術的成熟度。自動駕駛模式中的「脫離」是指在自動駕駛測試中，系統無法進入自動駕駛模式或終止自動駕駛模式改由人工控制的情況，即車輛駕駛員必須手動接管駕駛的情況），Nvidia 的自動駕駛汽車在沒有「脫離」的情況下，只能行駛不超過 10 英里。

在我的另一篇文章 Autonomous Vehicle Safety Myths And Facts, 2018 Update 中，我討論了這方面的總體情況，並與人類駕駛員的安全性進行了比較。自 2016 年以來，Tesla 的自動駕駛系統發生了幾起事故，其中有些事故還是致命的。按理說，Tesla 的自動駕駛系統不應該與自動駕駛汽車相混淆，但至少在核心技術上，它依賴的是同一種技術。到今天為止，除了偶爾出現的駭人錯誤，它仍然不能在十字路口停車，不能識別紅綠燈，甚至不能在環狀交叉路口轉彎。那是在 2018 年 5 月，就是 Tesla 許下將在海岸沿線實現自動駕駛的承諾的幾個月後（儘管傳言他們已經嘗試過，但還不能完全實現，因為還沒有超過 30 次「脫離」，因此那個承諾無法實現）。就在幾個月前（2018 年 2 月），Elon Musk 在一次電話會議上被問及海岸沿線行駛的問題時，他再三重申道：

我們本來可以做到海岸沿線的自動行駛，但它需要太多的專用代碼來有效地完成這一遊戲，或者讓它稍微弱一些，使它可以用於一條特定的路線，但這不是通用的解決方案。因此，我認為我們可以重複它，但如果它不能用於其他路線的話，這就不是真正意義上的解決方案。

我為我們在神經網路方面取得的進展感到非常興奮。這取得的一點進展，使它看上去不像是進步，它的進展不是呈指數級增長的東西，似乎沒有太多的進展，但突然間，讓人們驚嘆：哇！它讓人們覺得這是一個蹩腳的司機。實際上，它是一個很好的司機。人們會感嘆說：不會吧，它開得怎麼可以這麼好？牛逼啊！

那麼，讓我們看看上面那張 OpenAI 的圖表，我似乎並沒有看到那個呈指數級增長的進展。在這個領域所有大玩家，都沒能做到出現脫離之前的行駛距離呈現這種呈指數級增長的進展。實質上，上述說法應該被解釋為：「我們目前沒有能夠在美國海岸沿線安全駕駛的技術，但如果我們真的想的話，我們可以偽造它。我們深切希望，神經網路能力的某種指數跳躍將會很快就發生，好將我們從恥辱和大量的官司中解救出來。」

但迄今為止，人工智慧泡沫中最大的刺點就是 Uber 自動駕駛汽車在亞利桑那州撞死一名行人的事故。從 NTSB 的初步報告來看，我們可以看到一些令人震驚的聲明：

除了本報告中顯而易見地提到的總體系統設計失敗之外，令人驚訝的是系統耗費很長時間來試圖確定它前面看到的究竟是什麼（無論是行人、自行車、汽車還是其他任何東西），而不是在這種情況下做出唯一合乎邏輯的決定，即確保不會觸及這些目標。原因有幾點：首先，人們往往在事後用言語表達他們的決定。因此，某人通常會說：「我看到一個騎自行車的人，所以我左轉避開他。」大量的心理物理學文獻提出了一個截然不同的解釋：「人類通過神經系統的快速感知循環迅速將其解釋為障礙物，並採取行動避免與它觸及，好幾秒鐘之後才意識到發生了什麼，並進行口頭解釋。」我們每天做的決定有很多都不是用語言表達的，而且駕駛這一行為也包含了很多這樣的決定。

語言表達的成本很高，需要時間，而現實往往並不能提供所需的時間。這些機制已經進化了十億年，保護了我們的安全，而駕駛環境（儘管是現代事物）則利用了許多這樣的反射。由於這些反射並沒有專門為駕駛而進化，因此它們可能會引發錯誤。對汽車的蜂鳴聲引起的膝躍反射（也稱膝跳反射，Knee Jerk Reaction）可能導致了許多車禍事故和死亡事故。但是我們對三維空間的理解、速度、預測行為的能力，通過我們的道路穿過的物理對象的行為是原始的技能，這些原始技能早在一億年前就像今天一樣有用，由於進化的緣故，它們磨鍊得非常好。

但是因為這些東西大多不易用語言表達，所以它們很難衡量，因此我們根本沒法在這些方面優化我們的機器學習系統……現在，這將有利於 Nvidia 的端到端方法：學習圖像→動作映射，跳過任何語言的表達環節，在某種程度上，這是做到這一點的正確的方式，但是……問題在於輸入空間是令人難以置信的高維空間，而動作空間是非常低維的。因此，與輸入的信息量相比，「標籤」（讀出）的數量非常小。在這種情況下，習得虛假的關係是非常容易的，正如由深度學習中的對抗樣本舉例證明的那樣。

我們需要一個不同的範式，並假設對行為的整個感知輸入的預測作為第一步，使系統能夠提取世界的語義，而不是虛假的相關性（更多詳情可參見我提出的第一個被稱為預測視覺模型（Predictive Vision Model）的架構，見博文：Predictive Vision In A Nutshell ）。

事實上，如果說我們從深度學習的爆發中學到了什麼東西，那就是（一萬維度）圖像空間中有足夠多的失真圖案（spurious patterns），它們實際上會在許多圖像上泛化，並留下印象，比如我們的分類器實際上理解他們所看到的東西。即使那些在這一領域投入大量資金的頂尖研究人員也承認，事實並非如此。

Gary Marcus：反對炒作

我要提到的是，更多的知名人士認識到了這種傲慢自負，並有勇氣公開炮轟。該領域中最活躍的人士之一是 Gary Marcus。雖然我不認為我同意 Gary 在人工智慧方面提出的所有觀點，但我們一致同意，人工智慧還沒有深度學習所宣傳的那麼強大。事實上，相距甚遠。他寫過關於深度學習的優秀博文及論文：Deep learning: A critical appraisal （https://arxiv.org/abs/1801.00631） 、In defense of skepticism about deep learning（https://medium.com/@GaryMarcus/in-defense-of-skepticism-about-deep-learning-6e8bfd5ae0f1） ，在文中，他非常深入細緻地解析了深度學習的炒作。我很尊重 Gary，他的舉止就像一個真正的科學家，而大多數所謂的「深度學習界的明星」，實際上表現就跟廉價明星一樣。

結語

預測人工智慧低谷就像預測股市崩盤一樣，根本就不可能準確地預測何時發生，但幾乎可以肯定的是，它會在某個時候出現。就像在股市崩盤之前，會有跡象表明股市即將崩盤，但這種說法太過強烈，以至於在顯而易見的情況下很容易忽視掉它們。在我看來，已經有明顯的跡象表明，深度學習的熱度正在大幅下降（可能在人工智慧中，因為這一術語被企業宣傳所濫用），這些跡象就在眼前，但人們卻被日益激烈的描繪所遮蓋了雙眼。那個低谷究竟有多「深」？我不知道。接下來會發生什麼？我也不知道。但我很肯定它會到來，也許會更早而不是更晚。

原文鏈接：

https://blog.piekniewski.info/2018/05/28/ai-winter-is-well-on-its-way/

今日薦文

商湯科技完成6.2億美金C+輪融資，估值45億美金！

活動推薦

Google 如何選用育留？蘇寧 IT 副總裁如何做決策？美團高速成長的秘訣？……繼 QCon、AS 等「技術硬實力」大會後，InfoQ 又策划了 GTLC 全球技術領導力峰會。GTLC 將於 6 月 8-9 日在北京千禧大酒店舉辦，邀請了程浩、喬新亮、梁寧、熊飛、張溪夢等 30+ 位行業大咖共享 10+ 年技術管理經驗，旨在為 CTO、技術 VP、技術團隊 Leader、技術項目負責人等對領導力感興趣的技術人提供一個學習交流、提升視野與拓展人脈的平台。

點擊「閱讀原文」或識別圖中二維碼了解話題詳情，大會倒計時 16 天，使用折扣碼「AIFRONT」專享 8 折優惠。有任何問題歡迎諮詢票務經理 Joy，電話：13269078023（同微信）

面向17W+AI愛好者、開發者和科學家，每周一節免費AI公開課，囊括上萬人的AI學習社群，提供最新AI領域技術資訊、一線業界實踐案例、搜羅整理業界技術分享乾貨、最新AI論文解讀。回復「AI前線」、「TF」等關鍵詞可獲取乾貨資料文檔。

推薦閱讀：