除了深度學習，你還應該關注這6大AI領域

提煉出一個能被普遍接受的適合於人工智慧（AI）的定義已經成為最近多次的話題之爭。一些人把AI重新貼上「認知計算」或者「機器智能」的標籤，而有的則不恰當地將AI和「機器學習」混為一談。這部分是因為AI不是一種技術。實際上它是包含了從機器人到機器學習等許多學科的一個廣泛領域。我們大多數人斷言，AI的終極目標是開發出能執行以往屬於人類智能範疇的任務以及認知功能的機器。為了實現這一點，機器必須能自動學習這些能力而不是對每一台機器進行端到端的顯式編程。

從無人車到語音識別與合成，過去10年AI領域取得的進展之多令人讚歎。在此背景下，AI已經成為越來越多公司與家庭的討論話題，他們認為AI作為一項技術不再需要20年的時間才能到來，而是認為這個東西現在已經在影響著自己的生活。的確，熱門媒體幾乎每天都會報道AI，而技術巨頭都在接二連三地闡述自己重大的長期AI戰略。儘管若干投資者和既有企業渴望理解如何在這個新世界中捕捉價值，但絕大部分還在抓破腦袋想搞清楚這一切到底意味著什麼。與此同時，政府正在與社會自動化的潛在影響作鬥爭（參見奧巴馬的告別演說）。

考慮到AI會影響到整個經濟，這場對話的參與者代表了開發或使用AI系統的各種意圖，不同的理解水平以及不同經驗程度。同樣地，一場有關AI的討論，包括問題，以及據此獲得的結論和建議等，這些東西應該以數據和事實而不是猜測為基礎，這一點是至關重要的。發表的研究、技術新聞公告、推測性的評論以及思想實驗把結果的潛在影響瘋狂地外推實在是太容易了（有時候是太令人興奮了！）。

以下是AI在對未來數字化產品和服務潛在影響能力方面尤其值得注意的6個領域。我將描述它們分別是什麼，為什麼重要，目前是如何應用的，同時還將提供攻關這些技術的公司和研究者的清單（但絕對不是詳盡的）。

1、強化學習（RL）

強化學習是一種通過試錯法學習的範式，其靈感源自人類學習新任務的方式。在典型的強化學習設定裡面，一個代理會承擔在數字化環境中觀察其當前狀態的任務，並採取能讓自己被設定的累計長期獎勵最大化的動作。作為每次動作的結果，代理從環境接收反饋，這樣它就可以知道動作是促進還是妨礙了自己的進展。一個RL代理因此必須在對環境進行探索以找到累積獎勵的優化策略與探索實現所要達到目標的最佳策略之間做出權衡。這種辦法因為Google DeepMind在玩Atari和圍棋（Alphago）遊戲中的表現而變得流行。RL在現實世界的一個例子是Google數據中心在優化製冷效率當中的應用。Google的RL系統取得了將製冷成本降低40%的效果。在可模擬的環境（比如視頻遊戲）中採用RL代理的一個重要的天然優勢是訓練數據是可以生成的且成本極低。這與有監督的深度學習形成了鮮明對比，後者往往需要昂貴且在現實世界中很難獲得的訓練數據。

應用：多個代理以共同的模型在環境中以自己的實例進行學習，或者通過在相同環境下進行互動和相互學習，學習在像迷宮或者城市街道那樣的3D環境下為無人車進行導航，運用逆向強化學習通過學習某個人物的目標來概括觀察到的行為（比如學習駕駛或者賦予非玩家視頻遊戲角色以類似人類的行為）。

主要研究人員：Pieter Abbeel（OpenAI），David Silver，Nando de Freitas，Raia Hadsell，Marc Bellemare（Google DeepMind），Carl Rasmussen（劍橋大學），Rich Sutton（Alberta），John Shawe-Taylor（倫敦大學學院）等。

公司：Google DeepMind，Prowler.io，Osaro，MicroPSI，Maluuba/微軟，NVIDIA，Mobileye。

2、生成模型

相對於用於分類或回歸分析任務的判別模型，生成模型學習的是訓練例子的概率分布。通過從這一高維分布中採樣，生成模型可以輸出新的類似與訓練數據的例子。這意味著，比方說，基於真實臉部圖像訓練出來的生成模型可以輸出類似臉部的合成圖像。要想了解這些模型如何工作的細節，可參見Ian Goodfellow精彩的NIPS 2016指南文章。他介紹的生成對抗網路（GAN）架構，是目前研究界尤其熱門的方向，因為這種架構提供了一條通往無監督學習的道路。GAN有兩個神經網路：一個是生成器，它會以隨機輸入雜訊作為輸入，接受合成內容（比如圖像）的任務；另一個是鑒別器，它會學習真正的圖像看起來是什麼樣的，然後接受辨別由生成器創造的圖像是真的還是假冒的。對抗訓練可被看成是一個遊戲，在這個遊戲裡面，生成器必須交替學習如何通過噪音來創造出逼真的圖像，逼真到鑒別器再也無法分清真偽的地步。這一框架正在被延伸到許多數據形態和任務當中。

應用：模擬未來可能的時間序列（比如說強化學習的任務規劃）；超清晰圖像；通過2D圖像修復3D結構；對小型的帶標籤數據集進行歸納；從一個輸入推出多個正確結果的軟任務（比如預測視頻的下一幀）；在對話介面（如聊天機器人）中創建自然語言；加密；當並非所有數據都帶標籤時進行半監督學習；藝術風格的變換；合成音樂和語音；圖像修復。

公司：Twitter Cortex，Adobe，Apple，Prisma，Jukedeck*，Creative.ai，Gluru*，Mapillary*，Unbabel。

主要研究者：Ian Goodfellow（OpenAI）, Yann LeCun和Soumith Chintala（Facebook AI Research）,Shakir Mohamed和A?ron van den Oord（Google DeepMind）, Alyosha Efros（Berkeley）等。

3、帶記憶的神經網路

為了讓AI能像我們人類一樣歸納不同的現實世界環境，它們必須能夠不斷學習新任務並記住如何在未來執行所有這些任務。然而，傳統神經網路一般都不能記住此類任務序列。這一缺點的術語叫做災變性失憶（catastrophic forgetting）。之所以會發生這種情況，是因為在一個神經網路中對於解決任務A很重要的權重在該網路隨後受訓解決任務B時會發生變化。

不過有若干強大的架構能賦予神經網路不同程度的記憶功能。這些就包括了長短期記憶人工神經網路（LSTM，遞歸神經網路的派生），這種網路能處理和預測時間序列；為了自行學習複雜數據結構並在其中導航，DeepMind的可微神經計算機結合了神經網路和內存系統，學習的彈性權重合併（elastic weight consolidation）演算法，視之前在任務中的重要性不同，這種演算法可放慢特定權重的學習；漸進性神經網路（progressive neural networks），這種神經網路可以學習任務相關模型的橫向聯繫，從而從此前學過的神經網路中析取出有用的功能來執行新任務。

應用：可歸納到新環境的學習代理；機器臂空子任務；無人車；時間序列預測（比如金融市場，視頻，物聯網等）；自然語言理解和下一個單詞預測。

公司：Google DeepMind，NNaisense（?）, SwiftKey/微軟研究院, Facebook AI Research。

主要研究人員：Alex Graves, Raia Hadsell, Koray Kavukcuoglu（Google DeepMind）, Jürgen Schmidhuber（IDSIA）, Geoffrey Hinton（Google Brain/Toronto）, James Weston, Sumit Chopra, Antoine Bordes（FAIR）。

4、從更少的數據學習，建立更小的模型

深度學習模型因為需要龐大規模的訓練數據才能實現最好性能而引人關注。比方說，讓參賽隊伍挑戰自己的圖像識別模型的ImageNet Large Scale Visual Recognition Challenge（ImageNet大規模視覺識別挑戰賽）擁有120萬張手工標記的訓練圖像，涵括了1000個對象類別。如果沒有大規模的訓練數據，深度學習就沒有辦法集中到優化設置上面，注入語音識別或者機器翻譯之類的那些複雜的任務就無法執行得好。當單個神經網路用於端到端解決一個問題（也就是說，把說話的裸音頻錄音作為輸入然後輸出說話的錄音文本）時，這一數據需求只會越來越高。這跟用多個神經網路各提供中間表示是不一樣的（比如說，裸語音音頻輸入→音素→單詞→錄音文本輸出）。如果我們希望AI系統解決那些訓練數據尤其具有挑戰性、成本又高、又敏感或者獲得又十分耗時的任務時，從較少例子（比如1次或0次學習）形成可學習優化解決方案的模型就很重要了。當針對小規模數據集進行訓練時，其挑戰包括過度擬合，處理異常值的困難，訓練和測試之間不同的數據分布等。一個替代的方案是用一個共同的流程將機器學習模型執行之前任務獲得的知識轉移過去以改善新任務的學習，這被稱為是遷移學習（transfer learning）。

一個相關問題是利用類似數量或者數量顯著減少的參數開發更小型的最新深度學習架構。其優勢包括更有效的分散式訓練，因為數據需要在伺服器之間進行溝通；從雲導出新模型到邊緣設備需要更少的帶寬；可以部署到內存有限的硬體，靈活性得到了改進。

應用：訓練淺層網路學習模仿原本基於大型帶標籤訓練數據而訓練出來的深度網路的表現；參數更少但表現與深度模型相當的架構（比如SqueezeNet）；機器翻譯。

公司：Geometric Intelligence/Uber, DeepScale.ai,微軟研究院, Curious AI Company, Google, Bloomsbury AI。

主要研究人員：Zoubin Ghahramani（劍橋大學）, Yoshua Bengio（蒙特利爾大學）, Josh Tenenbaum（MIT）, Brendan Lake（紐元大學）, Oriol Vinyals（Google DeepMind）, Sebastian Riedel（UCL）。

5、用於訓練與推理的硬體

AI取得進展的一個主要的催化劑是圖形處理單元（GPU）被重新利用到了訓練大型神經網路模型上面。GPU跟按序列進行計算的中央處理單元（CPU）不一樣，它提供了大規模的並行架構，可並發處理多個任務。考慮到神經網路必須處理龐大（有時候還是高維）的數據，在GPU上面訓練要比在CPU上訓練快得多。這就是為什麼自2012年AlexNet（首個在GPU上實現的神經網路）發布以來GPU實際上已經成為淘金熱的鐵鏟原因。這方面NVIDIA一直處於領先地位，把英特爾、高通、AMD以及最近進入的Google甩在了身後。

但是GPU並不是專門用於訓練或推理的硬體；它們原來是為了替視頻遊戲渲染圖像而創造的。GPU具有很高的計算精度，但卻不是隨時之需，同時還遭遇了內存帶寬和數據吞吐量的問題。這為Google之類的大公司內部新型的初創企業和項目開放了競技場，使得後者可以設計和製造特殊的針對高維機器學習應用的晶元。新晶元設計有望實現的改進包括更高的內存帶寬，基於圖的計算而不是基於向量（GPU）或者標量（CPU），更高的計算密度，每瓦特的效率和性能提升。這令人興奮，因為AI系統顯然為它的所有者和用戶帶來了加速回報：更快更高效的模型訓練→更好的用戶體驗→用戶與產品的互動更多→創造出更大規模的數據集→通過優化改進模型性能。因此，那些能以更高計算效率和能效更快訓練並部署好AI模型的人將具備重大優勢。

應用：模型訓練更快（尤其是基於圖的訓練）；以很高的能效和數據效率做出預測；在邊緣層（物聯網設備）運行AI系統；隨時偵聽的物聯網設備；雲基礎設施即服務；無人車、無人機和機器人。

公司：Graphcore,Cerebras, Isocline Engineering, Google（TPU）, NVIDIA（DGX-1）, Nervana Systems（英特爾）, Movidius（英特爾）, Scortex。

主要研究人員：？

6、模擬環境

正如前面討論過那樣，AI系統訓練數據的生成往往是很有挑戰性的。此外，AI如果想在現實世界中發揮作用的話必須推廣到許多情況下也適用。而開發可模擬真實世界的物理結構和行為的數字化環境，可以為我們衡量和訓練AI一般智能提供試驗場。這些環境以裸像素的形式呈現給AI，後者然後採取行動以便解決被設定（或者學會）的目標。在這些模擬環境下訓練可以幫助我們理解AI系統時如何學習的以及如何對它們加以改進，但也能為我們提供有可能轉移到現實世界應用的模型。

應用：學會駕駛；製造；工業設計；遊戲開發；智慧城市。

公司：Improbable, Unity 3D,微軟（Minecraft）, Google DeepMind/Blizzard, OpenAI, Comma.ai, Unreal Engine, Amazon Lumberyard

研究人員：Andrea Vedaldi（牛津大學）

END.

來源：36Kr