人工智慧越來越聰明,但它的「體能」能跟上「腦力」嗎?

人工智慧越來越聰明,但它的「體能」能跟上「腦力」嗎?

來自專欄 Nature自然科研

導語:隨著深度神經網路的持續改進和成長,面對日益增長的計算需求,相應的硬體創新也迫在眉睫。

深度學習是人工智慧(AI)近期發展的前沿陣地。它涉及到靈感來源於生物神經網路的一系列機器學習演算法,可用於在巨量數據中尋找某些模式。通過這些深度神經網路,諸如語音和視覺識別等領域得到了大幅發展;以它們為基礎的計算機程序在一些特定任務中展示了超越人類的能力。

相變存儲器的二維陣列。來源:IBM研究院

這一點在AlphaGo身上得到了淋漓盡致的展示。這個由倫敦DeepMind團隊開發的程序,2016年3月在一場5回合的比賽中擊敗了圍棋世界冠軍李世乭,比分為4比1。現在,AlphaGo唯一的對手只剩下自身的改進版。2017年10月,DeepMind團隊發布了一款升級版本——AlphaGo Zero——它應用了強化學習,並且只通過自己和自己對弈進行訓練。而AlphaGo的能力則建立在對人類專業棋手數百萬步走法的非監督式學習。結果,AlphaGo Zero以100回合全勝的戰績戰勝了擊敗過李世乭的AlphaGo。

深度神經網路涉及多層由數字化的『神經突觸』連接的『神經元』。利用大量數據以及目標任務的正確答案進行訓練後,神經元之間連接的強度或者說權重得到不斷調整,直到最上層網路給出正確的結果。完成訓練的網路配以訓練中得到的連接權重再被應用到全新數據中——這一步被稱為推斷。

深度神經網路近期的成功既得益於演算法和網路架構的進步,也得益於獲取巨量數據變得日趨容易,以及高性能計算機持續發展。當前,具備一流運算精度的深度神經網路的運算量相當大。史弋宇及其同事在《自然-電子學》上發表了一篇Perspective文章(go.nature.com/2lWHPww),他們在文中指出,這代表了深度神經網路面臨的新挑戰,特別是當它們被應用於空間和電池容量有限的手機以及諸如智能感測器、穿戴設備等嵌入式產品時。

圖1:前沿深度神經網路的迭代。深度神經網路的參數量呈現指數式增長。Y軸為對數坐標。

來自美國聖母大學、加州大學洛杉磯分校和中國華中科技大學的研究團隊考察了深度神經網路的精度和規模方面的數據,以及不同硬體平台的運算性能。他們指出,深度神經網路應用於設備端推斷(在嵌入式平台端執行的推斷)的迭代速度和CMOS技術的迭代速度存在差距——而且這個差距在增大。當深度神經網路變得更加精確,它們的尺度(層數、參數量、運算量)顯著擴大。

圖2:ImageNet圖像分類競賽中明星深度神經網路的前5大誤判比率。前5大誤判的比率隨時間呈指數式下降。Y軸為對數坐標。

但是,正如史弋宇及其同事所述,典型的硬體平台——圖形處理單元(GPU)、現場可編程門陣列(FPGA)以及專用集成電路(ASIC)——其計算性能的提升跟不上前沿深度神經網路的設計需求。類似的,承載這些網路的硬體平台的存儲器功耗也跟不上網路尺度的增長。

圖3:運算量與性能密度之間的差距。a, 運算量對比ImageNet圖像分類競賽中領先的深度神經網路的前5大誤判比率。b, 領先的GPU、ASIC和FPGA硬體平台性能密度。為匹配所需運算量,簡單增加晶元面積並不可行。各年只標示了奪冠的深度神經網路。Y軸為對數坐標。

史弋宇及其同事指出,「CMOS技術的迭代對於日益增長的計算強度和功耗方面的需求並沒有提供足夠的支撐,因此需要在架構、電路和器件上加以創新。」基於此,他們繼續檢驗了結合不同架構和演算法創新來彌補上述差距的可行性。

圖4:內存訪問量和內存能效之間存在差距。a, 參數量(與內存訪問量高度相關)對比各年ImageNet圖像分類競賽中領先的深度神經網路的前5大誤判比率。b, 主流存儲技術的內存能效。內存能效在有限能量預算下將無法支持日益增長的內存訪問量。各年只標示了奪冠的深度神經網路。Y軸為對數坐標。

一種方式是放棄傳統的,即存儲單元和計算單元物理上分離的馮·諾依曼計算架構,比如納米級電阻式存儲器(憶阻器件)能夠即用於計算又用於存儲。但器件的應變能力仍然是個問題,限制了運算所需精度。

在本期《自然-電子學》的另一篇文章中(go.nature.com/2IZ9VAq),來自蘇黎世IBM研究院和蘇黎世聯邦理工學院的Manuel Le Gallo及其同事表明,綜合利用電阻式存儲器的內存內運算以及傳統數字運算,或許能解決這個問題。這裡的內存內運算單元,具體來說是一組相變存儲器的二維陣列,它們承載主要的計算任務,而傳統計算單元則迭代提升解算精度。

Le Gallo及其同事通過解算線性方程組,展示了上述被他們稱為「混合精度內存內運算」方案的性能。這種方案之前也被用於訓練深度神經網路。

為AI應用開發專用器件和晶元的發展前景也已引起晶元初創公司的興趣。今年早些時候,據《紐約時報》報道,目前至少有45家初創公司在開發此類晶元,而風險投資者去年在晶元初創公司中的投資超過15億美元,幾乎是兩年前投資數額的兩倍。

這種技術的潛力不可小覷,學術界和產業界的研究人員正在響應機器學習和AI對硬體提出的挑戰——以及隨之而來的機遇。?

natelectron|doi:10.1038/s41928-018-0068-2

原文發布在2018年4月17日的《自然-電子學》社論上

點擊右邊標題閱讀英文原文:Does AI have a hardware problem?


版權聲明:

本文由施普林格·自然上海辦公室負責翻譯。中文內容僅供參考,一切內容以英文原版為準。歡迎個人轉發,如需轉載,請郵件Chinapress@nature.com。未經授權的翻譯是侵權行為,版權方將保留追究法律責任的權利。

? 2018 Macmillan Publishers Limited, part of Springer Nature. All Rights Reserved

思想常新者以自然為其可靠之依據——Nature自然科研ID:Nature-Research


推薦閱讀:

無人車系統模擬相關軟體介紹-Carsim
用PaddlePaddle調戲郵件詐騙犯(完結篇)
2017·菠蘿科學獎 人工智慧主題解讀
可解釋推薦系統:身懷絕技,一招擊中用戶心理
失業潮即將來臨,人工智慧和我們的職業規劃

TAG:AI技術 | 人工智慧 |