鯨准研究院 | 人工智慧歷史之AI晶元元年回顧

AI晶元是怎麼回事：近兩年熱起來的AI晶元是能運行AI應用的晶元，還是傳統晶元加了AI功能？為什麼各路人馬都開始做晶元了，這不是晶元廠商的生意嗎？

近期受「中興事件」熱度影響，AI晶元方面的新聞也顯得格外集中。各方湧入之際，技術阻隔讓人只聞熱度不解其意。本文力圖化解專業名詞障礙，以2017晶元元年的巨頭戰爭入手，簡略回顧這段AI晶元歷史中有代表性的故事，以助讀者一窺演算法與晶元在人工智慧發展中的身影。

————————————————————

作者：王麗萌

指導：譚瑩

. 01 .人工智慧的發展得益於晶元技術的發展晶元是未來人工智慧發展的基礎

人工智慧 (Artificial Intelligence，以下或簡稱AI）是開發模仿人類使用大腦去做一些事情的軟體的方法和概念的合集。這箇舊領域近年來的快速發展很大程度上得益於晶元技術多年的積累，如果不是晶元技術已經能夠給大規模機器學習提供足夠的處理能力，我們就無法看到戰勝人類頂尖棋手的AlphaGo。

晶元技術的發展是人工智慧發展的必要條件 ，晶元代表著算力。人工智慧的發展有幾大重要支柱，包括數據（事實或觀察的結果）、演算法（解決問題的方法，如深度學習演算法）和算力（運算能力）。從數據方面，互聯網時代下大數據高速積累，需要運行的數據量驟增，而現有算力難以匹配；從演算法方面，即使存在邏輯上可用的演算法，也需要有足夠算力才能處理數據樣本、訓練機器。由於算力的不可或缺和通信應用（智能手機等）增長的放緩，人工智慧的發展也將成為晶元技術進步的主要驅動力。

從2016年開始，人工智慧相關的晶元越來越熱。傳統晶元公司都有所布局，很多軟體和互聯網公司紛紛進入，初創公司的估值越來越高。

2017年可謂AI晶元元年，是過去的2017年人工智慧方向最受關注的行業熱點。

進入2018年，AI晶元持續火熱，預計這股熱潮也將長時間影響人工智慧領域。

2017年4月，Google公布了一篇即將在ISCA2017上發表的論文：「In-Datacenter Performance Analysis of a Tensor Processing Unit」，終於公開了做AI晶元的細節，使得這篇學術論文得到媒體的極大關注，也揭開了2017年AI晶元熱點事件的序幕。回顧Google的這顆AI晶元，要從三年前開始。

起因——數據中心能耗大，嘗試用機器學習演算法來解決實際問題，實踐驗證可行

在新加坡舉辦的Datacenter Dynamics 2014會議上，Google介紹了如何利用機器學習和人工智慧進一步改進數據中心的能效。

公式：

衡量數據中心的能效指標PUE=數據中心總設備能耗/IT設備能耗

背景：

數據中心規模的快速增長使得能源效率優化越來越重要，但使用傳統的工程公式難以準確推導數據中心的效率，在此瓶頸下Google決定利用機器學習神經網路演算法。神經網路是一類機器學習演算法，它模擬了神經元之間相互作用的認知行為，用計算機的方式去模擬人腦。

結論：

實踐驗證了機器學習方法可以利用現有的感測器數據來模擬數據中心能源效率優化，並能實現10%-15%的節能，而且機器學習可以告知如何優化數據中心的能效，包括模擬數據中心的參數配置評估、能效評估，並確定優化方案等，是一種非常有效的運營利器。

演算法溯源：

神經網路演算法最初產生的目的是製造能模擬大腦的機器，人們想嘗試設計出模仿大腦的演算法。這是一種古老的演算法，並且在90年代的後期沉寂了一段時間，其中一個原因是這種演算法的計算量偏大，算力不足。大概由於近些年計算機的運行速度變快，才足以真正運行起大規模的神經網路，對許多應用來說是最先進的技術，能很好地解決不同的機器學習問題，現在成為許多機器學習問題的首選。

對於人工智慧，從某種意義上來說，如果我們能找出大腦的學習演算法，然後在計算機上執行大腦學習演算法或與之相似的演算法，也許這將是我們向人工智慧邁進做出的最好的嘗試。

演算法需要算力——針對特定演算法，量身打造TPU晶元

從2015年以來，Google的數據中心部就署了TPU（Tensor Processing Unit），將其插放入數據中心機櫃的硬碟驅動器插槽中使用。TPU是一個非常專用的處理器，該晶元針對機器學習專門優化，因此可以使用更為強大的機器學習演算法來完成快速計算。專用處理器的設計基於對目標應用的理解，因為Google更了解數據中心的需求，所以Google的TPU才會引起這麼多關注。

神經網路的工作過程主要有兩個階段，分別是訓練和推理。訓練階段一般使用GPU（目前GPU還是訓練的最好平台），而推理階段使用CPU和GPU都不適合，所以Google設計了TPU。

TPU是一個定製的ASIC（Application Specific Integrated Circuit，專用集成電路）架構處理器，從硬體層面適配TensorFlow深度學習系統，應用於加速神經網路的推理階段，可以支持一些常見的神經網路。

TensorFlow是使用數據流和圖來做數值計算的開源軟體，用於機器智能。主要是由Google Brain團隊開發用於機器學習和深度神經網路的研究，能夠應用於廣泛的領域。

因為TPU晶元面向的應用是特定的演算法，即確定性執行模型（deterministic execution model），所以採用了一個專用處理器或者硬體加速器的架構，沒有使用傳統CPU和GPU的一些技術。這樣做比在GPU架構上改進要激進得多，與之相應，實現的效率也高得多。

2016年3月舉行的舉世矚目人機大戰里，在最終以4:1擊敗圍棋世界冠軍李世石的AlphaGo身上，Google使用了TPU晶元。

2016年6月，Google透露研發了一款在雲端使用的專用AI晶元TPU（即第一代TPU）。

就此，傳統軟體巨頭Google的這顆AI晶元從幕後走到台前，AI晶元競爭不限於傳統晶元廠商，最大的獨立GPU晶元廠商Nvidia上場。

2017年5月，GTC2017大會，Nvidia CEO黃仁勛發布了Volta架構GPU，股票大漲。

在現有的晶元中，GPU在人工智慧應用中的其中一部分（深度學習神經網路的訓練階段）相對更適合。隨著人工智慧發展驅動晶元技術進步，GPU扮演的角色可能是被改進或被其他類型的晶元替代。

多年來靠GPU一條產品線獨步天下的Nvidia，在最新的Volta架構強調對深度學習的支持，增加了專門為深度學習設計的Tensor Core，軟硬體的關鍵參數在數據中心的訓練方面很有優勢。相比Google的TPU，這款AI晶元的設計中規中矩。

除發布晶元外，Nvidia也宣布開源DLA（Deep Learning Accelerator，深度學習加速器）。對於整個晶元產業來說，開源事件將會產生深遠影響，這意味著更多的初創公司和研究機構可以基於此開發推理加速器，促進AI的傳播，從而也進一步促進市場對GPU晶元的需求。

Nvidia決定開源可能有兩個原因：一是決定專註於加速模塊，不做種類過多的終端晶元（Nvidia曾試水移動設備晶元推出Tegra系列並失敗）；二是迫於Google TPU晶元在推理方面的優勢表現，為應對壓力而作出決定（DLA來自Nvidia自動駕駛SoC中的一個模塊，最初並不是以開源IP為目的而設計的，且9月開源只公開了部分硬體代碼和相應的驗證環境，離真正能用有較大差距）。

2017年5月，在Google I/O大會上，Google公布了第二代TPU，並不對外銷售，以TPU Cloud的方式供大家使用。

2017年9月，晶元界的重要會議Hot Chips會議召開，AI相關內容佔了很大比例，微軟的BrainWave、百度的XPU、Jeff Dean的Keynote都是媒體的熱點話題。此次會議上，Google介紹了TPU和TPU2的情況並將其作為新的計算生態中重要的一環。

2017年10月，Intel發布Intel Nervana Neural Network Processor（Intel神經網路處理器晶元，以下簡稱NNP），第一代NNP代號「Lake Crest」，只提供給小部分合作夥伴，未能出貨。

回顧2017年的其他晶元巨頭動作，Intel收購了多家AI晶元相關領域公司 ，AMD則沒有那麼積極。這一年裡，晶元元年的主要戰事發生在傳統軟體巨頭Google和晶元巨頭Nvidia之間，發生在不同類型的公司、不同架構的AI晶元之間，這一跨界競爭或許意味著AI晶元不應被看作「算力代表、算力越大越好」的獨立底層硬體，而應該看作是實現應用目標中環環相扣的一部分。最終在人工智慧的應用情況是系統的結果，晶元本身只是一小部分，其優劣要考慮整個軟硬體生態的解決方案效果。因此，擁有應用、技術和資源優勢的科技巨頭在定製硬體甚至晶元方面或常態化。

2018年3月，GTC2018大會上，Nvidia發布了迄今最大的GPU，暫定自動駕駛暫停研發，隨後股價下跌3.8%。

2018年5月，在Google I/O大會上，Google發布了TPU3。

同月，Intel人工智慧開發者大會（AI DevCon 2018）發布了第二代NNP，代號「Spring Crest」，將是Intel第一款商業 NNP 晶元，預計在2019年發貨。

主要參考材料：網路公開報道，唐杉博士（公眾號：StarryHeavensAbove），Andrew NG機器學習課程等

文中如有錯誤之處，敬請指正，關於【人工智慧】領域交流，

歡迎聯繫本文作者：王麗萌（Wechat：18301232919）

編輯: 陳文洋

【轉載須知】

1、本報告為鯨准(ID:rong36kr)旗下專業的數據研究分析機構【鯨准研究院】原創作品，受《著作權法》保護，依法享有彙編權及注釋權；

2、轉載請聯繫微信：wuyaoguaiguai，取得授權後方可轉載；

3、禁止商用轉載，禁止二次編輯轉載。