AI晶元的新動向

1 人贊了文章

在人工智慧（AI）領域，由於具有先天技術和應用優勢，英偉達和谷歌幾乎佔據了AI處理器領域80%的市場份額，其他廠商，如英特爾、特斯拉、ARM、IBM以及Cadence等，也在人工智慧處理器領域佔有一席之地。最近幾年，我國國內也湧現出了一批AI晶元公司，如地平線、深鑒科技、中科寒武紀等。

從應用場景看，AI晶元主要有兩類，一是部署在以數據中心為代表的雲端，其特點是高性能，功耗隨之也偏高；另一個是部署在消費級和物聯網的終端，其最大特點就是低功耗。

目前，AI晶元的大規模應用場景主要還是在雲端。在雲端，互聯網巨頭已經成為了事實上的生態主導者，因為雲計算本來就是巨頭的戰場，現在所有開源AI框架也都是這些巨頭髮布的。在這樣一個生態已經固化的環境中，留給創業公司的空間實際已經消失。而在終端上，由於還沒有一統天下的事實標準，晶元廠商可以八仙過海各顯神通。目前，AI晶元在終端的應用場景主要還是手機，各大手機處理器廠商都在打AI牌，生怕錯過了熱點。而隨著5G和物聯網的成熟，廣闊的市場空間，為終端側的AI晶元應用提供了巨大的機遇，而由於物聯網終端數量巨大，應用場景繁多，而所有終端幾乎都有一個共同的需求和特點，那就是低功耗，從而使其能長時間的穩定工作，不需要人為干預和維護，以降低運營維護成本。雲端AI晶元已經被各大巨頭把控，而終端側又有著巨大的發展空間，這使得產學研各界的眾多企業和科研機構在最近兩年紛紛投入人力和財力，進行低功耗AI晶元的研發，以期在競爭中佔得先機。

VLSI 2018上的中國風

前些天，在美國檀香山召開的2018 國際超大規模集成電路研討會（2018 Symposia on VLSI Technology and Circuits，簡稱 VLSI）上，我國清華大學Thinker團隊發表了兩款極低功耗AI 晶元（Thinker-II 和 Thinker-S）的相關論文，以及一種支持多種稀疏度網路和線上可調節功能的人工神經網路處理器STICKER。之所以推出以上3款AI晶元，主要基於以下行業背景和需求：深度學習的突破性發展帶動了機器視覺、語音識別以及自然語言處理等領域的進步，然而，由於深度神經網路巨大的存儲開銷和計算需求，功耗成為 Deploy AI Everywhere 的主要障礙，人工智慧演算法在移動設備、可穿戴設備和 IoT 設備中的廣泛應用受到了制約。

為克服上述瓶頸，清華大學 Thinker 團隊對神經網路低位寬量化方法、計算架構和電路實現進行了系統研究，提出了支持低位寬網路高能效計算的可重構架構，設計了神經網路通用計算晶元Thinker-II和語音識別晶元Thinker-S。Thinker-II 晶元運行在 200MHz 時，其功耗僅為10mW；Thinker-S晶元的最低功耗為141微瓦，其峰值能效達到90TOPs/W。這兩款晶元有望在電池供電設備和自供能IoT設備中廣泛應用。

Thinker-S

Thinker-S中設計了一種基於二值卷積神經網路和用戶自適應的語音識別框架，同時利用語音信號處理的特點，提出了時域數據復用、近似計算和權值規整化等優化技術，大幅度優化了神經網路推理計算。Thinker-S 晶元採用 28nm 工藝，單次推理計算中每個神經元上消耗的能量最低僅為 2.46 皮焦。

圖：Thinker-S 晶元架構

Thinker-Ⅱ

該晶元中設計了兩種二值/三值卷積優化計算方法及硬體架構，大幅降低了演算法複雜度、有效去除了冗餘計算。此外，針對由稀疏化帶來的負載不均衡問題，設計了層次化均衡調度機制，通過軟硬體協同的兩級任務調度，有效提升了資源利用率。Thinker-II 晶元採用 28nm 工藝，通過架構和電路級重構，支持神經網路通用計算。

圖：Thinker-II 晶元架構

STICKER神經網路加速器

通過動態配置人工智慧晶元的運算和存儲電路，實現了對不同稀疏度神經網路的自適應處理，大幅提升了人工智慧加速晶元的能量效率。該論文作為人工智慧處理器分會場的首篇論文，得到了本屆VLSI技術委員會的高度認可，一同入選的論文還包含了IBM, Intel, Renesas等公司的相關工作。

圖：STICKER神經網路加速器硬體架構

據悉，STICKER是世界首款全面支持不同稀疏程度網路，且同時支持片上網路參數微調的神經網路加速晶元。通過片上自適應編碼器、多模態計算單元以及多組相連存儲架構技術，實現了針對不同稀疏程度神經網路的動態高效處理，大幅提升能量效率，並減少晶元面積。針對傳統神經網路加速器無法片上調整網路參數以適應物聯網應用場景中目標及環境多變的問題，首次使用了片上微調稀疏神經網路參數的技術，以極低的開銷實現片上神經網路參數的自適應調整。相比於傳統加速器，該工作極限能效高達62.1 TOPS/W（為目前有報道的8bit人工智慧處理器的最高值）。

圖：Sticker晶元照片

KAIST的DNPU

韓國科學技術院KAIST的Dongjoo Shin等人在ISSCC 2017上提出了一個針對CNN和RNN結構可配置的加速器單元DNPU，除了包含一個RISC核之外，還包括了一個針對卷積層操作的計算陣列CP和一個針對全連接層RNN-LSTM操作的計算陣列FRP，DNPU支持CNN和RNN結構，能效比高達8.1TOPS/W。該晶元採用了65nm CMOS工藝。

ENVISION

比利時魯汶大學的Bert Moons等在2017年IEEE ISSCC上提出了能效比高達10.0TOPs/W的、針對卷積神經網路加速的晶元ENVISION，該晶元採用28nm FD-SOI技術，包括一個16位的RISC處理器核，1D-SIMD處理單元進行ReLU和Pooling操作，2D-SIMD MAC陣列處理卷積層和全連接層的操作，還有128KB的片上存儲器。

SCALLDEEP

普渡大學的Venkataramani S等人在計算機體系結構頂級會議ISCA 2017上提出了針對大規模神經網路訓練的人工智慧處理器SCALLDEEP。該論文針對深度神經網路的訓練部分進行針對性優化，提出了一個可擴展伺服器架構，且深入分析了深度神經網路中卷積層，採樣層，全連接層等在計算密集度和訪存密集度方面的不同，設計了兩種處理器core架構，計算密集型的任務放在了comHeavy核中，包含大量的2D乘法器和累加器部件，而對於訪存密集型任務則放在了memHeavy核中，包含大量SPM存儲器和tracker同步單元，既可以作為存儲單元使用，又可以進行計算操作，包括ReLU，tanh等。論文作者針對深度神經網路設計了編譯器，完成網路映射和代碼生成，同時設計了設計空間探索的模擬器平台，可以進行性能和功耗的評估，性能則得益於時鐘精確級的模擬器，功耗評估則從DC中提取模塊的網表級的參數模型。該晶元採用了Intel 14nm工藝進行了綜合和性能評估，峰值能效比高達485.7GOPS/W。

Myriad X

英特爾為了加強在人工智慧晶元領域的實力，收購了機器視覺公司Movidius。Movidius在2017年推出了Myriad X，這是一款視覺處理器(VPU，visionprocessing unit)，是一款低功耗的SoC，用於在基於視覺的設備上加速深度學習和人工智慧——如無人機、智能相機和VR / AR頭盔。

Myriad X是全球第一個配備專用神經網路計算引擎的片上系統晶元（SoC），用於加速設備端的深度學習推理計算。該神經網路計算引擎是晶元上集成的硬體模塊，專為高速、低功耗且不犧牲精確度地運行基於深度學習的神經網路而設計，讓設備能夠實時地看到、理解和響應周圍環境。引入該神經計算引擎之後，Myriad X架構能夠為基於深度學習的神經網路推理提供1TOPS的計算性能。

百花齊放

一些傳統AI服務廠商將自己的服務進行垂直拓展，比如的自然語音處理廠商雲知聲從自己的傳統語音業務出發，開發了UniOne語音AI晶元，用於物聯網IoT設備。相對於語音市場，安防更是一個AI晶元扎堆的大產業，如果可以將自己的晶元置入攝像頭，是一個不錯的場景，也是很好的生意。包括雲天勵飛、海康威視等廠商都在大力開發安防領域的AI嵌入式晶元，而且已經完成了一定的商業化部署。

AI晶元發展趨勢

在計算機體系結構頂級會議ISSCC 2018，「Digital Systems: Digital Architectures and Systems」分論壇主席Byeong-GyuNam對AI晶元，特別是深度學習晶元的發展趨勢做了概括，去年，大多數論文都在討論卷積神經網路的實現問題，今年則更加關注兩個問題：一，如果更高效地實現卷積神經網路，特別是針對手持終端等設備；二，關於全連接的非卷積神經網路，如RNN和LSTM。

為了獲得更高的能效比，越來越多的研究者把精力放在了低精度神經網路的設計和實現上，如1bit的神經網路。這些新技術使深度學習加速器的能效比從去年的幾十TOPS/W提升到了今年的上百TOPS/W。有些研究者也對數字+模擬的混合信號處理實現方案進行了研究。對數據存取具有較高要求的全連接網路，有些研究者則藉助3D封裝技術來獲得更好的性能。

總之，AI晶元在終端側的發展潛力巨大，且應用場景眾多，品類也多，這就更適合眾多初創的、中小規模AI晶元企業的胃口。相信隨著5G和物聯網的大面積鋪開，低功耗AI晶元將是未來的主要發展方向，只要相關標準能夠確定，則商機無限。