我們讓終端側的人工智慧無處不在

02-02

在我們預想中的世界裡，人工智慧將使終端、機器、汽車和萬物都變得更加智能，簡化並豐富我們的日常生活。它們將能夠基於場景認知，進行感知、推理並採取直觀行動，改善目前我們提供給用戶的所有體驗，並解決我們目前更多交給常規演算法所去處理的相關問題。

人工智慧（AI）正是驅動這次革命的技術。你可能聽說過這一願景，或認為人工智慧只和大數據、雲端有關，但Qualcomm的解決方案已具備合適的功耗、散熱和處理效率，讓強大的人工智慧演算法在實際的終端上運行，而這將帶來諸多優勢。

得益於現代終端設備對大量數據的掌握，以及在演算法和處理能力方面的提升，人工智慧成為了快速增長的普遍趨勢。新技術似乎總是出其不意地出現，但在時機成熟並取得關鍵進展之前，研究人員和工程師們通常需要辛苦鑽研很多年。

在Qualcomm，創新是我們的企業文化。我們為研發出大規模改變世界的基礎技術而深感自豪。在人工智慧方面也不例外。我們於十年前就開始了基礎研究，目前我們的現有產品支持了許多人工智慧用例：從計算機視覺和自然語言處理，到各種終端，如智能手機和汽車上的惡意軟體偵測。同時，我們正在研究更廣泛的課題，例如面向無線連接、電源管理和攝影的人工智慧。

我們在機器學習方面有著深厚積累

我們對機器學習的投入有著悠久的歷史。自2007年，Qualcomm開始探索麵向計算機視覺和運動控制應用的機器學習脈衝神經方法，隨後還將其研究範圍從仿生方法拓展到了人工神經網路——主要是深度學習領域（這是機器學習的一個子範疇）。我們多次見證了基於深度學習的網路在模式匹配任務中展現出一流的成果。一個令人矚目的例子就是，2012年AlexNet利用深度學習技術（而非傳統手工繪製的計算機視覺）贏得ImageNet比賽。我們自己也ImageNet挑戰賽中利用深度學習技術獲得成功，在物體定位、物體偵測和場景分類比賽中名列前三名。

我們還將自主研究和與外界人工智慧團體合作的領域擴展到諸如遞歸神經網路、物體跟蹤、自然語言處理和手寫識別等其他前景廣闊的領域和機器學習應用等。2014年9月，我們在阿姆斯特丹開設了Qualcomm Research荷蘭分支，作為機器學習研究的基地。我們通過Qualcomm創新獎學金計劃與博士研究生緊密合作，開展前瞻性的理念研究。2015年9月，我們與阿姆斯特丹大學（QUVA）建立聯合研究實驗室，專註於推動面向移動計算機視覺的、最先進的機器學習技術發展。通過收購位於阿姆斯特丹的領先人工智慧公司Scyfer，我們進一步深化與阿姆斯特丹人工智慧業界的合作關係。Scyfer的創始人Max Welling是阿姆斯特丹大學知名教授，主攻機器學習、計算統計學和人工智慧基礎研究。Scyfer專註於應用廣泛的機器學習方法以解決實際問題。Scyfer團隊將加入Qualcomm Research機器學習團隊。

支持終端側機器學習的出色功耗和性能

為了實現我們的智能終端願景，我們也意識到基於機器學習的解決方案需要在終端上運行，無論終端是智能手機、汽車、機器人、無人機、機器或是其他設備。與在雲端運行的人工智慧相比，在終端側運行人工智慧演算法——亦稱推理，具有諸多優勢，例如即時響應、可靠性提升、隱私保護增強，以及高效利用網路帶寬。

當然，雲端仍然十分重要，並作為終端側處理的補充而存在。雲端對彙集大數據以及在終端上運行的許多人工智慧推理演算法的訓練（現階段）是必要的。但是，在很多情況下，完全基於雲端運行的推理在自動駕駛等時延敏感和關鍵型任務的實時應用中會遇到問題。此類應用無法負擔數據傳輸往返的時間，或在無線覆蓋變化時依靠關鍵功能運行。進一步講，終端側推理從本質來說更加私密。

我們不想把自己僅僅局限在運行終端側推理。我們也與雲端協同合作，面向手勢識別、連續認證、個性化用戶界面和面向自動駕駛的精密地圖構建等使用場景進行終端側人工智慧訓練。實際上，得益於高速連接和高性能本地處理，我們有獨特的能力去探索未來架構，實現最佳的總體系統性能。

高效運行終端側人工智慧需要異構計算

十多年來，Qualcomm一直專註於在移動終端的功耗、散熱和尺寸限制之內，高效地處理多種計算工作負載。Qualcomm驍龍移動平台是最高性能移動終端的首選系統級晶元（SoC）。人工智慧工作負載在這方面提出了另一個挑戰。通過在適宜的計算引擎上運行各種機器學習任務（如CPU、GPU和DSP等），我們能提供最高效的解決方案。這已經集成在了我們的SoC中。Qualcomm Hexagon DSP就是一個典型範例，它最初是面向其他向量數學密集型工作而設計，但已通過進一步增強用來解決人工智慧的工作負載。實際上，在驍龍835上支持Qualcomm Hexagon向量擴展的Hexagon DSP，與Qualcomm Kryo CPU相比，在運行相同工作負載時（GoogleNet Inception網路）能夠實現25倍能效提升和8倍性能提升。

架構的多樣性是至關重要的，你不能僅依賴某一類引擎處理所有工作。我們將持續演進面向機器學習工作負載的現有引擎，保持我們在性能表現最大化上的領先優勢。利用我們對新興神經網路的研究，我們在專註提升性能表現，以擴展異構計算能力，應對未來人工智慧工作負載上已具備了優勢。實際上早在2012年，我們已預見了通過專用硬體高效運行人工智慧的構想。

我們正大規模普及人工智慧

讓開發者能簡單利用異構計算並非易事，僅有優良硬體還不夠。為了彌補這一差距，我們發布了驍龍神經處理引擎（NPE）軟體開發包（SDK）。它能縮短終端側卷積神經網路（CNN）和遞歸神經網路（RNN）在合適的驍龍引擎（例如Kryo CPU、Qualcomm Adreno GPU和Hexagon DSP）上的運行時間，對圖形識別和自然語言處理分別都有著重要作用。相同的開發者API給每個引擎都提供接入口，從而使開發者能夠方便地無縫切換人工智慧任務。

該神經處理引擎還支持通用深度學習模型框架，例如Caffe/Caffe2和TensorFlow。該SDK是利用驍龍技術提供最佳性能和功耗的輕量靈活平台，旨在幫助從醫療健康到安全的廣泛行業內的開發者和OEM廠商，在攜帶型終端上運行它們自己的專有神經網路模型。例如，今年的F8大會上，Facebook和Qualcomm Technologies宣布合作，支持優化Facebook開源深度學習框架Caffe2，以及NPE框架。

通過持續研究擴展人工智慧範圍，並帶來效率提升

我們正處於機器學習發展征程的最初期，深度學習也僅是具備改變計算潛力的多項機器學習技術之一。

為了實現更複雜的應用，我們在多個領域持續前進：

· 專門的硬體架構：持續關注低功耗硬體（無論增強型、專用型還是定製型），以處理這些機器學習工作負載；

· 神經網路技術的提升：針對半監督和無監督訓練進行相關研究，如生成式對抗網路（GANs）、分散式學習和隱私保護；

· 面向終端側應用的網路優化：進行壓縮、層間優化、稀疏優化，以及更好地利用內存和空間/時間複雜度的其他技術的相關研究

在終端側完成全部或大部分思考的、「始終開啟」的智能終端中蘊藏著巨大的機遇，我們期待通過研究和產品化推動先進機器學習的發展。目前，Qualcomm人工智慧平台可通過高效的終端側機器學習，提供高度響應、高度安全且直觀的用戶體驗。未來還有更多可能。

本文作者：Matt Grob
Qualcomm Technologies, Inc.工程技術執行副總裁