深度起底蘋果AI晶元A11：九年潛伏布局 狂買數十家公司

蘋果iPhone X的黑科技之源 AI晶元A11牛在哪？

【智東西人工智慧、汽車科技編輯/記者、實習生開放招聘，和我們一起看未來！簡歷至hr@zhidx.com，職位詳情在智東西公眾號回復「招聘」或查看原文鏈接】

智東西 文 | Lina

就在上周的今天，蘋果公司在剛剛落成投入使用的「飛船」新總部（Apple Park）舉行2017年秋季新品發布會，整場發布會基本被iPhone X搶盡了風頭（想採訪一下iPhone 8/8p的心理陰影面積）。

iPhone 8/8p和iPhone X都搭載了蘋果自研的A11 Bionic（仿生）晶元。雖然蘋果全程並沒有在這款晶元上花太多功夫介紹，但我們仍舊知道它搭載了一個專用於機器學習的硬體——「神經網路引擎（Neural Engine）」

還記得月初華為發布的麒麟970嗎？麒麟970正是因為搭載了「神經網路處理單元（NPU）」而稱為首款手機AI晶元。

可別小看了這塊A11，通過智東西仔細研究發現，它不僅是iPhone X中一眾「黑科技」的來源，而且蘋果為了打造這塊晶元早在9年前就開始了技術布局。

在介紹A11里專門用於機器學習的「神經網路引擎」之前，我們先來看看A11的基本參數。

工藝方面，A11採用了台積電10nm FinFET工藝，集成了43億個晶體管（上一代採用16nm工藝的A10 Fusion集成了33億個晶體管，華為麒麟970則用10nm工藝集成了55億個）。

A11搭載了64位ARMv8-A架構的6核CPU，其中包括2個名為「Monsoon」的性能核（performance core）和4個名為「Mistral」的能效核（high-eggiciency core），性能核比上一代A10里的快了25%，能效核則快了70%。

而且，與A10不同，A11中使用了蘋果自研的第二代新型性能控制器，允許6個CPU內核同時使用，整體性能比上一代快了70%。

至於為什麼分為性能核和能效核呢？當手機進行發簡訊、瀏覽網頁等輕量任務時，系統會選擇調用能耗更低的能效核（high-eggiciency core），而當手機需要運行對計算能力要求更高的軟體時，則需要動用性能核（performance core）進行處理，藉此可以有效延長平均電池壽命。搭載了A11的iPhone X在充滿電後，將會比iPhone 7延長2個小時的待機時間。

A11的另外一大亮點就是首次搭載了蘋果自研的GPU，這是一款3核GPU，性能相比A10 Fusion提升30%，只需要一半的功耗就能達到A10的表現，並且針對3D及。這是今年4月蘋果宣布和英國GPU設計公司Imagination Technologies「分手」後推出的首款自研GPU，針對AR、沉浸式3D遊戲等方面都進行了優化，比A10快了30%。

A11里還集成了蘋果自研的ISP、自研的視頻編解碼器等等，從種種強調的「自研」我們不難發現，蘋果已經越來越強調架構的自主化。在徹底跟老朋友Imagination Technologies分手後（並且導致人家股價斷崖式下跌70%後），蘋果的下一個自研目標也許會移到基帶技術上，與高通曠日持久的專利訴訟案件算得上是前兆了。

此外，我們也可以從A11在Geekbench的跑分上一窺究竟：在Geekbench中有A11的幾個跑分，其中單核性能最高的是4274，多核性能最高的是10438，而取這些跑分平均值後，單核性能是4169，多核性能是9836。

這是什麼概念呢？跟上一代A10的「單核成績3332，多核成績5558」比起來，A11在兩方面的性能有接近30%和50%的飆升。而iPad Pro中的A10X單核性能平均在3900左右，而多核性能是9200左右，依然弱於A11。

而Android陣營的種子選手——高通驍龍835的GeekBench成績為單核2000左右，多核6500左右。（麒麟970跑分未知）

還記得月初華為發布的麒麟970嗎？這款手機晶元搭載了來自寒武紀的「神經網路處理單元（NPU）」，專門用於機器學習，麒麟970也因此被稱為「手機AI晶元」。

這次，蘋果也在自家的A11 Bionic晶元上搭載了一個專用於機器學習的硬體——「神經網路引擎（neural engine）」。

正如我們在《華為麒麟970是不是真正的AI晶元？》一文中介紹的，現在所謂的手機處理器，比如高通的835、蘋果的A11、麒麟970等，實際上所指的是一個「處理器包」封裝在一起，這個計算包專業一點說叫Soc（System-on-a-Chip），高大上的說法是「計算平台」；根據分工不同，很多專用功能的處理單元加進來，比如我們最熟悉的是GPU，現在這個包里的獨立單元數量已經越來越大，比如ISP（圖像處理）、Modem（通信模塊）、DSP（數字信號處理）等，不同的數據進來，交給不同特長的計算模塊來處理將會得到更好的效果、更高的能效比，這個神經網路引擎（neural engine）跟麒麟970的NPU一樣，是在手機處理器平台新加入的一個擅長神經網路計算的硬體模塊。

而這也是為什麼從20nm、16nm、到現在的10nm、以及研發中的7nm，各大晶元設計商、代工商都在拚命把晶元技術往小了做，為的就是在不影響晶元大小的前提下擠進更多的獨立處理單元。

A11的神經網路引擎採用雙核設計，每秒運算次數最高可達6000億次，相當於0.6TFlops（寒武紀NPU則是1.92TFlops，每秒可以進行19200次浮點運算），以幫助加速人工智慧任務，即專門針對Face ID，Animoji和AR應用程序的ASIC（專用集成電路/全定製AI晶元）。

有了神經網路引擎，蘋果高級副總裁Phil Schiller很有底氣的表示：A11 Bionic是一款智能手機到目前為止所能擁有的最強勁、最智能的晶元。而基於ASIC的深度學習，實現了高準確率之外，還能比基於通用晶元（GPU、FPGA）的方案減少功耗。

不過，蘋果對這款神經網路引擎的功耗、實測性能等方面都沒有進一步披露。

A11同時也支持Core ML，這是蘋果在今年WWDC開發者大會上推出的一款新型機器學習框架，能讓開發者更方便地將機器學習技術整合到自己的App中。Core ML支持所有主要的神經網路，如DNN、RNN、CNN等，開發者可以把訓練完成的機器學習模型封裝進App之中。

除了使用NPU、神經網路引擎等專用AI硬體單元這種做法外，現在的眾多手機廠商使用的基於CPU＋GPU＋DSP架構上對AI功能進行優化的方式。比如高通就在今年7月發布了驍龍神經處理引擎（NPE，Neural Processing Engine）的軟體開發包SDK。

像蘋果正在進行的其他所有研究一樣，在人工智慧方面，蘋果保持著它一貫神秘而低調的「嚴守秘密，閉口不談」作風。

然而，人工智慧暫時還是個發展早期的行業，各位行業大牛們基本也是學術大牛們，這種拒絕透露研究成果、不讓發論文、甚至不讓談論的嚴格保密態度，很可能會讓無數身處學術圈（並且早已實現財務自由）的AI專家們拒絕蘋果的offer，轉而投向如谷歌、Facebook等更為開放自由的公司。

所以外界一直以來對蘋果自研的人工智慧技術持觀望懷疑態度，而蘋果似乎也意識到了這一點，從去年年底，蘋果開始允許其人工智慧研究人員在蘋果博客上公開發表他們的研究成果，目前已經公布了三篇Siri相關的論文與一篇計算機視覺相關的論文。

但是~沒人不要緊，我們有錢啊。

從去2010年開始，蘋果就沒有停止過收購人工智慧創企的步伐，並且每次給出的都是慣常聲明：「蘋果會不時收購規模較小的科技公司。我們通常不討論目的或計劃。」非常有「事了拂衣去，深藏功與名」的意思。

而且，每個被蘋果收購的公司都會立即關閉對外的產品和服務，從此像是忽然從世界消失一般。

1）收購晶元廠商

以晶元為例，早在2008年，蘋果就以2.78億美元收購了2003年成立加州的高性能低功耗處理器製造商PA Semi。

隨後在2010年，蘋果以1.21億美元收購了1997年成立的美國德州半導體邏輯設計公司Intrinsity，專註於設計較少晶體管、低能耗同時具備高性能的處理器。

2011年年底，蘋果又以3900萬美元的價格收購了2006年成立的以色列快閃記憶體控制器設計公司Anobit。

2013年8月1日，蘋果收購了成立於2007年的加州半導體公司Passif Semiconductor，其專長於低功耗無線通訊晶元（大膽地猜測一下Apple Watch的晶元技術是不是來自這裡）。

其後的2015年底，蘋果再次斥資1820萬美元，收購了一間位於加州聖何塞北部的面積7萬平方英尺（6500平方米）的晶元製造工廠。這座工廠原屬於晶元製造商Maxim Integrated Products，其設施包括了晶元製造工具，而且工廠地址靠近三星半導體公司。

從以上一連串的買買買我們可以看到，蘋果的晶元布局早在近十年前就開始了。

除了晶元之外，從2010年至今，蘋果已經陸續收購了好幾十家創企，包括語音識別、圖像/面部識別、計算機視覺、AR、數據挖掘、機器學習、地圖、定位等等，而這其中幾個比較具備代表性的有：

2）收購面部識別/表情追蹤廠商——Animoji和Face ID的技術來源

2010年，蘋果以2900萬美元收購瑞典面部識別創企Polar Rose，他們開發的面部識別程序可以可以為用戶自動圈出照片中的人臉。

2015年11月，蘋果收購《星球大戰》背後的動作捕捉技術公司Faceshift，這家蘇黎世的創業公司開發了實時追蹤人臉表情，然後再用動畫表現出來的技術。該技術還可以實現面部識別。

2016年1月，蘋果收購了加州AI初創Emollient，該公司使用人工智慧技術讀取圖片中的面部表情。

2017年2月，蘋果以200萬美元收購了面部識別以色列創企RealFace，該公司開發了一種獨特的面部識別技術，其中整合人工智慧並將人類的感知帶回數字過程。

3）收購AR引擎巨頭

2015年5月，蘋果收購AR引擎巨頭德國Metaio公司。彼時Metaio與Vuforia並肩稱霸AR引擎行業，Metaio擁有約15萬名開發者，Vuforia則擁有大約18萬，兩家的SDK開發者佔到了當時整個市場的95%以上，在AR的行業地位有如Windows和Mac OS之於PC。——可以看作是ARkit的技術來源。

4）收購25年德國老牌眼球追蹤企業

而離現在最近的一次收購就是蘋果今年6月時宣布收購擁有25年歷史的德國老牌眼動追蹤企業SMI——SMI全名SensoMotoric Instruments，其歷史要追溯到1991年，SMI從柏林自由大學學術醫療研究院剝離出來，獨自成立眼球追蹤技術公司，迄今已經有超過25年的發展歷史了，產品包括面向企業與研發機構的眼球追蹤設備/應用、醫療醫療眼控輔助設備、手機、電腦、VR設備等的眼控技術支持等。

目前，眼球追蹤技術已經被集成在了iPhone X里。在用Face ID解鎖時，只要你眼睛沒有看著屏幕，屏幕也是不會解鎖的。

既然是「人工智慧晶元」，當然是用來做人工智慧~人臉識別、圖像識別、面部表情追蹤、語音識別、NLP、SLAM、等等。

而A11的神經網路引擎第一個重要的應用就是iPhone X的刷臉解鎖——Face ID。

雖然刷臉解鎖並不是什麼石破天驚的新技術，但是蘋果的Face ID解鎖跟普通的基於RGB圖像的人臉識別解鎖不同。寒武紀架構研發總監劉少禮博士說，「我們這次對蘋果A11的AI引擎了解不多，特別是功耗、實測性能等方面蘋果發布會基本沒有提。個人覺得iPhone X這次最大的亮點是距離感測器，用來支持3D的Face ID，這個功能在業內還是引起了不小震動，後續會給予這功能開發出不少有趣的應用。通過結構光發射器和紅外攝像頭配合，可以捕捉人臉的深度信息，比之前用2D圖像作人臉識別進步了很多。」

根據原理和硬體實現方式的不同，行業內所採用的3D機器視覺主要有三種：結構光、TOF 時間光、雙目立體成像。

（三種主流的 3D 視覺方案代表性產品）

雙目立體成像方案軟體演算法複雜，技術還不成熟；結構光方案技術成熟，功耗低，平面信息解析度高，但是容易受光照影響，識別距離近；TOF 方案抗干擾性好，識別距離遠，但是平面解析度低，功耗較大。

綜合來看，結構光方案更加適合消費電子產品前置近距離攝像，可應用於人臉識別 、手勢識別等方面，TOF方案更加適合消費電子產品後置遠距離攝像，可應用於 AR、體感交互等方面。

（「劉海兒」，TrueDepth Camera System）

iPhone X的Face ID採用了人工智慧加持的結構光方案：數據採集由該機正面上方的景深感知攝像機（即「劉海兒」，TrueDepth Camera System）完成，其紅外線發射器可以發射3萬個偵測點，利用神經引擎（Neural Engine）將反射回來的數據與儲存在A11晶元隔區內的數據進行對比，實現用戶面部的3D讀取與處理。通過神經網路訓練的加持，Face ID失誤率僅為百萬分之一，遠小於Touch ID的五萬分之一。

與此同時，iPhone X還具備眼球追蹤功能，在你面對屏幕，但是眼睛沒有看著它的時候，也是不會解鎖的。所以，這樣的人臉解鎖是照片騙不過的。

而且，蘋果的軟體工程高級副總裁Craig Federighi曾表示，「我們不會在用戶註冊Face ID時收集數據，它會保留在你的設備上，不會被發送到雲端進行訓練。」 符合蘋果一貫的「用戶隱私為上」理念。

最為神奇的是，用戶面容適應（化妝、佩戴眼鏡、長鬍子、隨著年齡增長而變容改變等）過程需要用到的深度學習訓練也是在本地完成的。深度學習分為訓練（Training）和推理/應用（Inference）兩部分，訓練階段所需的計算量比應用階段的要大上許多。

另一方面，計算與訓練的本地化也有助於讓Siri變得更加智能。畢竟有不少人認為由於蘋果對用戶的隱私過於重視，導致Siri發展較慢，競爭對手們後來居上。

此外，在A11的加成下，iPhone X前頭「劉海兒」實現的臉部追蹤技術還可以用於個人定製化表情Animoji（能捕捉並分析 50 多種不同的肌肉運動）、AR濾鏡等，新的互動的方式有望提高用戶的參與度和粘性，提高AR社交平台的經濟價值，而3D視覺所提供的景深信息和建模能力是現有普通攝像頭無法比擬的。

而iPhone X還搭載了全新陀螺儀和加速計，刷新率達到60 fps，可以實現準確的動作追蹤以及很好的渲染效果。在發布會上，蘋果全球市場營銷高級副總裁Phil Schiller是這麼說的：這是第一款真正為AR打造的智能手機。

發布會現場，蘋果還演示了幾款AR應用的小樣：即時策略遊戲《戰爭機器》（The Machines）、即時戰略遊戲《戰錘40K:自由之刃》（Warhammer 40k：Free Blade）、職業棒球直播《At Bat》、星空註解《Skyguid》。

當前人工智慧晶元主要分為GPU、ASIC、FPGA。代表分別為NVIDIA Tesla系列GPU、Google的TPU、Xilinx的FPGA。此外，Intel還推出了融核晶元Xeon Phi，適用於包括深度學習在內的高性能計算，但目前根據公開消息來看在深度學習方面業內較少使用。

（AI晶元一覽）

其中，蘋果的A11、寒武紀的A1、谷歌的TPU等都屬於ASIC，也就是專用集成電路ASIC（Application Specific Integrated Circuit）。顧名思義，ASIC 就是根據特定的需求而專門設計並製造出的晶元，能夠優化晶元架構，針對性的提出神經網路計算處理的指令集，因而在處理特定任務時，其性能、功耗等方面的表現優於 CPU、GPU 和 FPGA；但ASIC演算法框架尚未統一，因此並未成為目前主流的解決方案。

（寒武紀1號神經網路處理器架構）

（谷歌ASIC產品探索）

現有的ASIC包括谷歌的TPU、我國中科院計算所的寒武紀、應用於大疆無人機和海康威視智能攝像頭的Movidius Myriad 晶元、曾用於Tesla汽車自動駕駛和ADAS的Mobileye晶元等針對特定演算法以及特定框架的全定製AI晶元。

此外，更近一步的的AI晶元前景，大概是IBM 的TrueNorth這類的類腦晶元（BPU）。類腦晶元的目的是開發出新的類腦計算機體系結構，會採用憶阻器和 ReRAM 等新器件來提高存儲密度，目前技術遠未成熟。

（不同晶元在人工智慧計算方面各有所強）

有著蘋果和華為的推進，專用AI處理單元可能會越來越成為智能手機晶元的發展趨勢。畢竟目前在生物識別、圖形圖像識別、用戶使用習慣學習等方面都越來越依賴機器學習技術，而不太穩定的網路帶寬（大家記不記得早期Prisma要等好久才能生成圖片）、個人隱私、功耗比等問題也在驅動著手機晶元集成專用AI處理單元的發展。

不過，搭載A11的iPhone X要到10月27日起才開始預售，11月3日發售，跟其他所有產品9月15日預售＋22日發售相比完了將近一個多月，而搭載麒麟970的華為Mate 10也要等到10月16日才在慕尼黑髮布。

用上了「神經網路引擎」或是「神經網路計算單元」的手機晶元究竟能發揮多大作用？會給手機體驗帶來什麼改變，是不是「然並卵？」這種種問題都要等到真機上手才能逐漸明確。

但總的來說，無論是A11還是麒麟970，都是讓AI在手機端開始由軟到硬地落地的表現，是人工智慧進一步產業化落地的一個典型代表。

自動駕駛系列課今晚正式拉開帷幕，第一課由樂視車聯網總監陳昆盛主講，超過千人實時聽課。周四晚8點，MINIEYE CEO 劉國清將主講第二課，主題為《如何突破ADAS系統的識別精度》！速速掃碼報名吧！