縱覽iPhone X所有新特性:從3D人臉識別到A11Bionic神經引擎
機器之心原創
機器之能編輯部
3D 攝像頭和 AI 會是新一輪智能手機變革的引爆點。
今年,恰逢蘋果手機發布十周年。北京時間 9 月 13 日凌晨 1 點,蘋果在喬布斯劇院召開新品發布會。
北京時區的果粉們熬了一個多小時後,終於等來「壓軸嘉賓」——蘋果十周年特別版 iPhoneX。外觀上,iPhone X 首次在 iPhone 上實現 OLED 全面屏,前身和背部採用了玻璃材質,內部採用不鏽鋼材質,防塵防水,屏幕尺寸達 5.8 英寸。iPhoneX 的屏幕為 Super Retina Display,解析度達到了 2436 x 1125,其每英寸有 458 個像素,這超過了以往所有的 iPhone。
它的獨特之處是沒有「Home 鍵」,庫克在發布會上將這款「iPhoneX」的特別版稱為「iPhone10」。沒了 TouchID,iPhone X 採用 Face ID 作為手機生物辨識技術。為了實現最佳功能,除了利用位於屏幕上方的 TrueDepth 相機之外,手機還使用了新的神經引擎。嵌在新款 A11 Bionic 晶元里的神經引擎是雙核心架構,能每秒處理 6 兆個指令。Face ID 的安全係數比 Touch ID 更強,同時兼容於現有的 Touch ID 保護功能。
過去十年中,智能手機變得越來越輕薄,越來越快速,但是其它功能方面似乎沒很大的改進,各家廠商的產品也日趨同質化。想要預測未來智能手機的樣子,不妨將注意力放在設備的攝像頭以及利用該組件的軟體上。
「智能化的路徑需要新的感測器,3D 攝像頭會是一個典型的代表。」閱面科技 CEO 趙京雷在接受機器之心採訪時表示。「攝像頭是手機捕獲世界的眼睛,捕獲的任何圖像,都需要進行處理,AI 為這些圖像的處理賦予了更多可能。我們認為視覺 AI 技術的應用將掀起智能手機下一波浪潮。」商湯科技告訴機器之心。
一、消失的 Home 鍵
iPhone X 的解鎖由簡單的三個動作串聯完成,拿起手機、看一眼手機、手指從手機底部向上滑即可。蘋果手機從「滑動開鎖」時代,演進到「指紋解鎖」時代,最終進化成現在的「看一眼解鎖」時代。通過邊上的按鈕,也能呼喚出 Siri。
其實,蘋果考慮對 Home 鍵進行改變的時間遠比我們認為的要早。去年蘋果發布 iPhone 7 和 7 Plus 的時候,這些設備獲得了巨大的成功,吸引了眾多新的以及想要換新機的用戶,他們對相機出色的表現讚不絕口,但也僅限於此,除此之外並無更多值得誇耀之處。他們也在不知不覺中改變了 Home 鍵的屬性,因為這些新的蘋果機並不像過去的設備那樣對 Home 鍵有很高的依賴度。
Home 鍵的消失的部分原因在於工藝設計。從屏幕材質和尺寸大小方面考慮,全面屏基本不存在工藝難題,難點在於需要手機廠商解決攝像頭、指紋鍵等多個手機部件的位置布局形態。雖然智能手機配置指紋識別功能已經普及,但在智能手機實現全面屏的需求下,指紋識別功能前置和後置等形式會出現不同程度的工藝難題。小米 Mix、LG G6、三星 S8 等手機表明,指紋識別功能的歸置已經成為時下較為棘手的問題
雖然虹膜識別也是較為成熟的生物識別技術。但在智能機上的大規模採用,會受到成本和技術的限制,用戶體驗也不佳。有調研顯示,相比指紋識別,虹膜識別只是添置一個紅外攝像頭,但是紅外攝像頭的單價遠遠高於一顆指紋模組,也給手機廠商帶來成本壓力。
「指紋膜組的取消不僅能夠在價格上打開新思路,所節省出來的空間還可以讓手機廠商實現其它性能的提升與完善,或是新功能的嘗試與創新。同時,人臉解鎖與全面屏是緊密結合的,隨著全面屏的觸發,未來人臉識別將成為全面屏的標配。」曠視科技副總裁吳文昊告訴機器之心。
二、「看一眼」解鎖,蘋果的優勢與布局
起價 999 美元的 iPhone10 後置雙攝像頭後,再配備前置 3D 感應攝像頭(TrueDepth),不僅支持 AR 增強現實技術,還可以與相機配合,完成面部識別驗證。「這個階段而言,以蘋果的應用為分水嶺,可以認為它的安全性超過了指紋。」趙京雷告訴機器之心。
1、成熟的人臉識別技術。以往的臉部識別系統錯誤接受率達到 1%,安全性相當糟糕。舊式臉部識別系統僅僅使用攝像頭來給你拍張照片,然後拿它來跟存儲在設備上的圖像進行對比,進而作出判斷。盜賊只需要在攝像頭前舉起一張你的臉部照片,就能騙過該類系統——有人已經矇騙過三星的臉部識別功能。
紅外臉部識別功能安全很多。其運行方式如下(以高通的深度感應攝像頭系統 Spectra 為例):Spectra 系統中的一個模塊會對物體發出紅外點,以便根據那些點的大小和扭曲度來收集物體深度方面的信息。如果那些點比較小,那該物體就是在離得較遠的地方;如果它們比較大,那物體就是比較近。接著,成像系統會將模式拼合成你的臉部的精細 3D 圖像,進而在解鎖智能手機之前判斷你是否是它的主人。
有了 3D 信息,無論是在美圖,還是在人臉修復方面,都可以實現更多的功能。比如現在圖像軟體中的 AR 特效,往往眼鏡、表情等疊加的信息是與人臉錯位的,就像是貼上去的一樣,如果有 3D 深度信息,則可以更自然。
在人臉識別驗證上,強弱光、角度和遮擋的影響,都會讓識別的效果打折扣,而深度信息就能弱化這些問題,適應惡劣的光照,非常大的表情變化,以及非常大的姿態變化。
「人臉解鎖的抗干擾能力較強,能夠抵抗眼鏡、小範圍遮擋和角度變化以及較暗的光線等。而指紋解鎖在戴手套或是手指出汗、潮濕的狀態下則是完全失效的。」曠視科技告訴機器之心。由於人的頭部形狀非常獨特,Face ID 出錯的可能性只有百萬分之一,大幅低於 Touch ID 的五萬分之一。
2、未雨綢繆的布局。全球生物識別市場預計 2020 年將達 250 億美元,其中目前增速最快的為人臉識別,在應用場景不斷增加的情況下,人臉識別將是下一個消費終端創新的大方向。
從終端廠商來看,蘋果、三星、華為、Facebook、谷歌的多項專利顯示,各大終端巨頭都在紛紛布局人臉識別技術。谷歌早在 2012 年久獲得人臉識別解鎖手機的專利,而蘋果獲得相應專利的時間為 2015 年。但蘋果在手機端的布局最為明顯,先後收購 PolarRose,PrimeSense,Perceptio,Faceshift,Emotient,Turi 等人臉識別相關技術公司。
2013 年,蘋果收購 3D 感測技術公司 PrimeSense,這家公司因為給微軟的 Kinect 提供了感測器而走紅。業界也一致認為它的技術會應用到蘋果自家硬體產品當中。
PrimeSense 主要提供感測器和中間件,可以讓設備感知周邊的三維環境,實現人機交互。而如果這種技術用於前置攝像頭,可以為拍照、背景虛化、人臉識別、手勢識別帶來便利。它使用了結構光方案來獲取深度信息,原理簡單來說,就是向空間投影一定圖案,感測器獲取反射回來的圖案,與原圖進行對比就能生成深度圖。
在專利方面,蘋果在 15 年獲得人臉識別解鎖設備的專利,特意保護紅外感測器的使用,符合人臉識別的需求。
蘋果表示,會將人臉識別技術應用到 ApplePay 以及第三方應用中去。目前,支付寶、券商、銀行為主的金融服務機構也已經從去年開始大量採用人臉識別開戶、轉賬、付款等,以招商銀行為例,人臉識別能夠實現手機端超過 50 萬的轉賬。
「蘋果的技術肯定是特別成熟的,否則它不會用的。而且現在雖然看似只是用人臉解鎖替代了登錄,但在未來還將與手機支付等應用關聯,這些都是與安全技術相關的。」趙京雷告訴機器之心。
紅外線掃描技術也存在局限性。高通專業人士曾表示,你身上穿戴的東西,如帽子或者圍巾,可能會讓該攝像頭系統無法正常運行。此外,專家稱,紅外光會被戶外明亮的太陽光壓過,因此臉部掃描系統在沙灘上可能沒那麼穩定。不過,專業人士仍然看好蘋果這一舉措。
「這個一個非常大的趨勢。因為手機作為非常大的交互設備,目前正在向著更加智能化的方向在走。...... 這次 iphone8 在前置攝像頭加入 3D Sensor 用於人臉解鎖,我非常看好這個應用。」趙京雷告訴機器之心。因為這個應用代表了整個交互認證,從配合式認證向非配合式認證的邁進。以往的識別手段,不管是指紋、密碼還是虹膜,都需要用戶去配合進行,但人臉是非常自然的。
「現在蘋果是在前置攝像頭加入 3D 攝像頭,後置攝像頭也引入了雙攝進行圖像拍照的優化。在未來,後置攝像頭也可能加入深度攝像頭,類似 AR 將虛擬和現實的融合的技術,在手機端也可能會迎來快速發展。我們是比較看好的。」趙京雷進一步表示。「2018 年將會是智能手機攝像頭技術取得巨大突破的一年。」高通產品經理菲利普 - 詹姆斯 · 雅各博維茨(Philip-James Jacobowitz)指出。3、專用 AI 晶元。「看一眼」iPhone 10,瞬間解鎖屏幕。目前,人臉解鎖的速度已經可以達到毫秒級別,加上點亮屏幕和啟動攝像頭的時間。如此精準、高效的識別效果,離不開蘋果 AI 專屬晶元的功勞。
iPhone X 的「留海」里有許多感測器,用 3 萬多個點,以 3D 形式識別用戶面部,通過訓練神經網路建模、識別人臉。無論是換髮型、留鬍子、戴帽子還是光線強弱不同,都不影響系統識別。蘋果為此打造了 A11 Bionic 神經引擎。這個神經引擎使用雙核設計,每秒運算 6000 億次。面部數據都由 A11 引擎處理。為保證用戶的隱私,蘋果稱所有相關的運算都將在本地運行,不會被上傳到雲端。
早在今年 5 月,彭博社援引消息人士的說法稱,蘋果正在開發一款專用於人工智慧的晶元。蘋果內部將這款晶元稱作「蘋果神經引擎」,將有助於優化蘋果設備涉及人工智慧的任務,例如面部識別和語音識別的處理。據稱,蘋果未來將把人工智慧任務轉移至專用晶元,從而延長電池續航時間。
這次推出的蘋果 A11 內置了蘋果自研的 GPU,可用於輔助人臉識別、語音識別等 AI 應用,比上代產品快了至少 30%。蘋果 A11 晶元採用 6 核心設計,包括 4 個 Mistral 核心(4*2.5Ghz)和 2 個 Monsoon 核心,都具備獨立定址能力。iPhone 10 的續航時間也多出 2 小時(比較 7 系列手機)。
三、Animoji 和更有趣的 Siri
在這次發布會上,我們發現 Siri 更加多才多藝了,比如更自然的語音、實時翻譯、更精準的預測。另外,Siri 藉助機器學習,還能更了解用戶的興趣,可以據此推薦新聞、幫用戶回復消息等。
另外,我們還看到人臉 3D 追蹤系統的另一個有趣應用——動畫形象的合成 Animoji。追蹤面部超過 50 塊肌肉,可以用人臉表情創造有趣的動畫表情,還能錄製成短視頻。
在 iMessage 中,用戶可以將自己的表情、口型事實地附加到卡通形象上去。接著,用戶的卡通形象將作為動圖參與到聊天中來。在 SnapChat 中,用戶能夠使用蘋果的人工智慧技術為自己「戴上面具」。此外,iPhone X 的後置豎排攝像頭,也是為機器學習任務而設計。目前,該攝像頭能夠與機器學習技術合作,在按下快門之前實時地自動調參。
「AI 技術的大規模應用將帶來兩大賦能,一種是生產力的提升,一種是創造全新的交互方式。」商湯科技告訴機器之心。「視覺 AI 技術在手機中的應用,很大程度上將帶來的是後者——交互方式的創新。例如解鎖時,通過人臉解鎖;拍照時,通過智能演算法,來實現背景虛化、暗光增強等等;除上述場景外,AR 技術在手機上的應用,虛實結合,無論在娛樂、生活、辦公等場景下,都將帶來無限可能。」
推薦閱讀:
※C# 實現人臉識別一 (運用虹軟人臉識別引擎)
※Video++張奕:人工智慧在消費級視頻場景中的應用丨硬創公開課(附PPT)
※談到人臉識別技術,有哪些常見的誤區?
※人臉識別的技術能判斷區分兩個雙胞胎或者長相非常相似的人嗎?
※頭部向肩膀左右傾斜 15 度以上就能躲過人臉識別系統是真的嗎?