Google Project Soli 通過微型雷達晶元以精準手勢來與智能設備進行交互，前景如何？

01-15

Google I/O 2016 上發布了 Project Soli 的最新進展，可以通過手掌和手指的簡單手勢來控制智能手錶和智能音箱。從人機交互的角度如何評價這項技術？
Youtube 視頻：https://www.youtube.com/watch?v=jWNebDDmuXc
Youku 上有智能音箱的片段：Project Soli 現場演示

Project Soli 一個非常適合的應用場景是在可穿戴設備上面：

相比 CV 的方法，雷達可以更加精確的捕獲微小的動作
雷達與 RGB 攝像頭和深度攝像頭比較，不受到室外光線等影響
手部本身作為交互媒介：如兩個手指相碰表示確認，手部能夠直接感受到物理的反饋；大拇指靠在食指上左右移動作為一個 pointing device/virtual slider，十分自然，手部摩擦等反饋效果也很好
手指交互不用擋著屏幕，在空中操作可以更加有效的利用可穿戴設備有限的屏幕面積
雷達可以突破較薄的物體，可以將手機留在口袋裡面／手錶保持在袖子裡面，不用拿出來也可以隔著衣服操作

當然現在很多技術還處在早期研究實驗階段。如果最後效果不錯還是能夠給可穿戴設備增加不少新的交互方式，也可以解決可穿戴設備目前某些雞肋的使用場景吧

我們最近在 UIST16 發表了一篇文章介紹 Project Soli 手勢識別上面的一些技術，歡迎大家參考

Interacting with Soli: Exploring Fine-Grained Dynamic Gesture Recognition in the Radio-Frequency Spectrum

Saiwen Wang, Jie Song, Jaime Lien, Ivan Poupyrev, Otmar Hilliges

視頻：https://www.youtube.com/watch?v=ZSkl9zoNZRY

Project Soli並沒有創造什麼新穎的交互方式。手勢控制移動設備的研究已經有很多，舉一個近年的很酷的例子Air + Touch （[1]，視頻https://vimeo.com/92972949）。像Leap Motion這樣的感測器在pc上識別手指動作的精度已經很高了，移植到手機上也並非不可能，但手勢交互在桌面和移動設備上都沒有廣泛應用，核心原因可能還是因為手勢的表達能力，相比滑鼠/鍵盤或者觸摸，還是非常有限。首先手勢能表達的含義還是比較簡單，很多情況下並不比傳統操作方便。例如Project Soli視頻里那個智能手錶的例子，如果我可以用一個滑動的觸屏手勢切換圖標，為什麼要用空中手勢（不可否認在少數情況下空中手勢更方便，比如用戶和設備距離比較遠的情況下）。空中手勢的另一個局限是指向性很差，沒法在比較細的粒度下操作信息。例如那台智能音箱，其實還是蠻酷的，但要是我家的電視也會響應這個手勢怎麼辦？個人感覺，手勢交互在功能比較複雜的設備上很難成為主流，但在某些交互場景下會非常方便。Air + Touch可能也是看到這些局限，所以將空中手勢和觸摸結合。

說回Project Soli本身，google 下了大功夫提高手勢識別的精度，降低晶元面積，降低能耗，這對整個業界都是好事。後來者可以利用這些漸漸成熟的技術，尋找（空中）手勢交互最合適的場景或者產品。

[1] Xiang 『Anthony』 Chen, Julia Schwarz, Chris Harrison, Jennifer Mankoff, Scott Hudson (2014). Air+Touch: Interweaving Touch In-Air Gestures. Proceedings of the 27th Annual ACM Symposium on User Interface Software and Technology (UIST 2014)

隔空手勢輸入前景確實非常廣闊，但是要成為主流的人機交互方式還有很長的一段路要走。目前急需解決的問題是如何能讓用戶以自然的方式用手勢交互，具體問題包括：

精確理解手勢意圖：手可做出動作非常多，五個手指+六個自由度這樣複雜的動作空間難以窮盡。對特定的十幾個標準手勢可能識別比較容易，但是用戶的手勢如果不標準，或者隨機做一些手勢，目前還沒有很好的方法進行準確判別。
手勢之間的分割：在連續輸入的環境下，從一個動作到下一個動作的連接動作難以判斷。空中寫字和輸入的起始和終止點也不好判斷。
實時性保障：用戶輸入希望立刻有反饋，但是手勢識別一般要等動作全部做完才能響應，體驗並不一定很好。

實際上隔空手勢輸入並不需要60GHz雷達這樣高大上的器材，大部分手機都可以支持，只需要裝個軟體即可。手機本身自帶的揚聲器和麥克風可以當做聲納來用，精確度可以到5mm以下，做三維手勢輸入綽綽有餘了。而且一個手機或手錶可以安裝多個麥克風/揚聲器實現精確定位，比Soli單雷達晶元效果要好。具體可以參考：

Wei Wang, Alex X. Liu, and Ke Sun, Device-Free Gesture Tracking Using Acoustic Signals, in proceedings of ACMMobiCom 2016, Oct 2016

優酷視頻： http://v.youku.com/v_show/id_XMTc1NDg5ODQyOA==.html

youtube視頻： https://www.youtube.com/watch?v=gs8wMrOSY80

https://www.youtube.com/watch?v=vRQfAxAWkkM

發現在《矽說》專欄之前的一篇文章很適合這個問題，就搬運過來了:)

歡迎關注《矽說》專欄：https://zhuanlan.zhihu.com/silicontalks

觸摸屏回顧與綜述觸摸屏技術至少可以追溯到上世紀70年代的美國伊利諾伊大學，當時科學家們把這項實驗室里的最新成果安裝到了PLATO IV計算機上用於課堂輔助教學，觸摸屏由此第一次走出實驗室正式進入實際應用階段。不過，觸摸屏的技術並不成熟，商用價值在此後的很長時間內也並沒有被發掘出來。到了90年代，觸摸屏出現在高端PDA（年紀稍長的讀者一定還記得快譯通和文曲星）中，可惜仍然不溫不火。一方面，PDA的市場規模並不大，另一方面由於觸摸屏的精度有限，大多數PDA用戶還是更喜歡直接用實體鍵盤操作。2004年，任天堂的掌上遊戲機NDS在全球熱賣，其最大的賣點就是NDS擁有兩塊屏幕並且其中一塊是觸摸屏，於是觸摸屏隨著NDS的流行而進入了更多人的視野。不過，直到那時候，觸摸屏的使用還是局限於特定的人群。真正讓觸摸屏走進千家萬戶還是要歸功於蘋果的喬幫主。2007年，初代iPhone發售，它重新定義了智能手機。在iPhone發售之前，智能手機的定義是「用戶能夠自主安裝軟體的手機」，而在iPhone發售之後，智能手機的定義變成了「屏幕可以滑的手機」，觸摸屏對於iPhone來說是標誌性不可或缺的模塊。實際上，在手機上搭載觸摸屏蘋果並非首創，但是蘋果iPhone使用觸摸屏完全更新了手機的操作方式，在iPhone中引入了拖曳，縮放等手勢操作，極大地改善了用戶的操作體驗。隨著iPhone銷量節節攀升，三星、HTC等公司也不甘示弱，紛紛推出了搭載觸摸屏且操作方式類似iPhone的智能手機。一夜之間，地鐵上再也聽不到手機的按鍵聲，因為所有人都開始用觸摸屏「滑」手機。

觸摸屏首次出現在PLATO IV計算機中(左上),此後陸續出現在快譯通(右上)，NDS(左下)等設備中，最後蘋果推出的iPhone(右下)讓觸摸屏真正走進千家萬戶

在iPhone推出之後，觸摸屏並沒有停止更新。為了使手機變得更輕更薄，屏幕製造技術也經歷了out-of-cell到on-cell直至最薄的in-cell。相對於十年前的觸摸屏，今天的觸摸屏更薄，操作手感更好。

作者：李一雷

鏈接：https://zhuanlan.zhihu.com/p/22967519

來源：知乎

著作權歸作者所有。商業轉載請聯繫作者獲得授權，非商業轉載請註明出處。

突破二向箔的束縛：三維觸控然而，人們對觸摸屏交互方法的探索並沒有到此為止。這裡不妨再梳理一下手機與用戶交互方式的進化過程。最初，用戶只能通過按手機上若干位置固定的按鍵來操作手機，這種方式可以稱作一維的操作方式。在蘋果引入觸摸屏以及手勢操作後，用戶可以在手機觸摸屏的二維空間里自由動作，因此可以稱作二維的操作方式。如果我們的觸摸屏不再進化，那麼用戶與手機的交互維度將會被限制在二維，就像《三體》中被二向箔擊中的文明一樣。很自然地，我們會想到：既然人類生活在三維的空間里，為什麼用戶與設備的交互只能是在二維空間里呢？有沒有可能實現三維的交互方法呢？要實現三維交互，就必須能夠實時捕捉到用戶的手在三維空間中的坐標，並且根據用戶手的三維坐標（及其變化）做出相應回應。幸運的是，科學家和工程師們已經開始開發三維觸控來實現超越二維的人機交互。在具體地分析技術之前，我們不妨先來展望一下三維人機交互方法都能帶來哪些革命性的應用？

1.遊戲（含VR）說到三維觸控，大家首先想到的就是在遊戲中的應用。確實，遊戲是所有應用中對於交互方式要求最高的。使用與遊戲相配合的專用交互設備，玩家才能完全體會到遊戲的魅力（不信你用鍵盤玩賽車遊戲試試），這也是為什麼一些遊戲需要開發專用外設（如早年《熱舞革命》的跳舞毯，《吉他英雄》的吉他，各類賽車遊戲的方向盤等等）。當觸摸屏在手機上剛普及時，《憤怒的小鳥》，《水果忍者》等一批完美利用觸摸屏交互特性的遊戲也獲得了大家的青睞。當觸摸屏可以捕捉到人手在三維中的動作時，在遊戲中可以實現許多新的玩法。一個非常有潛力的方向就是和VR技術結合，例如類似《水果忍者》的遊戲可以在三維空間內通過玩家的手勢進行，《街頭霸王》等格鬥遊戲的出招可以由玩家的真實手勢觸發，從而使玩家的代入感大大增加。

3D觸屏結合VR技術可以極大地增加遊戲可玩性

2.增強現實(Augmented Reality, AR)三維觸摸屏很有潛力成為AR應用中人機交互的基礎技術。在AR技術中，用戶佩戴的專用眼鏡作為顯示屏，通過計算機視覺技術將AR的圖像界面與現實世界有機地結合在一起並投射到用戶眼睛的視網膜上。當用戶的手做出動作時，AR設備必須能準確地捕捉到手的實時位置並根據用戶手的動作做出相應反應。三維觸摸屏正是能夠捕捉到手的精確位置，從而成為AR人機交互的基礎技術。在AR技術普及後，不僅僅手機、電腦會用到三維觸摸屏，甚至日常傢具（如桌子，櫥櫃）的表面都可能需要支持三維觸摸技術，從而讓用戶隨時隨地能使用AR。

增強現實將計算機圖像與現實結合在一起(左)，AR與用戶交互方式需要能精確地捕捉用戶手的三維位置(右)

三維觸摸屏候選技術目前三維觸摸屏技術尚處於探索階段。現在最有希望商用的三維觸摸屏技術有兩種，一種基於毫米波雷達，另一種基於電容感應。基於毫米波雷達技術的三維觸摸技術以Google的Project Soli為代表。今年五月份，Google正式發布了代號為Project Soli的三維觸控模組。那麼，Project Soli的毫米波雷達是如何實現三維觸控的呢？首先我們要清楚雷達的原理。大家一定都看到過探照燈：在漆黑的天空中，探照燈的光束方向上的物體位置可以被看得一清二楚。探照燈通過不停地旋轉改變光束照射方向，於是整個天空中所有方向上物體的位置就可以被一一探知。雷達也是一樣，不過雷達發射的不是肉眼可以看到的光束，而是電磁波波束，並通過檢測電路來探知波束方向上物體的位置。很顯然，雷達也可以用在三維觸控上：手就是需要檢測的物體，通過雷達我們可以實時監控手在空間中的位置並讓設備做出相應反應從而實現三維的人機交互，這也是Project Soli的原理。

探照燈通過改變光束方向來探測目標（左上），雷達通過改變波束方向來掃描目標（右上），Project Soli利用和雷達原理來探測手的位置從而實現三維觸控（下）

那麼什麼是毫米波雷達呢？它與電視里出現的那種巨大的雷達有什麼區別呢？原來，雷達的解析度和它發射電磁波的波長有關，發射的電磁波波長越短則解析度越好，也即對物體探測位置越精確。但是，電磁波波長越短則在空氣中的衰減會越大，因此如果物體距離雷達很遠就會檢測不到。因此物體探測精度和探測距離是一對矛盾。傳統軍用和警用雷達使用的是微波波段，因為傳統雷達需要檢測的物體通常尺寸很大，微波波段能做到大約10cm級別的分辨精度已經很夠用了；另一方面傳統雷達需要有足夠的探測距離才能滿足使用需求。然而，10cm級別的分辨精度對於三維觸控來說完全不夠用。另一方面，三維觸控所需要檢測的距離很短，通常手距離觸摸屏的距離不會超過20cm。最後，三維觸控模組的體積必須足夠小。因此，Project Soli使用了波長為毫米數量級的毫米波雷達，理論上可以實現毫米級別的分辨精度。該雷達可以集成到硬幣大小的晶元中，從而可以安裝在各類設備上。下圖是Project Soli使用的毫米波雷達感測晶元。晶元大小約為8mm x 10mm，上面白色的小點應當是用來把晶元固定到主板上的焊錫球（bump）。晶元上還有天線陣列（綠色框內）用來實現波束成型。根據天線的大小我們可以估計出Project Soli使用的毫米波雷達波長大約在2mm-5mm之間。

毫米波雷達用來實現三維觸控可以達到很高的精度。然而，它的劣勢在於功耗太大。目前即使最領先的毫米波雷達晶元也至少需要100mW以上的功耗，因此用在移動設備上會導致電池很快就用完了。這樣一來，毫米波雷達觸控比較適合使用在電源不是問題的設備上，例如大型遊戲機或者電視機上的三維觸控。另一種非常有前景的三維觸控技術是電容感應技術。毫米波雷達技術利用的是動態電磁波，而電容感應技術利用的是靜電場。電容感應型三維觸控技術是目前電容觸摸屏的增強版：電容觸摸屏可以感應到與屏幕接觸的手的位置，而電容感應式三維觸控技術則增強了感應範圍，在手尚未接觸到屏幕時就能感應到手在空間中的三維位置，從而實現三維觸控。為了理解電容感應式三維觸控的原理，我們不妨想像有許多熱感測器組成的陣列，而感測器陣列上方有一個火苗（熱源）。根據感測器的相對溫度分布（即哪裡溫度比較高，哪裡溫度比較低）我們可以知道火苗在哪一個感測器上方（即火苗的二維位置），根據感測器的絕對溫度（即感測器探測到的絕對溫度有多高）我們可以知道火苗離感測器有多遠（即火苗在空間中第三維的位置）。結合這兩條信息我們可以得到火苗在空間中的三維位置。

熱感測器陣列可以通過相對溫度分布和絕對溫度來判斷火苗在三維空間中的位置

電容感測式三維觸控的原理也是這樣，只不過這裡探測的不是火苗帶來的溫度改變而是手指帶來的靜電場改變。通過探測哪一個電容感測器探測到的靜電場改變最大我們可以感應到手指的二維位置，而通過電容感測器探測到靜電場改變的絕對強度我們可以感應到手指的第三維坐標，從而實現三維觸控。電容感測式三維觸控的優勢在於感測器的功耗可以遠遠小於毫米波雷達（大約僅僅是毫米波雷達的十分之一甚至更小），因此可以安裝在對功耗比較敏感的移動設備上。但是電容感測也有自己的問題需要解決，就是感測器之間的互相干擾。我們同樣拿熱感測器感應火苗位置來作類比。現在我們假設除了火苗會發熱以外，熱感測器自己也會發熱。這樣一來，如果火苗離熱感測器距離較遠，那麼它帶來的溫度變化相對於熱感測器自己的發熱可能微不足道，從而熱感測器需要相當高的探測精度才能根據溫度變化檢測到火苗的位置。電容感測式三維觸控也是如此：電容感測器之間的電場會互相耦合形成很大的電容，因此手指造成的靜電場變化需要精度非常高的探測器才能檢測到。好在隨著電路技術的發展，即使微小的變化可以由高精度模擬放大器檢測到，因此電容感測式三維觸控在未來的前景非常光明。目前在電容感測式三維觸控已經出現在微軟的pre-touch screen demo中，該demo可以實現離屏幕較近距離（1-2cm）的三維觸控。另一方面，不少頂尖高校的實驗室也展示了基於電容感測原理的三維觸控模塊。例如，普林斯頓大學由Naveen Verma教授領銜的團隊成功地展示了基於薄膜電子的三維觸控(目前成立了SpaceTouch公司)，有機會可以用在未來可彎曲屏幕上。此外，UCLA由Frank Chang教授和Li Du博士帶領的Airtouch團隊使用傳統低成本CMOS工藝製作的晶元配合普通手機觸摸屏已經可以實現距離屏幕10cm範圍內的三維觸控。該晶元最初於2015年在國際固態半導體會議上發表（ISSCC，全球晶元領域最高規格的會議，號稱晶元界的奧林匹克盛會），之後團隊又乘熱打鐵將深度學習與三維觸控晶元結合在一起用於高精度三維手勢識別，並應邀在2016年的自動設計會議（DAC，全球電子設計領域最高規格的會議之一）發表了最新成果。Airtouch晶元功耗僅2 mW（遠遠小於Google的毫米波雷達觸控方案），且與普通觸摸屏兼容，將來可以廣泛地應用於手機等移動設備的三維觸控。

Airtouch視頻演示

Airtouch DAC—在線播放—優酷網，視頻高清在線觀看視頻

結語

觸控技術經曆數十年的發展，到今天已經能夠超越傳統二維觸控而進入三維觸控領域了。三維觸控會帶來人機交互方式的革新，可以用於遊戲、AR/VR等等應用中。目前較有希望商用的三維觸控方案包括毫米波雷達（Google Project Soli為代表）和電容感應（UCLA Airtouch為代表）。我們可望在不久的將來就看到三維觸控走入千家萬戶，成為人機交互的基本方式。

自然交互的難點不在於識別有多精準，而在於解決誤識別、反饋和用戶意圖分割的問題。

Project Soli 看起來很酷，但是還是跳不出這些難點。

我覺得這玩意兒和google home是絕配，和VR/AR設備，穿戴式設備未來也會產生交集。

感覺應用在VR的上可能會帶來不小的改變

如果未來顯示設備入門級都是 一面牆 的大小：

1. 顯示器：晃著滑鼠，滿牆的滾屏，選擇。。。

2. 觸摸屏：滿牆的揮手，長臂猿都不夠。。。

使用時間：一用用個半天。。。

對於 VR 這種 360 度全景體驗。滑鼠，觸摸屏這種 2 維的交互已經不夠用了。

google

還是有些發展的眼光。

還想要 把它帶進千家萬戶。太感人。。。

謝邀！

其實，這個我真不懂。

但是我又喜歡不懂裝懂！

好吧，我個人認為，未來的趨勢，應該是直接通過接收腦電波信號來實現控制！

當然，通過手勢來控制，也可能有一段時間的發展，但這不會成為主流。

一點不懂裝懂的個人觀點，勿噴，謝了！