VR或AR的交互是以手勢為主還是眼球為主?

手勢是否有一套完整的邏輯?是否會參考聾啞人的手語?


眼球追蹤、手勢追蹤都屬於VR虛擬現實的一種交互方式。由於對AR增強現實的理解至今還不夠透徹,所以就以VR虛擬現實來進行一些說明吧!

VR的交互方式多種多樣,但是就目前的交互來說,既不是眼球追蹤為主,也不是手勢追蹤為主。而是以手柄的形式,觸覺反饋作為交互的主要方式。

說到這裡,可能很多人認為手柄的揮動應該是動作捕捉,但是並不是的,動作捕捉的實質是對目標物進行精確三維空間定位的系統。是需要用戶進行穿戴和校準的,如果說目前有哪方面運用這個技術比較多的話,那毫無疑問是拍電影了。

下圖:《猩球崛起》

而手柄相信大家是都有使用過的,不單是VR,許多遊戲也是使用手柄作為交互,HTC vive、PS VR也都是如此,可以說,目前來說手柄是主要的交互方式。

而手柄的觸覺反饋主要表現在按鈕和震動的反饋,讓你知道按哪裡是在做什麼,可以讓你在遊戲中更好的體驗,但是這種方式很難在其他更複雜的環境運用。

但是請注意,交互並不是獨立的,事實上各種交互是可以共存的。例如語音交互也是一種交互方式,我們在遊戲中摸不著頭腦時,及時的語音和文字指南,就能夠幫助我們進行下一步動作,而且這一交互和觸覺反饋並不衝突。

好了,回到問題,手勢追蹤和眼球追蹤。

眼球追蹤

眼球追蹤或許大家會很熟悉,例如漫威電影《鋼鐵俠》的鋼鐵盔甲,當然那個還運用了很多其他技術。

我們這裡只說眼球追蹤,通過對人眼位置的檢測,為所處視覺提供最佳的3D效果。這意味著什麼知道嗎?意味著你將進一步沉浸在虛擬世界中,因為你看到的就是真實的,並且因為是真實視覺,所以可以解決因為延遲和交互方式落後導致的暈動症。當然了,一個能夠自由移動的真實場地,也是必不可少的。

然而,很遺憾的是,目前的眼球追蹤技術並不適合投入市場,雖然有很多公司在研究相關的技術。

手勢追蹤

手勢追蹤相比眼球追蹤來說,似乎更有可能成為現實,事實上我曾今在一些展會上看到過一些光學追蹤的手勢追蹤感測器。

手勢追蹤這種交互有兩種方式:光學跟蹤和數據手套。

這方面不再贅述,只是題主表明的手勢追蹤的邏輯和參考聾啞人的手語,我覺得是不會的,因為在VR交互系統中,我們並不是聾啞人啊。這就好像你在遊戲里可以講話,也可以聽到別人講話,VR虛擬遊戲中,也是可以做到這一點的額,而手勢追蹤只是一個交互方式,讓你更好的遊玩而已。

嗯,VR虛擬現實的交互方式還有很多種,例如肌電模擬、方向追蹤等等,只不過我想目前的回答已經足夠解答題主的問題了。

如果是未來會以什麼為主,這個並不好判斷,我只能說手勢追蹤可能比眼球追蹤更早的投入市場,因為目前已經有相關的技術運用,只是還缺少精度。

而且,如果真的說未來的話,我們的交互方式也是在不斷進步的,從之前的滑鼠鍵盤到移動手機的觸覺反饋,動作捕捉和手勢追蹤,眼球追蹤……為什麼未來不會出現腦電波追蹤的方式呢?

PS:圖源網路,侵刪


沒有非此即彼關係。

如果非要比較這兩種,我認為手勢會有較大優勢。

因為眼睛要承擔觀察得任務,如果將發出指令也疊加進去,必然會使得觀察任務受到拖累,費時失事。

手天然就承擔操作得任務,給出指令更加恰當。

當然,聲音也會是不錯得選擇。


現在眼球追蹤是用來提高真實感的,手勢識別是用來和人交流的(比如說豎中指),實際上VR的思路是現實模擬,遊戲里用槍現實中就搞一個體感槍,遊戲里用劍現實中就搞個體感劍,遊戲里要走路現實中就搞個跑步機。。。。


等VR眼鏡成熟了普及了,力反饋手套也就成熟了,完整的VR體系邁出第一步。

不用考慮手勢之類沒用的東西,那都是美國人80年代搞虛擬現實的時候走的彎路。現在微軟用用也只是臨時措施。

下面這個是美國人1992年的產品

  「我怎樣才能進入康利-懷特公司資料庫?」

  「我不明白『康利-懷特公司資料庫』。」

  桑德斯想,這倒是真的,徹里小組的人不會把康利-懷特公司的情況編製成程序輸進幫助系統的,他們會用較普通的措辭來表達問題。所以,桑德斯這樣問道:「天使,我在尋找一個資料庫。」

  「好的,資料庫通道是由計算機鍵盤控制的。」

  「鍵在哪兒?」桑德斯問。

  「用你的手抓一把。」

  桑德斯抓了一把,一隻灰色的鍵盤就這樣在空氣中形成了,他好像正抓著它,他把它拉到自己跟前看起來。

  「真精緻。」弗爾南德斯說。

  另外一個人朝他們走來。

  「今晚真熱鬧。」他說。

  不過,即使距離不近,他也能看到這個人影與上一次的不同。其頭部更像真的人頭,身體更加逼真,這個人影在平穩自然地邁著步子。「這次可能會有麻煩。」桑德斯說,因為即使離得還有一段距離,他還是認出了那個人影。

  「是約翰·康利。」弗爾南德斯說。

  「對,而且他還在行走墊片上。」

  「這說明什麼呢?」

  康利在空中走廊中部立刻停住,目不轉睛地看著前方。

  「他能看見我們。」桑德斯說。

  「能看見嗎?怎麼會呢?」

  「他在操作我們安裝在那家飯店的系統,這就是為什麼他如此逼真的原因所在。他在操作另一個實實在在的系統,因此他能看見我們,而我們也能看見他。」

  「哦,哦。」

  「正是如此。」

  康利慢慢地向前移動著,他眉頭緊皺,從桑德斯望到弗爾南德斯,望到尼科爾斯,再回到桑德斯身上,好像他不知怎麼辦才好。

  然後他用一隻手指放在嘴唇上,示意不要出聲。

  「他能聽見我們說話嗎?」弗爾南德斯耳語道。

  「聽不見。」桑德斯用正常音量回答。

  「我們能和他談談嗎?」

  「不能。」

  康利似乎作出了決定,他向桑德斯和弗爾南德斯走過來,站在離他們很近的地方,一個接一個地望著他倆。此時他們可以清清楚楚地看見他的表情。

  接著他笑著伸出了手。

  桑德斯伸出手握住了對方的手。他什麼感覺也沒有,但是他通過頭部裝置可以看見自己那隻握住康利手的所謂的手。

  然後,康利握了握弗爾南德斯的手。

  「這簡直是不可思議。」弗爾南德斯說。

  康利指著尼科爾斯,然後又指了指自己的眼睛,接著又指了指尼科爾斯。

  桑德斯點點頭。就在尼科爾斯翻閱檔案時,他們一起走過去站在他身旁。

by 邁克爾 克萊頓


如樓上@雲端風景 所說,沒有非此即彼關係。未來的交互方式,無論是手勢交互還是眼球追蹤都有一席之地,在未來多元的交互環境下,這兩者似乎沒太多的競爭關係。

如果僅以兩者相比較——

在VR/AR環境中,手勢交互的優勢比如動作的多樣性、語義的豐富性、識別的穩定性等。以VR遊戲為例,其中所需使用的「姿勢」太多了,人類的常用手勢動作組合就有上百種,這些動作為語義定義提供了豐富多樣的選擇;缺點在於,目前手勢識別的魯棒性、遮擋情況下識別(即使我司實現了雙手交互的識別)仍然有待進步。

眼球追蹤的優勢比如適合隱秘的交互、不需要大幅動作等。在火車上玩個VR,操縱命令什麼的,靠著椅子啥也不用干,眼球動一動就搞定了。缺點就在於,它給出開發者和用戶的操作空間太小了,容錯率也較差,以至於甚至沒有一個落地的項目。

還有一點不得不提的是,兩種交互方式在現有條件下,用戶使用時間過久都會疲勞。手勢交互中,可以用一隻手作為支撐板來客服疲勞,但也只是一定程度;眼球追蹤目前小編還沒發現類似的方法。

————————-————————分割線——————————————————————

如果不止VR/AR領域的話,小編堅信是手勢交互!畢竟手術室里,你可以用手勢指揮計算機,不能瞪著眼睛給他命令啊。


關於未來的AR/VR交互會以什麼為主,眼球,手勢,語音,重力感知,甚至於腦電波等等,說實話,現在的技術根本無法滿足當下我們的展望和設想,作為一個AR技術公司的設計師,我更關注的是現在的力所能及的技術能做到的交互方式。現在Unity開發環境下,大多採用的還是原始的屏幕交互,分成界面交互和模型交互,模型交互則更多是採用類手勢交互,也就是我們現在能運用到的屏幕感知手勢然後做出反饋的交互方式。而且Unity所能做到的反饋效果也遠達不到設計師想要做的效果,包括模型效果反饋效果和界面反饋效果。討論將來的虛擬交互方式為時尚早,因為交互方式不僅是隨著技術的改良和發展有所變更,還會因為技術發展給人們生活習慣帶來的變更而變化。現在人們更習慣的是屏幕上的交互,所以就算有新的技術推動力出現,讓人們接受也是個過程。就比如,現在AR技術發展到這種地步了,阿里推出的AR紅包也好,AR掃「福」也好,都是比較初級層面的AR,他是在慢慢促進人們的感知方式和生活習慣的變化,同時也是看看人們對此的反應和態度,所以大談未來AR/VR的交互方式只是憑空設想罷了。


推薦閱讀:

未來VR/AR技術發展是否可以實現《刀劍神域》這類全息遊戲了?
如何評價 Rokid 在 CES 2018 上發布的 AR 眼鏡 Rokid Glass?
如何評價亮風台HiAR Glasses?
隨著人工智慧、自動駕駛、VR/AR、機器人、區塊鏈等技術的實現,未來的社會形態會變成什麼樣子?
混合現實(MR)和增強現實(AR)有什麼區別?

TAG:手勢控制 | 增強現實AR | 交互方式 | 虛擬現實VR | 手語 |