你想像中的magic Leap的交互方式是怎樣的?


(超高能多圖預警)下面一些圖是我看電影時候截得的對我之後做AR產品有參考價值的圖片(都是現在能用meta和hololens實現的,一些很扯的很傻而不可能實現的交互都不在此列)

目錄:

  • 手勢拍照

  • 拉燈

  • 修改時鐘

  • AR勞動

  • AR社交
  • AR運動
  • 《鋼鐵俠》

  • 《暴雨》

  • 《電腦線圈》

  • 《王牌特工》

  • AR可視化

—————————————————————————————————————

AR地圖

手勢拍照

物聯網-手勢拉燈

旋轉手腕手指以修改時鐘

—————————————————————————————————————

AR勞動

將日常勞動遊戲化——切菜

在平底鍋上滾『蛋』

—————————————————————————————————————

AR社交

戀愛分析

情緒分析

喜好分析

心跳指數

被你識別的人的朋友圈和最近照片

交往成功

—————————————————————————————————————

AR運動

量身高

全息跳繩

丟掉繩子,退出程序

開始跑步

將全息的小球撞入全息的圓圈裡

全息運動教練

做運動的時候知道自己合格不合格

紅色為腿沒張開到90度

綠色為良好

搏擊訓練——擊碎飛來的全息石塊,看到飛瀉的彩色粒子頓時覺得身心愉悅。

地上投影導航

—————————————————————————————————————

以下圖片來自《鋼鐵俠》

直接操控全息物體

選中物體

刪除

旋轉

全息穿戴

文字輸入

移動整個畫布

推開這個動作就代表了鬆手,即將物體放在現實空間中的某個位置。

旋轉畫布(揮動手腕)

高亮某個區域

放大被選中的高亮區域

單手推走界面(關閉)

把一個球放大,然後把自己包圍,這種交互方式可以作為AR時代的應用進入。

反之,關閉手勢——雙手合上

呈現應用的縮略圖

在全息影像的圖層中移動視角(右手往後挪)

撥開沒用的圖層(隱藏某些圖層)

選擇一個區域,拽動手腕

(被選中的區域持續放大,直至充滿現實中的室內空間)

將全息信息圖表進行縮放(以便更全局地觀察數據?)

旋轉這些數據

將數據展開(整個手臂的撮合?讓全息場景布滿空間)

(場景的尺度是你可以控制的,有利於你放大某些細節進行觀察)

對整個場景進行掃描分析

分析後得出的頁面依次層列在空間中

(太多的窗口就有點顯得為科幻而科幻了……)

關閉手勢

當以這個手勢捏拳時,所有排列的窗口被選中並膨脹。

向下快速揮動手臂則所有窗口變得暗淡

最後攤平手指起到release的作用,『關閉』生效

然後整個場景的mesh慢慢消退

另外一種雙手的關閉手勢,因為雙手沒那麼容易操作,所以用的可能不多

交叉雙手

因為頁面是有彈性的,所以當你的手把兩邊頁面撥開的時候,頁面就飛到邊緣處(關閉)

在場景還原方面(HoloLens已經很好地實現了一些)

對場景內全息物體的移動和縮放(感覺這個交互有點像Kinect)

推開全息物體,這個動作將它甩出去,出現在距離你眼睛合適的距離內,比如3米。

人臉識別

—————————————————————————————————————

以下轉自《暴雨》

抓起全息的小球

往桌上一摔

然後辦公室的場景就變成了這樣

旋轉視角

切換其它的場景

關閉

關閉手勢

打開新的界體

盒子展開

收起地圖

同樣相似的交互還有拉抽屜。

選擇文件

身邊會浮現被他掃描過的現實物體的模型,可以之後打開,查看模型的全息影像。

這些操作都類似於輕輕轉動手指

……

最後,摘下眼鏡,關機

利用眼睛上的相機對整個場景進行『掃描』和SLAM

室外掃描

室內掃描

掃描出了場景中的重要物體

比如地面上這把槍,光通過看很難獲得重要的信息,通過AR,我們將計算機看到的信息可視化在眼前(而且是最適合觀看的高度)

摘掉眼鏡後

—————————————————————————————————————

以下轉自《電腦線圈》

看時間

通話手勢——放個大拇指在耳邊

—————————————————————————————————————

以下轉自《王牌特工》

虛擬會議

—————————————————————————————————————

AR可視化

AR 像給了我們一雙機器人之眼,將虛擬視覺信息疊加(superimposed)在真實視覺信息之上,將虛擬聲音信息疊加在現實聲音信息之上,另外將我們感受不到的信息可視化地呈現出來。所以它的是現實世界的增加(augmented)或者補充(supplemented)

我們知道,可穿戴設備滿足了比手機更便攜的普適運算的需求,而AR將那些我們感受不到的信息可視化出來,兩者結合,相當於人感觀的延伸,某種意義上說的『機器已經成了我們身上的一個器官』

你們知道HoloLens的核心技術在微軟研究院的什麼部門?答案是人機交互部門,可見AR應是下一代人機交互的方式,比平面更高維度的信息,卻打破了原來人們隔著玻璃用手指和虛擬物體交互的局面。

觀察全息太陽系模型

用手撥開信息層

當然不止我們人類,狗狗也可以享受AR眼鏡


正好最近寫了篇文章分析由Magic Leap 探討未來交互方式。知乎不支持GIF圖片,所以請移步

由Magic Leap探討未來的交互方式 查看原文。

之前對Magic Leap的技術定位限制在 AR 增強現實的領域,但隨著現實世界與虛擬世界的交互反饋增多,Mixed Reality 混合現實被提出來專門描述這一類基於現實的模擬。在混合現實中,虛擬的物體會被現實世界的真實物體所遮蓋,比如掉到地上的虛擬皮球會被桌子遮蓋,需要低頭尋找,以此展現出更真實的交互體驗。

從交互方式上看,A New Morning 呈現了三種方法。

第一種方式與體育館裡的鯨魚無異,在現實空間中展現動態的虛擬物體。這類模擬的觸發類似於系統分析後的自動跳出,無需與現實物體有實體交互。

第二種交互方式是根據現實世界中的產品或動作調出虛擬內容。比如下圖中跳出的虛擬任務清單和天氣預報。具體的觸發和操作方式 Magic Leap在視頻中沒有解釋,但根據其遊戲端的觸發方式,可能是檢測到實體記事本觸發了虛擬界面。

槍戰遊戲概念中,在桌子上拍一下,酷炫拽的手槍馬上就被召喚出來了,還配有不同的顏色光效。非常適合coffee break的時候在辦公室和同事大戰一場。

模擬小象的視頻也是基於對手部探測的原理。系統檢測到了手這一現實物體,計算手的位置,並在其位置上生成小象的動態。在技術上,實現這部分功能用到的是 SLAM (Simultaneous Localization And Mapping) 定位與地圖構建技術。設備通過各種攝像頭與感測器探測真實物體在三維空間中的準確位置,在其基礎上做虛擬物體的構建。

第三種交互是在召喚出一級頁面後還能召喚二級頁面,二級頁面能進行旋轉,伸縮等變化。這可以大幅度顛覆網購體驗,還能幫選擇困難症用戶縮減換裝時間。比如買鞋子,把同款不同色的鞋一個一個對著腳比劃,簡單方便。

技術還支持從平面到三維的轉換。目前這段演示視頻的目的還是以內容介紹為主,介紹攀登珠峰的人物年代與歷史。技術成熟後可以用來做3D產品的Demo。比如建築設計提案,遊樂園區服務流程規劃等,從零到一介紹設計思路。

基於 A New Morning 視頻里的交互並沒有很多。但其實這家創業公司還有更多驚喜。Magic Leap在早幾個月曾發布過一系列專利報告,其中多達百頁的交互方式專利和場景預想也挺有看頭。其中環繞型的主操作界面召出的交互方式就挺不錯。

還有基於超市購買,兒童購物體驗,和多醫療團隊遠程合作手術的場景案例。具體看上文鏈接。

BTW,如過對VR手勢交互感興趣,可以去Leap Motion的Lab看看。有興趣私信一起探討哈~


看完最新的demo A New Morning裡面各個應用毫無徵兆地出現,對不起我想像不出他的交互方式,只能說如果不是腦電波我直播吃這demo里用的magic leap(對,就是沒東西吃)


推薦閱讀:

要製作一款應用,需要如何從零開始學習編程?
為什麼手機客戶端的搜索入口或者搜索框大部分都在頂部,在大屏手機中明顯是難點擊到的?

TAG:用戶體驗 | 產品設計 | 交互設計 | 增強現實AR | MagicLeap |