Leap Motion 能用來做什麼?在你所熟悉的領域,你能設想出哪些應用場景?
在PingWest - 全球視野的前沿科技媒體看到一則新聞:體感控制器Leap Motion即將登陸零售店:滑鼠的敵人會創造怎樣的生態系統?
Leap Motion可以追蹤到小到0.01毫米的動作,Leap遙控器擁有150度的視角,可跟蹤一個人的10個手指的動作,最大頻率是每秒鐘290幀。而這個設備只有三寸長,一寸寬,看起來像一個U盤,售價僅70美元。截至目前為止,Leap Motion已經收到了開發者們寄來的超過26000份邀請,並且其中有很多都是極其別出心裁的創意。現在排名最高的一些應用來自藝術和設計領域,其他排名最高的一些應用開發還包括音樂視頻類、科學和醫藥類、機械操作、教育等等。對此 Michael Buckwald 相當驚喜的說:「當初我在開發這門技術的時候,可完全沒有想到他原來能有這麼多用處,開發者們比我有想像力有創意多了」。讓我們來想像一下,在你所熟悉的領域,它有哪些應用場景?附:Leap Motion 的原理是什麼?
謝二爺邀請
剛剛申請成功得到一部開發者Leap (Dev硬體第五版),想從開發者的角度來說說Leap。
曾經在Media Lab參與過一個基於Kinect的項目,使用增強現實(augmented reality)來為遠程視頻會議增效;於是申請Leap的時候提出做一個類似的軟體,使用Leap來進行手勢加強的視頻通訊(賣點是能便利跨文化交流,以及場景模擬等等)。
不知道國內有多少程序猿也幸運的拿到了Leap,我想以自己的上手經歷先給充滿期待的觀眾潑一點冷水。原因主要是:
1. Leap的識別範圍限制。(補充一下@笑道人 )
如圖,Leap的識別範圍是:+Y軸上的一個扇形,更為苛刻的是,只能在+Z和-Z軸之間一個有限的距離(大約-3cm 到 +3cm),形象的說,是一塊頂朝下的不超過100人民幣的切糕(而不是Doc說的完整倒三角)。因此想要有大範圍的交互,甚至延伸到身體,是不可能的。目前的硬體本身還有不少的問題。昨天試驗的時候發現,由於大拇指比較短,很容易不與其他四個手指在同一平面,會被Leap忽略。
2. 開發者資源相對匱乏
在Leap dev論壇上逛了挺久,覺得給開發者的支持並不是太多。Documentation只有短短几個頁面,到目前也沒有太多開發者可以共同使用的開源包。(Leap Motion | Developers 這裡就是目前所有的library了)這與Kinect開發時大量公開源、超激烈的討論,還是有一定的差距。如果Leap想在今年年末正式推出帶App store的Leap,還得在開發者社區多做做努力。
3. 高靈敏度帶來的開發難度
Leap真的非常靈敏-當然這是交互愛好者的福音。但別忘了人的手本身就是非常不穩定的,下圖是Leap Visualizer的情景,在截這張圖的時候我已經盡量保持手靜止了 —— 結果還是像震級掃描儀一樣。造成麻煩的主要是目前的Leap識別還不是很穩定,結合上Leap有限的識別範圍,在做手掌半徑計算(就是估算手中握著球的大小)時會有很劇烈的擾動,對很多原本希望高精度操控的軟體帶來開發難度。
-----------------------醜陋的分割線-----------------------
回到正題,lz提問Leap能有哪些應用?作為一個幸運的開發者,我很慚愧沒有自己很fancy的主意,不過我現在能想到的有:1. 全新的動作遊戲。大家都提到了MS Kinect,我覺得Leap上出現的遊戲不僅僅是Kinect或是Wii移植這麼簡單。如此高的精度可能會帶來新的思路,一個不咋地的例子是,一款以閃避為核心的手指操控的橫版過關遊戲。
2. 新的音樂教學方式。比如說,把一部Leap倒放過來在鋼琴上方進行逐鍵的初級教學。(好吧,這是借用了Media Lab一位師姐的點子) 吉他、笛子、提琴也是類似。
3. 聾啞人士的交流福音。試想一下,如果所有的手勢都可以被精確翻譯成文字,甚至以語言播放出來,聾啞人士的日常生活是不是便利很多?
4. 超級可觸界面。作為Tangible Media的愛好者,我想到如果在一堵牆,或是一塊玻璃下面放一個Leap,配上投影,我們就能像《少數派報告》那樣與」非顯示界面「交互了。當然,這只是YY。
And one more thing, 雖然很基礎但貌似上面都沒提到的,
計算機(尤其筆記本)行業的革新。Leap的便宜價格使得其很容易被整合到筆記本中,如果你能夠通過手勢來上網,PS,敲鍵盤,用Win8那不」滑鼠友好「的界面,打Dota,做生意。。。是不是很酷很美好?
報告完畢,打個廣告,如果有Leap開發愛好者也拿到了機器,歡迎討論項目方案我想的是可以用於殘障人士的電腦甚至於機械操作,或者教育行業。遊戲什麼的倒是次要了。現在聾啞人或腿腳有殘疾的朋友,使用電腦和一些器械真的很不方便,如果這個東西能普及的話,不只是電腦,能裝到一些家用電器及公共設施上面,是不是能夠給他們帶來方便呢?比如開門、比如紅綠燈安全島提示按鈕、比如冰箱門打開關閉,比如公共圖書館的書籍借閱....身體不便而不能做或很難做的事,是不是能便利一些呢?
蟹妖。
在LeapMotion之前已經可以實現的體感操作最完美的,就是微軟的Kinect。
已有的體感操作套件支持超過50套遊戲,而且微軟的Kinect for Windows計劃提上日程也有相當長的時間了(記得宅映像關門最後那段時期寫東西的時候就已經在熱切討論了)。
遺憾的是,現階段仍舊沒有良好的實現移植化技術,就被後續的SoundWave(Computational User Experiences: Using the Doppler Effect to Sense Gestures)趕超了過去,提前開始了針對PC用戶專業化的手勢操作技術提供。
而LM號稱提供比微軟的Kinect更精確200倍,所以實現Kinect的所有遊戲操作功能毫無意外。
從競速遊戲到養成遊戲,只要Kinect的第三方廠家肯移植,在PC上實現問題都不大。但是由於LM目前(SDK v0.7.1 +Rev6)做出的都是手勢操作(多手運動:移動,Rotation和Scale;單手運動:移動,旋轉和張合;曲面手型:針對法線和移動速度),而且只有 4 立方英尺的空間,所以全身運動現階段是不可能考慮的,DANCEMasters這類的全身體感遊戲想移植,估計還有待繼續改善。直接應用於醫學方面,大概還有漫漫長路要走。(辦法現在多方都在揣測,一是靠多終端LM構成一個更大的空間,達成其實質結果;另一個就是索性放棄精度進行空間更大的擴展化,當然,這都是後話)。立體空間對平面結果進行的操作,現在看還是比較簡單和受限的。
但是LM的dataFPS幀率能達到115,已經足夠現階段的3D繪圖和建模了。超低延遲的操作概念比較符合現階段的操作理念,尤其是對3D圖形的有效性操作很高,這對於很多設計人員是一個利好消息。同時有人測試過LM對各物體的辨識,發現其對紙面做平面法線的辨識度相當的高。很輕易就能夠認出來。
(我的第一個想法就是——這樣直接立體掃描的話3D建模豈不是非常容易了?以後對3D產物的掃描靠LeapMotion來實現,能省多少事兒~)所以,LeapMotion雖然是個不錯的技術,但是具體的應用革新恐怕還要經歷很長時間的市場化考驗。尤其是在微軟本身也沒有能夠良好的趟開這條路的基礎上。一方面對於精度和其他物體的辨識,決定了它的發展方向;一方面對於空間和精度的把握,決定了它的市場差異化適應。Leap Motion的概念主要就是體感+操控。
目前只是針對手部,如果做一個組合版或加大版針對整個身體的捕捉呢,想像空間就無限大了。
近的:患者/運動員肢體恢復訓練,配合AR界面完成任務,通過遊戲機制提高神經系統的伺服校正效率;遠的:我的腦子裡有高達,EVA等巨大人形機器人在咆哮。此文又長,對此題的回答集中在最後部分,前面是我的思考過程:
看了很多測評,開發者紛紛表示,手酸。 說實話,雖然我已經預訂了一隻,但我實在無法想像出leap motion的應用場景。 在傳統應用中,它真正優於並能取代滑鼠的,我能想到的只有滾動網頁和縮放地圖之類的操作,而我比較期待的,是 prezi 對它的應用,感覺這才是為了leap motion而生的應用。而滾動網頁,縮放畫面這類手勢,本質上測量的是位移矢量,不隨參考系的變化而變化,而畫圖這類操作本質上,測量的是標量。它們對精度的要求不是一個量級的。 而對於在需要精確定位的情況下,它就是一個你玩幾次新鮮過後繼續回去用滑鼠的玩意。例子如下:clear for mac+leap motion所以你能想像真的用它玩CF嗎,傻逼呵呵地把手比成槍狀,小心翼翼地瞄準敵人。不靈的,你還沒看清人就回復活點了,真的不靈的,拿黃金槍也不靈。
PS畫圖?把手懸在半空中畫上半天?等你手抽筋了都不好跟人解釋啊同學。 真就買回來用它切水果?也許一開始爽,但到後來你發現自己切的炸彈比水果還多,分數還沒別人閉著眼睛在ipad上刷的分高的時候,你就哭去吧。 這種尷尬,並不是leap motion宣稱它的精度達到了毫米級就可以解決的,有著更深刻的原因。------------------------------------------------------------------------------------------------------------------ 於是又到了我瞎扯概念的時間:交互維度。 交互維度分為兩個部分,「輸入維度」和「輸出維度」。 「輸入維度」很好理解,比如我在iPad上畫畫,很明顯,我的輸入是二維的,我的每一次操作都由平面坐標繫上的兩個點決定,同樣,滑鼠也是二維輸入設備,只是它的坐標系在滑鼠墊上,而不是屏幕上。 而我們現有的主流的顯示設備,都是二維的,電腦,Pad,電影。這就是「輸出維度」。 所以從維度的角度看,觸屏的革命很好理解,它將「輸入」的坐標系和「輸出」的坐標系統一了。而滑鼠的實際上是把一個平面上的坐標投影到了另一個平面上。或者說,以前它們分別是兩個二維的平行宇宙,互相看不見對方,中間只靠蟲洞連接,後來,發生了一個很科幻的故事,結局是它們合併了。那有一個問題:鍵盤輸入是幾維的?
一維的。很簡單,因為如果你把鍵盤上所有鍵一一對應到直線上的一系列點,是不影響你的輸入的。我們這裡指的「維度」,指的是輸入設備經過拓撲變形簡化之後的結構。 這裡就要提出一個問題:「是否所謂交互方式的革命,就是交互維度的革命?」 第一次交互革命,圖形交互界面出現,輸出設備進入二維。 第二次交互革命,滑鼠取代命令行,輸入設備由一維進化到二維,與二維的輸出設備等維度。 第三次交互革命,其實我覺得更應該叫第二次半革命,觸屏出現,將輸入坐標系和輸出坐標系在二維合併。 然後就是現在呼之欲出的新革命。很顯然我們可以看出是一次二維向三維轉換的革命。 所以leap motion的真正深層次的問題是什麼? 它是一個三維的輸入設備,但是輸出設備卻是二維的。實際上,leap motion是將三維空間的信息向二維表面進行投影進行交互的。它實際上損失了一個維度的信息。 但是有人要反對了,leap motion可以識別我離屏幕遠還是近啊,也可以識別我的手是高還是低啊,實際上是3維的信息。假想你桌子上空飄著一個球體,天花板上有一個點光源,於是球體在桌面上投影了一個圓形的陰影,當球體向光源靠近時,影子變大,向桌子靠近時,影子變小。
Leap motion的原理一樣,它記錄的三維信息,在投影到我們二維的輸出設備時,其實只是一個平面上忽大忽小的球罷了。 真正的革命會在真正的3維顯示技術出現的時候到來,對,托尼斯塔克,我說的就是你。 但是在這種技術到來之前,leap motion之類的東西是不是就沒有發展前景了呢? 也不是,我認為就像滑鼠和電腦一樣,在真正的3D顯示技術出現前,三維交互會經歷一個過渡期,也就是在一個參考系進行三維輸入,通過坐標變換,在另一個參考系進行三維輸出。例子如下:超帥氣!Leap Motion+全息技術二合一 而對於leap motion的開發者,我的建議是:你們要做的根本就不是讓現有的軟體與leap motion兼容,而是根據leap motion的三維輸入特性,設計全新的三維空間下的應用程序。 就像iPad誕生後,根據觸摸屏特性設計的那些前所未見的應用一樣。而現在很多人做的,就好像iPad剛剛誕生之初,機械地把windows的應用程序往平板上面套一樣。對,微軟,說的就是你。 總結:開發者不蠢,隨著leap motion的發行,只要它硬體實際使用情況達標,商業運轉良好,在前期短暫的大家不知道可以拿它幹啥之後,一定會有一批顛覆你概念的牛逼軟體出現,讓所有人恍然大悟,原來三維應用應該是這樣的。 就像當年的憤怒小鳥、切水果一樣。 然後這個應用市場會真正繁榮,一批又一批超乎我們想像的應用會出現,它們在屏幕里呼之欲出,等待著,那個真正能將它們帶入現實的三維輸出技術。三維模型的旋轉,縮放,和移動
可以部分的代替這玩意的功能,當然想取代還是有很長距離要走的詳見3D建模利器----3DCONNEXION公司雙旗艦控制器靈感來自電影 鋼鐵俠 超酷科幻:走進《鋼鐵俠》3D全息交互系統
以及 少數派報告 中阿湯哥找線索是操控電腦的方法(好瞌睡了明早起床找視頻)感謝科技工作者在慢慢把幻想變為現實,也希望哪天你們能用上我的設計。阿湯哥應該是最早明白leap motion花哨不實用的人,哈哈。20131204————————
- wii與kinect已經好幾年了,好玩的體感遊戲一隻手可以數過來,新的遊戲很少考慮體感方式,有體感也沒什麼樂趣;
- 體感交互方式,不可避免長時間使用勞累的問題,這就導致無法代替常規輸入,鍵盤滑鼠手柄。試試抬起手臂30秒,就會有點酸;
- 另外一個缺點是隔空,非所見所得,力度其實難以精確。如ps下,Leap Motion必然不及手寫板;
- 與觸摸不同,觸摸是自然的交互,技術達到了必然可以引爆。而體感並非自然交互,雖然在極少的一些情況下更適合,但非常小眾。
要考慮Leap Motion能做到滑鼠做不到的事情,當然是3D設計與雕塑。當我們用滑鼠做3D建模時,因為3D模型是三維的,而滑鼠控制只能是二維的,所以實際上的操作只能是通過模型投影在二維屏幕上的點,再經由計算機猜測判斷而反饋到三維模型中。這其實是個很痛苦很彆扭的過程,只是我們一直以來都這麼操作,就習慣了。設想一輛汽車的三維模型,半透明化以後滑鼠往上面隨便一擱,計算機就無法判斷你想操作的到底是汽車外殼呢,還是發動機殼呢,還是氣缸蓋呢,還是活塞呢,還是活塞環呢,還是底盤…… 目前的解決辦法有很多,比如把暫時不需要操作的部分隱藏,或鎖定,或彈出菜單讓你選擇,或有一些更智能更方便的方式,但這些方式都不能根本上解決問題,因為2D和3D的鴻溝究竟是無法跨越的。有了Leap Motion以後,操作直接就3D了,一伸手就直接抓住某個零件,然後另一個手抓來另一個零件,直接在空中模擬裝配,感覺相當拉風,重點是極大提高工作效率。至於雕塑,我們之前很少做,主要是因為真實雕塑太麻煩,不像塗鴉,只需要一張紙一支筆就能做,電子化的塗鴉更方便,拿起ipad打開paper就能畫,畫筆顏色什麼的隨便換。而換了用電腦做雕塑作品,比3D模型設計更難以與電腦溝通,因為3D模型多是數字化,圓的方的給個描述就出來了,雕塑則需要更多難以量化的曲面,試想看著屏幕中一塊懸浮的橡皮泥,你可以用十個手指捏成需要的形狀,或懸著的是一塊木頭,一塊水晶,你的手指直接就成了各種刀具,可以隨心所欲地進行創作,這是滑鼠無法做到的,再好的滑鼠都不行。
先謝個邀, 感謝邀請我來YY一下這個東西的用途。
不知道為什麼, 看到可以精確識別手指動作, 我第一個想到的應用場景居然是打飛機。。。。
暢想一下, 如果一個打飛機的應用, 可以根據你手指的速度, 而智能選擇播放畫面和聲音,並且根據節奏自動匹配最適合的叫床聲音, 當一切結束的時候, 還屏幕還可以自動切換成一個溫馨的輕風綠草的電影畫面。 這會讓整個活動變得多有效率和人性化。再說些正經的。
如果能檢測手指活動,那也許能重新創造一種高效錄入方式,不在需要鍵盤和滑鼠。 這樣我們的移動生活會變的更美好。不需要太多的成本,就可以把家改造成智能房屋!比如出門時揮手就會關掉煤氣、電視;進門的時候雙手背到背後會打開熱水器之類的超神應用!
(強烈建議看我後面推薦的第二個應用場景的視頻!)最近我也入了一個只花了75 RMB,拿來過過癮,體驗還是很不錯,剛出來不久,開發者的加入還不夠多,未來幾年想必會有質的變化。
1.先給大家看下第一個視頻。如何用自己的雙手壓毀(zhong)滅(er)三連,虛擬現實dota2操作難題或已解決這是一個識別手勢動作的應用,pl確實是太靈敏了,識別太精確的動作卻無法忽略手本身的抖動。最近BMW7系還有BMW i-Vision-Future-Interaction概念車上的AirTouch功能一定讓大家印象深刻-------用手懸空調節車內溫度,用手懸空抓住倒車時的模擬影像進行旋轉都太科幻了。或許【手勢識別】會是一個很大的運用場景呢。在LM自己的app商店裡面已經有一部分是可以通過手指的動作進行音樂播放器的控制了,我用的是酷狗,播放,下一首,音量調節,那感覺確實很棒,用得不是那麼頻繁手也不會累。如果有很多手勢自定義,例如電腦窗口的最小化、關閉、網頁下拉等那麼也許會非常的實用。
遊戲領域也一樣,想拳擊這種,出拳的動作識別相對會更容易,體驗也會更加好。
另外就包括汽車的人機交互,教育,醫學解剖,甚至是手語翻譯,等等都可以用【手勢】作為突破口。2.再給大家看第二個讓人炸裂的視頻!
如果上面講的是用三維的輸入設備與二維輸出設備的交流,那這個視頻就是三維和三維的交流了。【Yivian】Oculus/Leap Motion新玩法驚艷大眾今年的CES展大家看到最多的可能就是VR,AR的設備了,現在在lp自家的應用商店也已經有很多支持vr的應用了,LM作為一個三維的輸入設備,跟三維的輸出交流。Leap Motion 官方也有賣Oculus DK2的支架配件,【很多的VR應用讓我們可以更加直接的交互了】,再也不是各種奇怪的手柄了那些所謂的手柄真的太反人類了。而且下個版本如果讓leap motion有藍牙或是其他的無線連接,然後配上電池,將會有更多的應用場景。VR,AR在跟它的配合下想必電影《鋼鐵俠》裡面那種科幻的操作也很快就能走入大家的生活,我想這也是它作為一個三維輸入設備的意義所在吧。我特別希望有一種技術能把多點觸控和 IBM Thinkpad 的小紅點結合起來。後者的重點是讓用戶可以在手不離開鍵盤的情況下控制指針設備。
Leap Motion 目前的性能似乎還不足以實現這個功能(?),但從已有的一些演示視頻看,我覺得有戲。祭出前陣子做的基於Leap Motion的一款輕量級圖片修飾工具的DEMO視頻吧,希望能給大家帶來一些啟發。
直接拋出視頻鏈接吧
LeapPhoto - 全球首款基於手勢控制的圖片修飾工具學生作品,想法也許不太成熟,僅作為拋磚引玉。Brain storming 了一下。現在想到的:
1. Air Guitar! 空氣吉他。2. 射擊遊戲。FPS,和Bio Hazard 之類,這下可以不用光槍或類似的瞄準器controler了。伸出手模擬持槍即可。籍Leap 的高精確度,瞄準應不是問題。扣扳機什麼的應該也行。3. Smzdm 上有評論提到illusion 的Real Kanojo。略邪惡哦。4. 雕塑。還有很多。再補充吧。設置密碼只有一種動作能解開
多媒體教室上課
比如 天文課的星系什麼的3D建模 期待和3DMAX maya 犀牛這樣的軟體結合起來
比如 一隻手旋轉或放大我的模型 另一隻收可以打草稿記筆記 哈哈老實說 Leap的使用場景有限 可以說限制在桌子前面了與其問什麼場景 還不如問和什麼軟體結合使用我能想到的是I社可能因此復活....
虛擬的巫毒玩偶,想扎哪隔空一戳就好。環保,精度高,想扎JJ絕不會扎到肚臍去。ps:LM也好,kinect也好,如果再有合適的力反饋裝置就完美了。
很猥瑣的答案,實在忍不住要說……《尾行》……
取代滑鼠。另外可以將屏幕當做觸摸屏,是不是可以弄成下圖這樣類似的感覺。
推薦閱讀:
※《設計是什麼》讀書筆記
※運用在汽車 HMI 及內飾設計中的 Emotion Design(情感設計)及創新設計有哪些例子?
※做設計靠猜的可以嗎?
※先學會思考,再說能不能解決問題!
TAG:交互設計 | LeapMotion |