VR中如何解決你的手穿過虛擬剛體,而沒有產生剛體碰撞的問題?
(多圖預警)
觸覺模擬的研究很早就開始了
CMU的Maglev,99年的項目
CyberGlove雙臂力反饋
這些項目的特點都是結構複雜,造價不菲。這也說明模擬觸覺是一個很難的問題,因為現實物體太複雜了,難以還原出高擬真度的虛擬物體。隨著近年VR爆紅,觸覺模擬再次成為研究熱點,但是目前還沒出現大規模普及的跡象,仍屬於VR領域「聖杯級」的問題。我把最近看到的不錯的項目做了一個大概的歸類,總結如下:
1. 振動
利用振動馬達模擬觸覺,類似xbox手柄的振動功能。可以模擬表面阻力、碰撞反作用力、爆炸衝擊力等。印象比較深刻的就是Vive上The lab中的射箭遊戲,在拉開弓箭的時候伴隨著手柄的細微振動感覺很真實。但是模擬剛體碰撞有點勉強,因為手會直接穿過虛擬物體表面。
Teslasuit全身觸覺模擬,不僅有振動,還可以模擬溫濕度等
Teslasuit - full body VR suit
另外一個類似產品skinsuit
2. 特殊力作用
磁力:
前面提到的Maglev 就是其中之一,磁力通過操縱桿傳導到用戶手上。
FingerFlux 近表面觸覺反饋
FingerFlux- Near-surface Haptic Feedback on Tabletops
磁力的缺點就是作用範圍太小,如果想增大作用範圍的話,電流需要成倍增加。
超聲波:
通過將超聲波聚焦到用戶手上,並不斷掃描刷新,來渲染三維物體。
Rendering Volumetric Haptic Shapes in Mid-Air using Ultrasound
3. 限位電機
這也是目前大多數「VR觸覺手套」的解決方案,通過電機限制用戶手指的移動範圍來模擬剛體觸碰。這種方案也很早就出現了,如前面提到的 CyberGlove。
也有用氣泵代替電機的,通過調整手套內的氣壓來模擬不同的觸覺,類似血壓儀的感覺。
Hands Omni haptic glove lets gamers feel virtual objects
前一陣斯坦福團隊開發的「金剛狼」力反饋手套,利用了導軌和電機。
Wolverine- A Wearable Haptic Interface for Grasping in Virtual Reality
4. 機械臂
這屬於一大類了,比較早而且成熟的有Phantom Omni, Novint Falcon等。最近也有很多研究開始利用人機協作機器人如UR, Baxter等。它們的普遍特點也是:貴。
Phantom Omni 有配套Unity插件,可以很方便的開發VR程序
Phantom Omni haptics in Unity 3D
Disney Research 開發的遠程人機協作機器人
A Hybrid Hydrostatic Transmission and Human Safe Haptic Telepresence Robot
利用機械臂模擬牆壁
Versatile Encountered-type Haptic Display for VR Environment
Microsoft 在觸覺模擬方面也做過很多研究,最近他們發布了NormalTouch, TextureTouch兩個原型, @Tiotao 也在回答中提到了。雖然不是機械臂但是完全可以作為機械臂的末端。
Microsoft Research- NormalTouch and TextureTouch
機械臂方案的優點就是普適性強,理論上可以模擬任何觸覺。但是成本高,而且需要保證安全性。
5. 重合現實物體
也是Microsoft Research的項目,實驗中用戶依次拿起VR中的三個方塊,但其實在現實中只有一個方塊。原理就是VR中的世界隨著用戶的動作在不斷移動,但是變化很小以至於用戶難以察覺。
Haptic Retargeting- Dynamic Repurposing of Passive Haptics for Enhanced Virtual
通過無人機來模擬觸覺
BitDrones- Interactive Flying Microbots Show Future of Virtual Reality
這種將虛擬物體和現實物體重合的方案成本較低,但是可模擬的物體種類比較受限,因為在現實中必須有其對應的物體。
回到題主的問題,目前能實現模擬剛體碰撞的方案有很多,但是大部分成本較高。這也是力反饋技術需要解決的最大問題。
-------------------------------
歡迎關注我的專欄,專註分享VR乾貨
Lighthouse 定位技術解析(一) - Down the Rabbit Hole - 知乎專欄
如何看待0.5美元的lighthouse定位晶元發售? - 王喬志的回答
VR對設計領域會有什麼影響,設計師在VR方面能學習什麼? - 王喬志的回答
相關問題:為什麼VR中需要『觸覺』和『力反饋』?如何讓VR中產生『觸覺』和『力反饋』?
—————————————————————————————————————在現實生活中我們把手往下揮,會被桌子擋住,並微微彈了一下,你感覺你的手被震開了一點,你感到了剛體碰撞。而在VR中,我握著劍(controller幻化而成的),手和劍卻穿過了實體的桌子。而如果讓你在VR中avatar的手和劍被桌子擋住的話,,你的手還是穿了過去。。。就像我之前講的你摸你女朋友,肯定是先被她的身體擋住了,不讓你的手穿過去。如果在VR中,你感覺你的手穿過去了你還當它是幻影,就像我在《VR電影目前最大的瓶頸是什麼?》中講到的Swayze Effect,感覺像幽靈一樣。
更恐怖的是當你的頭穿過一個全息的女朋友時,你發下她的『身體』里什麼都沒有,只是一層紙糊的,想想也恐怖。最簡單的一個,在現實中你經常喜歡撐著桌子或者坐在桌子上,在VR你看到桌子習慣性地撐著或者坐上去,結果就是你的身體穿過了虛擬的桌子,你摔倒了。這時就會引發視覺和觸覺的衝突……這個問題,解決得比較好的是《job simulator》:你手持一個西紅柿想穿過厚厚的砧板,西紅柿被它擋住了,你的手卻穿過了它關於頭部,感興趣的可以看看《六自由度的VR中,用戶的頭穿過虛擬剛體時是什麼體驗?》—————————————————————————————————————PS:南京有家叫dexta的團隊做了一個叫做dexmo的產品,正在試圖將VR觸覺做到從0到1,有興趣的可以搜一下。給@胡痴兒2.0的回答做個補充。
Dexta是我一個基友/校友的創業項目,那孫子現在應該還在劍橋蹲著。
有興趣可以看他們官網
http://dextarobotics.com我想應該參照夢境的做法吧。夢是大腦自創的VR場景。你只需要一條被子和一張床和弱化的自我意識,就可以創建觸碰的感覺!因為,人是會根據夢裡的虛擬場景做動作的。而被子的阻擋和床的支撐就可以完成整個虛擬現實的觸感。以下是各種夢境下睡覺的人的感受(對於有人回復的用電壓,我感覺弱爆了,在極端刺激的虛擬現實場景中,帶入感很強,根本不需要太精細的電壓刺激):1 高空墜落,這個時候,人會應激反應抓緊東西,他會抓住被子,但是夢境還在繼續,他在夢境中還在墜落。所以,他抓住東西與否不重要,關鍵是夢境中,他墜落的感受,以及努力抓住的動作的回應。2 溺水,這個時候,恐懼感會浸透做夢的人,被子蒙頭就可以達到這個效果。3 擁抱,你抱住被子就ok了,前面也講了,弱化的自我意識很重要。4 吃飯,喝水,尿尿,便便,弱化的意識和自身的生理反應。例子太多了,就不一一列舉了。其實,人生不就是最大的VR場景。我們的靈魂在軀殼裡觀察,體驗世界。我們也看不到自己的長相,永遠以第一視角看事物。或許,每個我們都是自己的上帝。
ABB Robotstudio,可以抓起東西擺到合適的位置!
按照現在頭顯形態的VR技術,是很難解決剛體碰撞的問題的。只能藉助手柄提供一定程度的觸覺反饋。當然也能在周圍環境中放置跟虛擬物體大小差不多的真實物體來提供碰撞,但這個工程量就比較大了,每個VR場景都要布置相應的真實場景。要是VR再進一步發展,脫離現在頭顯形態,能夠以某些電刺激或者藥物刺激來欺騙大腦產生視聽嗅觸味這個五個錯覺,那麼題主說的問題就可以很容易解決了
看了這麼多回答都沒一個能解決問題的,我來答一個:
首先,可以換個思路吧,如果只是要解決手穿入剛體讓人很奇怪的問題,就把剛體做成彈性體,比如壓桌子,桌子凹陷,是不是更有趣?雖然與現實有差別,不過至少不像穿入那麼詭異,開發上也比較可行,只是會加大製作成本。如果真的要還原現實,最可行的方案其實實物還原,將VR中的場景和物體用模型一一對應,一些大型的VR體驗館已經這麼做了,當然成本會很高,而且不具有通用性。
至於具有通用性的方案,可預見的是目前及很長一段時間內都不會有靠譜的方案,目前的研究方向主要是機械裝置模擬,原理就是通過裝置的形態可變性和力傳遞直接與手作用,模擬手觸碰物體的感覺,難點在於人手的靈活性和人的姿態行為的複雜性,與機械裝置作用時很容易對人的活動產生限制,要完全無限制就需要自由度極高的機械裝置,就算做出來,價格也會極高。而且要模擬剛體碰撞就要求裝置的力度要在與人的力度對等,這就導致裝置很難做小了;
其實還有一個辦法是神經信號欺騙,就像黑客帝國里插在人背上的線纜,本質是給神經直接傳遞模擬感覺的電信號,欺騙大腦,如果能實現的話,就不僅僅是觸覺了,任何感覺都能實現了,那就離黑客帝國時代不遠了,當然目前還只是科幻。VR如何實現觸覺?有人想出天才般的方法 |VR第一資訊 VR013
戴上HTC Vive或Oculus Rift虛擬現實頭盔,你所看到的一切都栩栩如生,真實到嚇人的地步。許多公司在優化虛擬現實的視覺效果上已經愈加深入,但是仍然有一個主要擋路石存在:觸覺的複製。
Facebook 旗下Oculus的執行科學官Micheal Abrash提到:「要複製真實世界的觸感根本就沒有希望,因為我們沒有辦法去複製有著運動學的真實世界。」Abrash通過運動學指出基於碰觸的觸覺科技還有待發展,人類要想在虛擬世界中碰觸並做出反應還需要等待。
但是,不少公司正在著手解決這個問題。例如 Oculus Rift和它的Oculus Touch控制器。但是就像我們之前提到的,在虛擬現實中還要拿著笨重的操作器會讓玩家無法投入。位於猶他州的一個虛擬現實研究中心The Void,則利用流動的風與水的效果來讓VR感覺更加真實,但對於每日在家的用戶來說,這也不是解決之道。
然而,一位研究員為了彌補虛擬現實在觸覺上的不足想出了一個天才般的方法。
Pedro Lopes是德國Hasso Plattner 學院人機互動實驗室的研究員,近期發明了一種由兩部分組成的設備,讓玩家在戴著VR頭盔時感受到撞擊的力量。
這個設備叫做「Impacto」,可戴在手臂或腿部,模擬撞擊的感覺,比如一個足球撞到腳上,或者一個人拍打你的手臂的碰撞感。
這個無線設備的其中一個組成部分提供了虛弱的震動感——與大部分觸覺設備相似,就像你用Xbox手柄玩賽車時感覺到的震動。但是Impacto有趣之處是它的第二個部分,它會為你的肌肉連上了兩個電極。它可以模擬與肌肉疲勞時所做物理治療相同的肌肉電刺激。
「當這兩個部分結合起來,你的大腦就會受騙——就像某種幻覺。」Lopes在接受Tech Insider採訪時說道,「當觸覺驅使你的肌肉移動的時候,大腦也有一部分的主導。」
Impacto利用Xbox運動跟蹤相機來發送電刺激,這個相機可以捕捉到你是否在VR中遭到了某種撞擊,並且驅動Impacto傳送震動感。
「大部分人都會感覺到某種程度的震動,無論是來自於手機還是Xbox手柄,」他提出,「Impacto帶來的則是完全不同的感覺,因為它更傾向於真實。你在VR里會真的感覺到撞擊,因為它所帶來的肌肉電刺激。」
Lopes的團隊並沒有計劃商業化Impacto。反之,Lopes希望這個研究可以幫助推廣可戴式設備能夠更好地發展觸碰這一感知。來看下面這個視頻吧!
impacto- 可在VR中模擬物理撞擊的可穿戴設備視頻
幾天前,Microsoft Research提供了兩種單手指觸覺反饋的方案。讓玩家的手指可以在虛擬世界中觸摸到物體。
第一種叫Normal Touch。由兩部分組成,一個可以三軸轉動的圓盤,和下面的馬達。使用時玩家的手指放在圓盤上,圓盤下方的馬達帶動圓盤扭動,讓玩家感受到手指接觸面的傾斜度。
另一種名為TextureTouch的解決方案和上一種很像,只是將圓盤換成了可以升降的平台組。有點像微縮版的春晚的升降舞台。玩家的手指可以感覺到虛擬物體凹凸不平的表面。有興趣的,可以科學上網看官方發布的視頻。https://www.youtube.com/watch?v=SC5v3u0vmm4論文地址:NormalTouch and TextureTouch你好,
我們在開發一款類似cyber glove的手部感應器,用於AR/VR 的設計或遊戲的輸入。
現階段就在開發力反饋裝置
如果感興趣,可以聯繫我更多信息:指感器 (http://www.liuquanshenlan.com/Input.html)郵箱:ranmotech@163.com其實這種擔憂正是一項技術趨於成熟卻並未成熟之時最容易發生的、操之過急的問題。
VR從遊戲行業走到了大眾的概念之中,而新參與進來的新人卻不見得有遊戲行業的背景,一步一步走是科技行業必須得前提,尤其是對於硬體來說,我相信如今國內VR行業的從業者之中有絕大多數不了解圖形技術從像素邁向高清、從二維邁向三維都經歷了哪些曲折。所以這些人對於技術的迭代速度就沒有一個概念,所以才會在如今VR剛剛起步就能問出「VR怎麼解決觸感」這種問題。
咱們天朝歷來有把新概念吹上天的優良傳統,參見近年來大把大把僅用互聯網+的基礎概念就忽悠了大量50後60後麻瓜的例子就很清楚了。
現在回頭看看世嘉任天堂爭霸的年代,出現了很多中看不中用的設備,再往前看一步,歐洲工業革命初期也出現了大量被如今人認為「奇葩」的新奇發明。
這其實就是全新的概念出現之時都會遇到的現狀,大家都不知道怎麼辦的時候,真正有用的產品都是從大量試錯之中篩選出來的;
雖說從宏觀的角度上說這些行為是促進一個行業成熟的一個充分條件。但這並不能為那些大批底子不足湧入新行業碰壁後還心安理得的門外漢背書。
我個人所持的態度就是力反饋這個問題在VR行業已經算是屬於一個比較終極的問題了,按照現有的技術實在是沒有特別穩妥的解決方案,因為他始終繞不過「實體」這一層,而這個行業的本源就是「虛擬」啊。
不然的話即便在實施的角度上有困難,理論至少還是可以有的,如今連理論都相當的匱乏,強行通關簡單暴力的硬體模擬只會是「為了解決一個問題而引出了十個問題 」的蠢萌行為。輪廓匹配系統 外骨骼可控約束價格比較高
不知EMS肌肉電刺激能否用於解決這類問題?我們觸摸到硬的東西時,手指通過神經系統傳給大腦,大腦處理後會給我們一個反饋(就是我們的感覺),那就是:這是個硬的東西,我們再用力就會有了更深的壓迫感,我們就知道這東西是沒法穿過去的。虛擬現實中,自然不可能有實際存在的物體給你施加這個感覺,但如果通過運用了肌肉電刺激技術的外設,模擬出這種神經刺激,模擬出這種「感覺」,「欺騙」我們的大腦,讓我們誤以為觸到硬物?具體感覺傳遞可參照@水雷屯的回答
這裡的問題其實不是沒有剛性碰撞,而是沒有碰撞導致用戶「齣戲」。從這個角度看咱們不一定要解決剛性碰撞反饋問題,能讓用戶不齣戲就行。
舉個例子,用戶面前有個虛擬出來的妹子,如何讓用戶覺得妹子是真實存在而不是幻影?
思路1:你伸手想碰妹子,妹子總是能靈巧地躲開。(通過對人手位置的感應避免用戶觸摸到vr物體)
思路2:你伸手想碰妹子,摸到皮膚的一瞬間感受到手套的震動或電流,同時妹子被碰到的胳膊被往退縮避免和你的手重疊。(用電流,壓感等模擬觸覺,但很難做精細)
思路3:你伸手想碰妹子,我擦居然真的摸到了妹子!手感真實!感動!同時現實中的人看到的是你戴著頭盔摸著一個貼滿感測器的硅膠mm。(用實物模擬觸感,逼真,通用性差成本高。vr里的妹子要變個身高就得重新做個硅膠模型)
思路4:戴上vr頭盔後你看到一束亮光,一個遙遠的聲音告訴你你已經死於一場車禍,但因為強烈的放不下自己女朋友的執念沒能投胎,現在你的魂魄飄到了你和女朋友的小屋。。。你眼前出現了眼角帶淚的妹子,你想伸手擦去她的淚水,結果手從她身體中穿過,她彷彿感覺到了什麼,朝著你的方向疑惑地睜大了眼睛。(乾脆靠劇情設定讓人相信妹子是真的,自己是幻影)Brain computer interface
我想到了一個辦法,肉體跟隨,在你胳膊下面放一個擋板,一旦你快要碰到虛擬的桌子了,它就自動位移到現實中同意的位置。這方法需要很牛x的電機控制技術吧。