現在世界上有較為成熟的MR(混合現實)設備嗎?

本來以為AR挺拽的

後來發現了MR

很小的時候看過莫林的眼鏡現在有些「奇異」的感覺

目前我已知的有 HOLOLENS 和 MAGIC LEAPS

中國有類似的開發產品嗎?

最好滿足以下要求

2018年之前開售

20000元以內

謝謝


---- 更新 2017.7.8 ----

一個月過去了。很多人都在討論HoloKit到底靠譜不?淘寶怎麼還沒有發貨啊?哈哈。

我決定公開謎底:我們白送HoloKit哦。HoloKit就是一份禮物送給大家的。因為HoloKit是一個創意項目,開源的目的是拋磚引玉,希望開發者一起來加入混合現實的未來。作為一個創意藝術工作室,我們自己沒有什麼規模化生產和銷售的想法,但為了能讓這個事情冷啟動起來,我盡自己的能力承擔費用,並手工製作了1000套HoloKit免費送給開發者,希望你們能夠啟迪更多的人。

為啥淘寶和Amazon呢,就是統計一下有多少人認真願意支付,我們才開始製作,因為手工製作HoloKit很辛苦的。大家都可以得到退款的。

這是我寫的一封公開信,給所有的開發者!

呃,英文版讀起來更正常一點。

如果你不是開發者,沒有iPhone 6 Plus, iPhone 7 Plus 也想玩HoloKit怎麼辦?

7月15日2017網易未來科技峰會,會有一個AR專場,屆時很多HoloKit將會展出各種Demo哦。中國各位小夥伴都可以去報名體驗哦。現場有送驚喜哦。

報名 | AR專場邀你探討下一個數億新增用戶市場!

----更新 2017.6.9 ----

關於HoloKit這個Project,這篇知乎文章是我在中文圈和大家分享信息的唯一通道。我的一切觀點以本文為主。因為是個開源項目,會不斷更新,隨著開發的進展,我會隨時更新本文。

很高興看到大家的關心,我做這個開源項目的目的是圖好玩和大家分享,並沒有想得罪誰的意思。因為效果:真!的!不!錯!啊!我和我的小夥伴,真就是帶著HoloKit在家裡看動漫人物跳舞(MMD) 。超爽der!有木有!我真的沒有騙你!

所以開源一波,給大家提供一個清奇的腦洞。

真誠的需要大家的幫助,讓更多人體驗到MR。

不要黑,既然都開源了,好不好用試試咯。開源的意義也是想讓更多的人也可以看到inside out tracking是怎麼工作的,加入這個未來中,多好啊。

-------正文---------

雖然題主的問題是:

現在世界上有較為成熟的MR(混合現實)設備嗎?

我其實回答的是下面的問題,但我覺得也算是給題主一個靠譜的答案:

如何在2017年的今天在$30內自己動手製作一個比HoloLens效果還好的混合現實眼鏡呢?(就像HoloLens或者Magic Leap聲稱的效果)

現在是2017年6月,距離上次我發知乎的Magic Leap Hololens的異同的揭秘答案(Magic Leap 和微軟的 HoloLens 相比有哪些異同點?) 有了1年半,混合現實(Mixed Reality)的世界似乎有點變化,變得更火了。然而從一個普通的消費者角度來講沒有什麼實質性進展:

(a) Magic Leap依然還是個迷,流出來的信息也就是一張背包圖,和我1年前猜的一樣,是個背包prototype。

(b) Hololens還是非消費者版,現在這個版本我2年前就用過了,東西是不錯,感知部分 inside out tracking 做的很棒,顯示部分一般(視場角只有34度),要價$3000,消費者買不起。

(c) 李嘉誠先生投資的Meta 2開始預訂,還沒有發貨,我在上個月斯坦福的Workshop on Augmented and Mixed Reality的會議上,用了demo,發現inside out tracking巨差,latency &> 100ms,顯示部分清晰度一般,而且還需要一台PC連著,最重要的是我預定等了一年半還是沒有拿到!

(d) 其他的MR公司的眼鏡也都停留在展會demo階段。

但1年半內,變化的是:現在誰都號稱自己在搞混合現實增強現實了。每天 AR/MR 融資新聞不斷,或者就是牽強扯上MR的概念,就是不見乾貨。連Pokemon, Snapchat, Facebook這些公司,非要掛上MR的概念,賣著帶相機的眼鏡,或手機相機疊加特效的老梗。

AR/MR/VR/XR 這個領域定義很亂,名稱從來沒有統一過。為了大家沒有歧義,在這篇文章中,我武斷的下個定義: Mixed Reality 是特指直接通過肉眼看到虛擬圖像的在現實中疊加,並且現實部分應該是直接看到的( see-through)。Augmented Reality是個泛指,所以很多用手機屏幕做的東西都被稱為了AR,但我們這篇文章只關注Mixed Reality這個特定的話題。

總之,我們等了1年半,泡沫變更大了,不見乾貨。至少消費者覺得不給力啊。這都2017年了!

==========

下面是乾貨。

既然等不到,那我們自己來做一個唄 !

我今天來給大家示範一下做一個紙盒版的混合現實眼鏡,加上你手上的iPhone就好了。

我沒有搞笑,很嚴肅的。我保證這貨是work的,效果還很好,而且有黑科技加持。

顯示部分,這貨視場角比HoloLens大的多,對角線達到76度,HoloLens只有34度,選擇正確的鏡片後還更加清晰。

感知部分,我們有基於視覺和慣性感測器融合的由內向外定位的黑科技(inside out tracking)。不需要特殊硬體,只需要你的iPhone哦。同時也支持Tango,反正你要用啥都可以。

我給它命名:HoloKit 。

它長這樣:

先上視頻:

視頻封面HoloKit - 把你最愛的MMD和遊戲搬上你的桌面!bilibili.com視頻

( 我是導演,兼剪輯師,兼一半攝影,兼一半攝影助理,兼一半製作人,兼音效編輯。快表揚我!)

把你的手機插上去就能用了。和Google Cardboard類似,但這次是混合現實哦。

我們的盒子支持Tango也支持iPhone。下面有的Demo是用Tango,有的用iPhone。

=== 先看效果 ===

先來看一些我們自己做的例子(均為拿Sony A7Sii相機實拍,沒有特效,都是動圖):

在紐約大中央車站裡的太陽系

在紐約大中央車站裡的初音MMD (以下模型的版權所有: Unity Chan)

在紐約大中央車站的Vanderbilt Hall 的寵物小精靈對戰(以下模型的版權所有: Nintendo)

站在波波後面控制波波的是我。

在紐約大中央車站裡漂浮的大鯨魚 (Failwhale, aka, Lifting a dreamer, 以下模型的版權所有:Yiying Lu)。

在紐約地鐵里的遛狗全息 (Volumetic Capturing)(以下模型的版權所有:Owlii, Ltd.)。

在紐約地鐵里的吉他band的全息 (Volumetic Capturing)(以下模型的版權所有:Owlii, Ltd. )。

這個是我們拍攝過程(免得你們說我和Magic Leap一樣做特效):

直接把HoloKit套在相機前

(感謝 SilverQSY 作為攝影師, https://www.instagram.com/silverqsy/)

展示我們的內向外定位(inside out tracking)的黑科技:

======下面是製作過程======

總共三步:

第一步:首先你需要一張瓦楞紙,按著我這個設計圖的形,拿剪刀或激光切割出來。黏上三張鏡片:一張全反鏡子,一張半透半反,一張菲涅爾透鏡。大淘寶上搜,一大堆,我在github的開源文檔中給出你購買這些原件的Amazon鏈接。按照這個設計圖黏上雙面膠。

第二步:雙面膠撕開,把他們捲起來(像墨西哥雞肉卷一樣)。(動圖)

第三步:下載我們這個App:HoloKit,到你的iPhone 7 plus,然後插入你的HoloKit。這個app有主動定位的能力(inside out tracking,就是能感知到你在空間中的位置,這樣就能使得讓虛擬的物品定在一個物理的位置上,用戶會感覺這個物品好像就在物理空間中一樣)

塔噠!完成啦!

是不是很簡單呢?(喂,誰的臉被打了?)

===誰用都說好!===

我的老師斯坦福大學的光場顯示專家 Gordon Wetzstein 教授,在斯坦福大學的混合現實研討會上使用 HoloKit (2017年5月11日)

谷歌tango項目的創始人老大 Johnny Lee 在斯坦福大學的混合現實研討會上使用 HoloKit (2017年5月11日)

美國最大網紅Casey Neistat 在紐約使用 HoloKit (2017年5月24日):

我們在AWE 2017的Booth(增強現實大會上) (2017年6月1日)

======下面是分析比較======

給你們一張表格HoloKit對比起其他MR產品的優劣。

(這麼算對角線 FOV : h = 30 deg, v = 17.5 deg for hololens. 2 * atan(sqrt((2 * tan(h degree /2))^2 + (2 * tan(v degree /2))^2) / 2) to degree)

=顯示部分=

  1. 視場角:明顯的好處是HoloKit大,對角線視場角76度(估算),比Hololens的34度大多了。
  2. 清晰度:可以從我們實拍的視頻中看出,HoloKit清晰度非常高(我們用了比較好的材料但比起屏幕來說不貴)。實際體驗的話,你會被驚艷到的。清晰度比Hololens和Meta都高很多。
  3. 一體機:是的,HoloKit不需要線連著,它只用了你的手機,它就是一個一體機。有Wifi 有GPS,所有手機能幹的,它都能幹,並且有了混合現實的感知和顯示。

=交互部分=

1. 交互外設支持:你能想到的能連上手機的東西,都能做交互
a.比如說一個藍牙耳機的音量鍵 + 你頭部指向中心的游標,就可以做幾乎等價於HoloLens 主要交互模式。

b. 比如說任意一個藍牙控制器($10以下),都能做交互。

c.比如說另外一個手機也能做控制器,還能實現了3自由度的交互呢。

下圖中這兩人一個用手柄,一個用手機做交互。其實效果都是一樣的。是不是很便宜就實現了很多很科幻的效果?

2. 手勢識別

    1. 最簡單的方式:我們可以裝個$70 leap motion上去也實現了黑科技手勢識別。
    2. 黑科技的方式:利用現有普通手機的單目攝像頭做手勢識別,不需要額外硬體。

這個目前有很多庫都能用,一個比較好的是 manomotion

哈哈是不是覺得一台手機把Hololens做的都搞定了呢?

3. 語音識別

這是可是手機啊!手機上的語音識別早就很發達了,所以手機上的常用的語音識別庫都是可用的。

=感知部分=

1. 內向外的定位 Inside out tracking。

原來我們參考了開源的VINS做定位部分。

好消息是,Apple 在6月5日,發了 ARKit ,效果看起來也不錯。所以那就更好了,HoloKit也可以完美支持ARKit。

所以現在感知部分可以使用 VINS, ARKit, Tango 三選一。多好,Google和Apple 我們都支持,開發者誰好就用誰的。用戶體驗優先。我會放出針對HoloKit適配的調參SDK。保證三個Tracking都支持。

2. 平面檢測。以上三種感知演算法都可以告訴開發者平面位置。所以可以將虛擬物體置放於桌子和地板上。

3. HoloKit是支持Unity的,所以不需要你懂黑科技和c++,普通程序員藝術家也能使用Unity,來開發基於HoloKit的App。

==========為什麼HoloKit長這樣?==========

上圖是HoloKit的光路圖,你可以看出我們為什麼要把手機豎起來,因為我們要有inside out tracking給出手機位置信息,才能將虛擬物體渲染在真實場景上,形成疊加。

但其實仔細想想這種潛望鏡設計,其實並不難。而且李嘉誠爺爺投資的Meta的設計其實也就差不多:你看下圖眼鏡里那個屏幕,明白了吧?就是一個潛望鏡設計,放塊屏幕哈哈,哈哈是不是很簡單,沒有那麼黑科技。

===================下面才是重點===================

因為這個項目的目的,我們只是想希望更多的人能更快的用上混合現實,讓這個世界加速點進入未來。所以我們開源 HoloKit 送給世界當一個禮物咯。

其實你們可以把這個項目看成一個學術加藝術的社會性實驗項目:

Mixed Reality概念從HoloLens和Magic Leap出來兩年,還沒有 Killer App。如果能通過這種紙盒型的產品,將試錯成本極大的降低,我們很期待聰明的有創意的藝術家和黑客會誕生什麼樣的Killer app來驗證這個行業。

所以歡迎大家一起來貢獻代碼。

也歡迎各種藝術家,博物館和黑客在HoloKit的基礎上做App和藝術,開腦洞,搞大事情,我們會把你們的video鏈接到我們的網站上的。

對於想合作的廠商們,歡迎聯繫我們 (info@holokit.io),我們想把這個開源的項目推廣起來,並且讓更多人的體驗到mixed reality,非常需要你們的幫助。目前我們官方已經授權了一個廠商生產了官方版。

我們的設計稿的開源協議是非商業的授權(具體見我們的開源文檔),只要不做商業用途,隨便自己玩。請注意,開源不意味著隨便炒哦,生產需要我們的書面許可,我們不希望隨意生產的眼鏡毀掉很多人的第一次混合現實體驗,其實這東西看似簡單其實不容易做對,鏡片的位置關係有一點誤差圖像都會不重合,而且需要我們開源軟體部分調參。我們的源碼是開源的GPLv3的,意味著你們要修改我們的軟體,你們的源碼也要開源哦。

只要你使用或參考了我們的代碼和設計(不管是硬體還是軟體),我們基本訴求是必須清晰的註明是來自 HoloKit 這個項目,給足credit,論文要cite。具體的註明方法,參見我們的章程 Term of Use (https://holokit.io/terms ) 和源代碼里的說明。Again,請務必尊重我們的勞動。

另外,軟體有什麼Bug,什麼不穩定,很正常,我們也就是幾個學生和愛好者發起的開源項目。不要光來黑,這也是我們要開源的意圖,因為我們力量很小,需要更多人完善它。反正開源,咱一起搞,一起來貢獻代碼吧,讓未來來的快點。

HoloKit 由Amber Garage工作室和紐約大學ITP學生朱逢源合作研發 。硬體設計和研製來自歌航電子,經過整個團隊半年的打磨,才形成目前的產品設計和開源代碼。

項目網站(啥都在上面了,購買鏈接):

https://holokit.io

看視頻請翻牆。

不翻牆的看bili。

http://www.bilibili.com/video/av11129306/?from=searchseid=17397271605345100909

代碼

http://github.com/holokit/

===============最後是廣告=====================

我是誰?我是Amber,是一個住在車庫的斯坦福計算機系畢業的從事人工智慧數據科學轉業搞新媒體藝術的腦洞少年(青年)。我有一個叫Amber Garage的藝術和科技工作室。我的工作是想像工程師(Imagineer),做新媒體藝術,無人機和定位規劃。我做了很多有趣的項目,HoloKit 是其中一個新項目。

如果你想來加州和我開腦洞做新媒體藝術和無人機,那麼 英文簡歷投到這裡: hr@ambergarage.com (不在美國的需要抽H1B簽證的孩子就先算了吧,H1B抽籤使得我們小工作室從中國招人還很困難)。

我們需要:機器人軟體工程師,機械工程師,計算機圖形學Tech artist,3D設計師和Concept Artist。

===============轉載===========================

本文默認不可轉載。

本文的共享協議為 CC BY-NC-SA 4.0 Creative Commons 署名,非商業,傳播時不可修改 並附上知乎原帖鏈接與原作者名:Botao (Amber) Hu。

轉載聯繫我 info@holokit.io


題主的問題:

現在世界上有較為成熟的MR(混合現實)設備嗎?

看了下面所有的回答,感覺都沒有完全到點子上,嘗試著分享下自己的一些認知和經驗,儘可能的科普和去專業名詞化。所以這個回答是對小白的,資深的就繞道吧。

作為一個搞光學搞了十多年,或者說被光學搞了很多年的老年人,個人認為 VR AR MR的最基礎的層面,最初的出發點是從光學的實現方式上面來區分。(當然軟體也非常重要,需要配合好交互和環境識別等的應用場景)

分4步講, 概念的明確,目前的狀況,以後的時間節點,還有今天能夠買得到的。

1 概念

首先簡單來講,三個R的區別:

VR 是虛擬現實,就是只看到虛擬的的東西,沒有現實世界的東西,簡單說 閉著眼睛 看不到現實的東西,你看到的東西都是屏幕上面的。這個很好理解,市場上的雜牌和非雜牌的手機盒子,把現實世界完全擋住,這就是VR的概念。載體就是頭戴式VR的盒子。產品像HTC Vive,facebook Oculus等。欺騙的是大腦。完全阻斷現實世界。

AR就是增強現實,除了現實的世界的東西,還有數字的信息(顯示器)做為個層,附加到你現實的世界裡,這樣幫助你提供一些信息,起到增強現實的作用,舉個例子,你去埃菲爾鐵塔旅遊,用上這麼個東西,不管是眼鏡還是手機的載體,你看鐵塔的時候旁邊就可以呈現出相關的信息介紹,載體可以是手持設備或者頭戴式AR的頭盔,眼鏡等等。產品像Meta glasses, Microsoft Hololens,還有前面Amber寫的AR手機盒等。沒有層級的概念,欺騙的還是大腦。

MR是混合現實,就是除了現實的世界的東西,還有數字的信息做為同時 或者分時(當然速度要快到你察覺不到)的個深度層呈現給你的眼睛,現實世界是無限多的層級和無限的解析度,這個在有限的數字信息上很難做的到,magicleap他們做的研究大概是最少需要6層來模擬現實世界,這樣的話 所成的虛像對於眼睛來說 就和現實的物體一樣,光線從各個深度層到眼睛,可以同時 欺騙大腦和眼睛。這就是為什麼叫混合現實,理想來說 就是你前面放兩個物體,完全分不清哪個是虛擬的,哪個是真實的。當然現在的科技水平做出來是非常有難度的,這個也是Magicleap現在在做的事情,光場成像。其實MR概念最開始也是他們搞起來的,除了他們家,很多家也都在秘密的做這個事情,不只是大公司,小公司如Avegant,原來是做個人頭戴電影院的,也有一些demo出來在做光場這個事情。

除去現在的技術壁壘,例如視場角,解析度的因素,VR&

VR是AR的子集,AR是MR的子集。

下面這個圖解釋的比較清楚:

2 目前的市場狀況

了解了這些概念,我們現在再來看看目前的市場狀況。

1 VR

低端的如手機盒子,高端點的如vive,oculus。主要是用來打遊戲或者看電影。生產基本上是飽和。你想買就買的到。

2 AR

現在你們能夠看到的所有的AR,還有宣傳MR的 都是這個品類,包含hololens,meta,ar盒,odg r7,r8,r9等等。AR光學的實現方式主要有兩種,一種是傳統光學,就是反射,折射這樣的,odg,meta這樣,還有就是波導類,主要產品有lumus,hololens,這篇文章不細講,下一篇可以打開來講如果有人有有興趣。AR關了燈就是VR了,所以說VR是過渡,是子集。 你有錢想買基本上可以買的到。

3 MR

主要有兩種方式實現,一種是全息,還有一種是光場,微軟剛做了一個基於全息的原型機,僅僅是原型,,基於光場就是Magicleap搞得那些,這兩種技術目前都還遙遙無期。你在這些深度層級切一片下來, 就是今天講的AR。所以MR又包含了AR。 你有錢想買 基本上也買不到。

3 實際的時間節點及其應用

講這麼多廢話,還沒有講到具體的應用,VR的主要的應用是娛樂,打遊戲,不涉及和現實的交互,簡單說就是自己High.今天就可以享受的到,只不過還有一些問題需要解決,比如眩暈,像素顆粒感等等。

AR用好了是一個工具,所以在AR,挖掘起來 一定是工具屬性先被開發和利用,這就是為什麼Hololens有修電梯的操作工,還有我之前在的SKULLY做摩托車頭盔可以讓人不轉腦袋看到後面的車況,總之都是解決人類的某一個需求。這個今天你可以解決到一些專業需求,但是沒有辦法象手機一樣人人愛。

MR做的好了讓人分不清現實 虛擬,開會啥的以後都不用出差了,搞個3d模型面對面就行,當然還摸不到(有一些公司在搞氣味,觸覺不過還早期),但是從光學層面,已經能夠完全的分不清現實虛擬了。這個做好了 可以人手一個,個人估計還要至少3-5年,當然也不排除來個牛逼的公司一下縮短人類進程。象iphone在非智能機的時代,不過比較難。

再往後,就應該是大腦直接Hack了,舉個例子,你的視覺觸覺聽覺等等都是電信號,給你大腦一個信號,你就馬上可以體驗坐過山車,即使你坐在自己的椅子上,可以給你一些刺激來模擬實際的物體對你的作用。這個還遙遙無期。如果真實現了也不一定是好事。(想想女神可以隨時隨地隨便約,豈不是很失望 )

綜上所述,從感官來總結 VR就是在虛擬世界約虛擬女神,AR就是在現實世界約虛擬女神,MR就是現實世界約看起來是現實的虛擬女神,大腦hack就是不止可以隨時隨地約真實的女神,還可以做點別的。

無論是VR,AR還是MR,解決的都是視覺反饋的問題,也就是你看到 feed給你的世界是什麼樣子的。現在到真正的MR可能還要走很多年,畢竟人類還沒有習慣看放大的虛像(除了自己照鏡子 即使這樣也不能放大縮小),以往人類歷史所有的經驗都是看實像,從以前的電影,電視,到今天的手機, Ipad,但是這些都還只是顯示層面的技術,還有一個更重要的層面 是決定顯示的內容,物體,以及什麼時候應該顯示什麼東西的問題,這些就是人工智慧的範疇了。

4 今天可以買到什麼

所以回答題主的問題,很遺憾的是,在今天2017年,幾乎沒有成熟的MR(混合現實)設備,都還沒有解決人戴上去就想摘下來的感覺(除了行業內的人的工作或者狂熱者,幾乎沒有人願意戴類似hololens的產品生活),人手一部MR還任重而道遠,但是隨著機器學習等技術的快速發展,相關技術,尤其是人工智慧領域已經可以看到有消費級,很不錯的產品出來了,所以在AR MR產品還沒有完全進入消費者層面這個空檔裡面,不妨可以多了解一些關於人工智慧的產品。

回到人工智慧方面, 現在能買得到的,國外的產品有Amazon Alex和google Home。

在國內, 除去玩具類的交互產品,在嚴肅AI層面,若琪是非常認真的一家公司,作為一個創業公司,無論在產品還是在市場推廣都在摸索模式,包含前一段的知乎廣告也是毀譽參半,但是大家如果有接觸,應該可以體會的到我們做產品的用心,例如雙音節的喚醒,遠場的拾音,還有我們最近發布的研究成果聲紋的識別,每項大大小小的技術都有很多思考和科學家,工程師的專註凝聚在裡面,無論AR和人工智慧,今天的產品都還不能完全的達到一個理想的境界,但是我們可以參與到這個產業 也是人類進程成長的這個過程中,也許是一件更有意思的事情。

http://www.rokid.com

大家有問題隨時知乎投條,歡迎討論。下一篇如果有人感興趣,可以深入講講今天的投身AR的各個廠家。


ODG的R7,R8,R9,工業級。


不客氣的說

微軟花了350億美元在hololens開發上 你覺得地球上還有哪家有這個魄力 ?

OEM放出來的東西都已經削了幾個版本了華碩聯想Dell之類的估計18年出貨吧


除了hololens沒有其他的。 MR不是你說是就是的產品,從供應鏈的角度來說,下一個接近或者和hololens差不多的量產產品18年能出來就不錯了。


之前看到36氪上有一篇比較牛逼的帖子剛好講到了這個問題,原文鏈接:關於智能眼鏡,你不知道的那些冷知識和新概念

其實MR的研究現在已經突破了 Mixed Reality (混合現實),進入了 Mediated Reality(介導現實)階段,並且目前已有成熟產品推向市場。在此我們需要先了解一下兩個MR的區別。

首先,虛擬現實(Virtual Reality, 或VR),增強現實(Augmented Reality, 或AR)和介導現實(Mediated Reality, 或MR)不是技術而是概念。在智能眼鏡硬體上實現這些概念的方法才是技術。拋開各個公司各種越來越多的營銷名詞,我們需要來系統地理解一些基礎知識。智能眼鏡的這些核心概念是一個連續體,像愛因斯坦提出的由時間和空間共同組成的時空連續體(Space-Time Continuum)一樣, 真實的物理世界和虛擬的數字世界也共同組成了一個叫介導現實連續體(Mediated-Reality Continuum)的東西。在這個連續體中,我們可以清楚地理解虛擬現實, 增強現實和介導現實的區別和聯繫。

混合現實(Mixed Reality)是Mediated Reality 的一個真子集。Mediated Reality在實現混合現實效果的同時,還能現實畫面數字化並進行調整與修改。

VR/AR — 虛擬現實和增強現實的關係

讓我們先從一個點R0開始聊,這個點叫做原生感知現實。這是正常人類的視覺系統能看到並理解的世界。簡單點來說,這就是一對叫「人眼」的相機拍到的一組照片,就是裸眼畫面。

以此為原點,向右延伸,我們就有了一根數軸。數軸上的標度代表了我們往裸眼畫面上投放數字信息的多少(Amount of Augmentation)。投放後呈現在我們眼中的畫面就是增強現實。

當數軸上的標度不斷增加,我們會離R0越來越遠。最終,我們會得到一個極端情形,即虛擬現實。在這個離R0無窮遠的點上,我們的裸眼畫面完全被數字內容覆蓋。現實中的事物,也和我們的雙眼毫不相關。因此,VR是AR軸上的一個點,是AR的一個極端情形。我們說VR是AR的一個真子集。如下圖。

根據增強現實量的多少,我們可以標出各個主流智能眼鏡在數軸上的位置。接下來,我們來看幾個眼鏡形態例子,並對它們進行標註:

1. 輕量級AR — 類似Google Glass的智能眼鏡

輕量級AR只可以小範圍的顯示數字信息。由於不需要生成電腦圖像,通常是單眼稜鏡光學透視的設計方案。我們把這類眼鏡稱為Notification System(提示型系統)。這類眼鏡的市場是在於拍照,裡面有個指導思想叫做Equivalence,大概講的是如何通過分布在每個人身上的相機來構建和諧社會。這個有機會我以後再跟大家分享。

2. 中量級AR — 類似Microsoft Hololens的智能眼鏡

這類眼鏡視角最大達到50度,是中量級AR,可以在視野里疊加3D數字模型。為了立體效果,通常是雙目稜鏡光學透視。微軟也把這類眼鏡叫Mixed Reality(混合現實)。但這是他們做AR眼鏡的商用名稱,有別於學術上的概念。為了防止大家混淆,真正的混合現實涉及的範圍在我們的文中沒有提及,以後有機會再聊。在國內,有一家做中度AR的公司叫亮風台,創始人和我一樣都是雲南人,也是巧得一逼。

3. 重量級AR — 類似HTC和The Void的所謂動態VR眼鏡

戴上VR頭顯,背上電腦,在一個布滿標記和外置相機的體驗館裡進行遊戲。大家把這種體驗叫做動態VR(真實環境會被渲染成遊戲場景)。在我們的圖上,大家可以看到它離VR很近,但已經不屬於純VR了。理論上來講,它實際上是重量級AR體驗。雖然用的是VR頭顯,但形態不能決定本質,所以大家要認識清楚。我相信動態VR是虛擬現實行業下一步的發展方向,也可以看出VR在從一個點慢慢往左延伸。

4. 純VR眼鏡

純VR頭顯大家就見得比較多了。今年在國內湧現出了大批的VR頭顯設備。個人覺得頭顯硬體做的不錯的公司是樂相科技。純VR體驗設備一般是固定式的,打個遊戲、坐個過山車啊什麼的,這種體驗做得好的公司很多,大家碰到的時候可以花個幾十塊錢去體驗一下。

從以上例子不難看出VR和AR的融合趨勢,一方面輕量級AR開始在視角擴大的進程中向著中量級AR靠攏;另一方面,像The Void一樣的體驗館,將現實環境的幾何結構融入VR體驗中,使得VR向重量級AR轉變。那AR之後的MR如何實現呢?要實現MR,只需要在頭戴顯示器中加入一對特殊的相機。剛才理清楚了VR和AR的關係,我們就開始聊聊MR了。

MR — 數字化的視覺感知

讓我們再回到R0,並開始另一個維度的延伸。之前說R0是裸眼畫面,不同的人甚至是不同的物種,各自的裸眼畫面是不一樣的。有的人高,有的人矮,老鷹看得遠,馴鹿看得暗。因此,在對現實本身的感知能力上我們還有另一條線。這條數軸從R0往豎直方向延伸,標度代表視覺感知能力的大小。這條線和原先的AR軸相交構成一個平面,這個平面就是之前提到的叫MR Continuum的東西。

在我看來,智能眼鏡終極理想不是變成遊戲機,而是革新人類視覺感知。智能眼鏡不但要讓人們看到比裸眼更多或更少的現實畫面,還要在這畫面上任意疊加數字內容。因此,可以修改的眼前畫面就包括了現實畫面和要疊加的數字畫面。在下圖中,裸眼無法直視的燒焊場景在MR眼鏡中變得清晰柔和,眼鏡使得佩戴者在看清場景的同時通過數字內容的指導去完成正在進行的工作。

我還在實驗室時,曾經幫助一家美國的醫療成像公司做膚下血管成像的相關演算法。這也是MR的一種應用。眼鏡佩戴者就像有了X射線般的超級視力,即使是在具有挑戰性的臨床環境,也能快速容易地確定血管位置。

腦洞如果開大點,基於可以被數字化的現實,我們可以試著去做一些很神奇的事情。像下圖這種立體街頭藝術可以做到眼鏡中來。

甚至,我們可以通過各種濾鏡把雙眼看到的景物以某種畫風重新渲染。讓你身處在一片花園中看到梵高或達利眼中的世界。

實現了MR概念的智能眼鏡,就是給你一雙神奇的眼睛,然後根據你的需要再讓你看增強現實。因此,AR比MR少了一個維度,是MR的一個真子集。這樣我們在MR連續體中就衍生出下圖關係。

看到這裡,有心人可能已經發現易瞳科技設計師的匠心了。除了像大眼套小眼外,它表示的就是MR連續體。實際上Logo有四個圈,那少了的一個圈(虛線部分)其實就是代表的Mixed Reality。

目前市面上致力於 Mixed Reality 的公司比較出名的是Magic Leap,這個在體育館內一躍而起的大鯨魚也似乎成為其代名詞。但去年12月9日,國外付費媒體The Information報道稱,雖然Magic Leap近年來發展迅速,但實際是通過營銷手段炒作誇大了公司的技術能力,它展示的宣傳視頻不過是特效而已,還沒有真正的變成面向市場的產品。

The Information對Magic Leap的質疑主要有三點,首先是虛假宣傳:雖然Magic Leap發布過多個效果驚人的視頻,但幾乎全靠特效。目前可以證實的是,至少有一段視頻出自視覺特效工作室Weta Workshop。這家世界知名視覺特效工作室的作品名單中不乏《指環王》、《阿凡達》這樣的巨制。

此前多數人都相信Weta工作室只負責設計開發了這款遊戲中的視覺效果,其他所有的工作都由Magic Leap完成。Magic Leap所宣稱的增強現實技術離完全商業化可能仍需數年的時間,很有可能不會進行商業化生產。報道聲稱引用Magic Leap前員工的說法,原型產品所使用的大部分技術都不會出現在「商業發售」的產品中。

相比之下,Mediated Reallity(介導現實)已在國內有了較為顯著的發展。易瞳科技在2015年將介導現實相關概念引入國內,現已產出包括PC端和移動端兩款產品,並多次獲得國家級行業級獎項肯定。上個月還幫助 Mediated Reality 的提出者——「穿戴電腦之父」Steve Mann教授,與中國可穿戴計算聯盟一起在深圳成立了我國首個穿戴計算研究院。

詳見原文:中國首個穿戴計算研究院落戶深圳_央廣網

PC端MR智能眼鏡:VMG-PROV

VMG-PROV是一款PC端視頻透視智能眼鏡,可融合VR/AR/MR的效果。VMG-PROV通過頭顯自帶的感測器進行Insight-Out追蹤,帶來更穩定的空間定位。雙目RGB雙膠合鏡的採用,能呈現出大視角無色差的高清AR畫面。高動態範圍的視頻透視,遠超人眼可視範圍。通過按鍵+手柄+手勢識別的方式,可實現與數字世界的自然交互,帶來虛擬與現實的完美交融。

移動端MR智能眼鏡:VMG-JUNR

VMG-JUNR是一款移動端智能眼鏡,物距瞳距都可調節,支持 IOS/Android 所有手機型號,可同時實現VR AR 兩種操作模式。雙膠合鏡的採用,可呈現無色差的高清AR畫面,帶來震撼眼球的視覺感受。加上獨有的觸點操作交互模式,可帶來與眾不同的移動VRAR新體驗。

以上部分內容來自微信公眾號:易瞳科技VisionerTech

感興趣的知友們可以去上面看看視頻和介紹,一定會有所收穫。


「本來以為AR挺拽的」....所謂的MR其實就是AR。

HOLOLENS 體驗過,感覺還行,就是視場角有點小,我們EasyAR在做HoloLens的適配;

MAGIC LEAP不知道;

關注一下Meta 2,看官方宣傳片效果不錯,真機還沒體驗過;

國內也有不少AR眼鏡...還要加油。


微軟聯合了幾家大廠出了一些同樣號稱「MR」的設備,反正都是微軟自己造的詞,也就不糾結是HoloLens型,還是VR頭顯型。估計2017年年底會上架~


樓主問的是設備,不是頭盔或眼鏡。

各種軍用飛行/駕駛模擬器應該是最頂尖的應用設備了。

這種提供各種感知的設備才是所謂沉浸式體驗了。


HOLOLENS


有啊,不過很貴。f35,颱風等戰鬥機的頭盔。


玩過Meta之前的prototype。視場角很小啊感覺。


索尼最新的那個接觸屏也許可以算。


除了hololens,應該沒有別的「成熟的」MR設備了吧


HoloKit 的空間定位能力如何?這是從原宣傳視頻中提取出來的。在第一視角,雙方的皮卡丘都是同步運動的。

別說代碼都開源了,讓質疑者去看源碼。我可以放一段真正定位的代碼但是永不調用。既然是你們的項目也是亮點之一,那麼展示空間定位這塊就應該拿出誠意。

GHKUST-Aerial-Robotics/VINS-MobileI上的兩個演示視頻只是數據圖而已,並不能說明真正具備。


推薦閱讀:

拳擊、散打等格鬥類訓練有什麼好用的可穿戴智能設備?
Moto 360 2代的使用體驗是怎麼樣的?
你最喜歡的Apple WATCH錶盤是哪一款,為什麼?
「智能手錶」到底能不能和「西裝」和諧搭配?
Apple Watch在運動手錶領域是否優秀?

TAG:人工智慧 | 增強現實AR | 全息光學 | 智能可穿戴 | 介導現實MR |