Magic Leap 和微軟的 HoloLens 相比有哪些異同點?
剛微博上看到谷歌magic leap的裸眼全息視頻嚇傻了。請問是真的嗎?視角不同所看的景象也是不同?如果是真的不需要一個載體嗎?跟微軟的相比又有什麼區別?
最近看到國內網路上突然Magic Leap的話題火了,並且跟著很多人無理由和根據的贊或黑Magic Leap。我在斯坦福計算機繫上學的時候,對Magic Leap很好奇,正好在學校能接觸到各路和Magic Leap相關的大神,所以在這方面做了些研究,我覺得可以分享點技術性乾貨,解釋一些原理,讓大家有點材料來贊或黑。
目前Magic Leap只有一個公開視頻是實際拍攝的: https://www.youtube.com/watch?v=kw0-JRa9n94 (桌腿後的機器人和太陽系)(youku: Magic Leap Demo),本文只以這個視頻的例子來做闡釋。
-------------------------
先說一下我關於Magic Leap的信息來源:
1. 2014年11月10日,Magic Leap在2014年9月融了5個億以後,來Stanford招人,開了一個Info Session,標題是"The World is Your New Desktop」 (世界就是你的新桌面)多麼霸氣!當時是Magic Leap 感知研究的高級副總裁 (VP of Perception) Gary Bradski 和 計算視覺的技術負責人 (Lead of Computer Vision) Jean-Yves Bouguet 來作演講。Gary是計算機視覺領域的領軍人物,在Intel和柳樹車庫(Willow Garage)創造並發展了OpenCV(計算視覺工具庫),也是ROS(機器人操作系統)的創始團隊之一,同時也是Stanford顧問教授。Jean-Yves原來在Google負責谷歌街景車(Street View Car)的製造,是計算視覺技術的大牛。他們加入Magic Leap是非常令人震驚的。我參加了這次Info Session, 當時Gary來介紹Magic Leap在感知部分的技術和簡單介紹傳說中的數字光場Cinematic Reality的原理,並且在允許錄影的部分都有拍照記錄。本文大部分的乾貨來自這次演講。
2. 我今年年初上了 Stanford 計算攝影和數字光場顯示的大牛教授Gordon Wetzstein的一門課:EE367 Computational Imaging and Display(計算影像和顯示器) :其中第四周的Computational illumination,Wearable displays 和 Displays Blocks(light field displays) 這三節都講到Magic Leap的原理。現在大家也可以去這個課程網站上看到這些資料,EE367 / CS448I: Computational Imaging and Display
順便介紹一下 Gordon 所在的Stanford 計算圖形組,由Marc Levoy(後來跑去造Google Glass的大牛教授)一直致力於光場的研究,從Marc Levoy提出光場相機,到他的學生Ren Ng開創Lytro公司製造光場相機,到現在Gordon教授製造光場顯示器(裸眼光場3D顯示器),這個組在光場方面的研究一直是世界的領頭羊。而Magic Leap可能正在成為光場顯示器的最大應用。
Computational Imaging Research Overview
3. 今年參加了光場影像技術的研討會 Workshop on Light Field Imaging ,現場有很多光場技術方面的展示,我和很多光場顯示技術的大牛交流了對Magic Leap的看法。特別的是,現場體驗了接近Magic Leap的光場技術Demo,來自Nvidia的Douglas Lanman的 Near-Eye Light Field Displays 。Near-Eye Light Field Displays
4. 今年年中去了微軟研究院Redmond訪問,研究院的首席研究員Richard Szeliski (計算機視覺大神,計算機視覺課本的作者,Computer Vision: Algorithms and Applications)讓我們試用了Hololens。感受了Hololens牛逼無比的定位感知技術。有保密協議,本文不提供細節,但提供與Magic Leap原理性的比較。
==========
下面是乾貨。
首先呢,科普一下 Magic Leap 和 Hololens 這類AR眼鏡設備,都是為了讓你看到現實中不存在的物體和現實世界融合在一起的圖像並與其交互。從技術上講,可以簡單的看成兩個部分:1. 對現實世界的感知 (Perception) 2. 一個頭戴式顯示器以呈現虛擬的影像 (Display) 。
我會分感知部分和顯示部分來分別闡釋Magic Leap的相關技術。
先簡單回答這個問題:
==== 顯示部分 =====
Q1. Hololens和Magic Leap有什麼區別?Magic Leap的本質原理是什麼?
感知部分其實Hololens和Magic Leap從技術方向上沒有太大的差異,都是空間感知定位技術。本文之後會著重介紹。Magic Leap 與 Hololens 最大的不同應該來自顯示部分,Magic Leap是用光纖向視網膜直接投射整個數字光場(Digital Lightfield)產生所謂的Cinematic Reality(電影級的現實)。Hololens採用一個半透玻璃,從側面DLP投影顯示,虛擬物體是總是實的,與市場上Espon的眼鏡顯示器或Google Glass方案類似,是個2維顯示器,視角還不大,40度左右,沉浸感會打折扣。
本質的物理原理是:光線在自由空間中的傳播,是可以由4維光場唯一表示的。成像平面每個像素中包含到這個像素所有方向的光的信息,對於成像平面來講方向是二維的,所以光場是4維的。平時成像過程只是對四維光場進行了一個二維積分(每個像素上所有方向的光的信息都疊加到一個像素點上),傳統顯示器顯示這個2維的圖像,是有另2維方向信息損失的。而Magic Leap是向你的視網膜直接投射整個4維光場, 所以人們通過Magic Leap看到的物體和看真實的物體從數學上是沒有什麼區別的,是沒有信息損失的。理論上,使用Magic Leap的設備,你是無法區分虛擬物體和現實的物體的。
使用Magic Leap的設備,最明顯的區別於其他技術的效果是人眼可以直接選擇聚焦(主動選擇性聚焦)。比如我要看近的物體,近的物體就實,遠的就虛。注意這不需要任何的人眼跟蹤技術,因為投射的光場還原了所有信息,所以使用者直接可以做到人眼看哪實哪,和真實物體一樣。舉個例子:在虛擬太陽系視頻的27秒左右(如這個gif圖),攝影機失焦了,然後又對上了,這個過程只發生在攝影機里,和Magic Leap的設備無關。換句話說,虛擬物體就在那,怎麼看是觀察者自己的事。這就是Magic Leap牛逼的地方,所以Magic Leap管自己的效果叫Cinematic Reality。
Q2. 主動選擇性聚焦有什麼好處?傳統的虛擬顯示技術中,為什麼你會頭暈?Magic Leap是怎麼解決這個問題的?
眾所周知,人類的眼睛感知深度主要是靠兩隻眼睛和被觀察物體做三角定位(雙目定位, triangulation cue)來感知被觀察物體的與觀察者的距離的。但三角定位並不是唯一的人類感知深度的線索,人腦還集成了另一個重要的深度感知線索:人眼對焦引起的物體銳度(虛實)變化(sharpness or focus cue) 。但傳統的雙目虛擬顯示技術(如Oculus Rift或Hololens) 中的物體是沒有虛實的。舉個例子,如下圖,當你看到遠處的城堡的時候,近處的虛擬的貓就應該虛了,但傳統顯示技術中,貓還是實的,所以你的大腦就會引起錯亂,以為貓是很遠的很大的一個物體。但是這和你的雙目定位的結果又不一致,經過幾百萬年進化的大腦程序一會兒以為貓在近處,一會兒以為貓在遠處,來來回回你大腦就要燒了,於是你要吐了。而Magic Leap投影了整個光場,所以你可以主動選擇性聚焦,這個虛擬的貓就放在了近處,你看它的時候就是實的,你看城堡的時候,它就是虛的,和真實情況一樣,所以你不會暈。演講中Gary調侃對於Jean-Yves這種帶10分鐘Oculus就吐的傢伙來說,現在他一天帶16個小時Magic Leap都不會暈。誰用誰知道,巴扎嘿!
補充:有人問為什麼網上說虛擬現實頭暈是因為幀率不夠原因?
幀率和延時雖然是目前的主要問題,但都不是太大的問題,也不是導致暈得決定性因素。這些問題用更快的顯卡,好的IMU和好的屏幕,還有頭部動作預測演算法都能很好解決。我們要關心一些本質的暈眩問題。
這裡要說到虛擬現實和增強現實的不同。
虛擬現實中,使用者是看不到現實世界的,頭暈往往是因為人類感知重力和加速度的內耳半規管感受到的運動和視覺看到的運動不匹配導致的。所以虛擬現實的遊戲,往往會有暈車想吐的感覺。這個問題的解決不是靠單一設備可以搞定的,如果使用者的確坐在原定不動,如果圖像在高速移動,什麼裝置能騙過你的內耳半規管呢?一些市場上的方案,比如Omni VR,或者HTC Vive這樣的帶Tracking的VR系統讓你實際行走才解決這個不匹配的問題,但這類系統是受場地限制的。不過THE VOID的應用就很好的利用了VR的局限,不一定要跑跳,可以用很小的空間做很大的場景,讓你以為你在一個大場景里就好了。現在大部分虛擬現實的體驗或全景電影都會以比較慢得速度移動視角,否則你就吐了。
但是Magic Leap是AR增強現實,因為本來就看的到現實世界,所以不存在這個內耳半規管感知不匹配的問題。對於AR來講,主要挑戰是在解決眼前投影的物體和現實物體的銳度變化的問題。所以Magic Leap給出的解決方案是很好的解決這個問題的。但都是理論上的,至於實際工程能力怎麼樣就靠時間來證明了。
Q3. 為什麼要有頭戴式顯示器?為什麼不能裸眼全息?Magic Leap是怎麼實現的?
人類希望能憑空看到一個虛擬物體,已經想了幾百年了。各種科幻電影里也出現了很多在空氣中的全息影像。
但其實想想本質就知道,這事從物理上很難實現的:純空氣中沒有可以反射或折射光的介質。顯示東西最重要的是介質。很多微信上的瘋傳,以為Magic Leap不需要眼鏡,我估計是翻譯錯誤導致的,視頻中寫了Shot directly through Magic Leap tech.,很多文章錯誤的翻譯成」直接看到」或」裸眼全息",其實視頻是相機透過Magic Leap的技術拍的。
目前全息基本還停留在全息膠片的時代(如下圖,我在光場研討會上看到的這個全息膠片的小佛像),或者初音未來演唱會那種用投影陣列向特殊玻璃(只顯示某一特定角度的圖像,而忽略其他角度的光線)做的偽全息。
Magic Leap想實現的是把整個世界變成你的桌面這樣的願景。所以與其在世界各個地方造初音未來那樣的3D全息透明屏做介質或弄個全息膠片,還不如直接從人眼入手,直接在眼前投入整個光場更容易。其實Nvidia也在做這種光場眼鏡,
Nvidia採用的方法是在一個二維顯示器前加上一個微鏡頭陣列 Microlens array 來生成4維光場。相當於把2維的像素映射成4維,自然解析度不會高,所以這類光場顯示器或相機(Lytro) 的解析度都不會高。本人親測,效果基本就是在看馬賽克畫風的圖案。
而 Magic Leap 採用完全不同的一個方法實現光場顯示,它採用光纖投影。不過,Magic Leap用的光纖投影的方式也不是什麼新東西。在Magic Leap做光纖投影顯示( Fiber optic projector) 的人是Brian Schowengerdt ,他的導師是來自華盛頓大學的教授Eric Seibel,致力於做超高解析度光纖內窺鏡8年了。簡單原理就是光纖束在一個1mm直徑管道內高速旋轉,改變旋轉的方向,然後就可以掃描一個較大的範圍。Magic Leap的創始人比較聰明的地方,是找到這些做高解析度光纖掃描儀的,由於光的可逆性,倒過來就能做一個高解析度投影儀。如圖,他們6年前的論文,1mm寬9mm長的光纖就能投射幾寸大的高清蝴蝶圖像。現在的技術估計早就超過那個時候了。
而這樣的光纖高解析度投影儀還不能還原光場,需要在光纖的另一端放上一個微鏡頭陣列microlens array,來生成4維光場。你會疑問這不就和Nvidia的方法一樣了么?不,因為光纖束是掃描性的旋轉,這個microlens array不用做的很密很大,只要顯示掃描到的區域就好了。相當與把大量數據在時間軸上分布開了,和通訊中的分時一樣,因為人眼很難分辨100幀上的變化,只要掃描幀率夠高,人眼就分辨不出顯示器是否旋轉顯示的。所以Magic Leap的設備可以很小,解析度可以很高。
他本人也來Stanford給過一個Talk,Near-to-Eye Volumetric 3D Displays using Scanned Light。這個Talk講的應該就是Magic Leap早期的原型。參考: Fiber Scanned Displays
=== 感知部分 ===
Q4. 首先為什麼增強現實要有感知部分?
是因為設備需要知道自己在現實世界的位置(定位),和現實世界的三維結構(地圖構建),才能夠在顯示器中的正確位置擺放上虛擬物體。舉個最近的Magic Leap Demo視頻的例子,比如桌子上有一個虛擬的太陽系,設備佩戴者的頭移動得時候,太陽系還呆在原地,這就需要設備實時的知道觀看者視角的精確位置和方向,才能反算出應該在什麼位置顯示圖像。同時,可以看到桌面上還有太陽的反光,這就要做到設備知道桌子的三維結構和表面信息,才能正確的投射一個疊加影像在桌子的影像層上。難點是如何做到整個感知部分的實時計算,才能讓設備穿戴者感覺不到延時。如果定位有延時,佩戴者會產生暈眩,並且虛擬物體在屏幕上漂移會顯得非常的虛假,所謂Magic Leap宣稱的電影級的真實(Cinematic Reality)就沒有意義了。
三維感知部分並不是什麼新東西,計算機視覺或機器人學中的SLAM(Simultaneous Localization And Mapping,即時定位與地圖構建)就是做這個的,已經有30年的歷史了。設備通過各種感測器(激光雷達,光學攝像頭,深度攝像頭,慣性感測器)的融合將得出設備自己在三位空間中的精確位置,同時又能將周圍的三位空間實時重建。
最近 SLAM 技術尤其火爆,去年到今年兩年時間內巨頭們和風投收購和布局了超級多做空間定位技術的公司。因為目前最牛逼的3大科技技術趨勢:無人車,虛擬現實,無人機,他們都離不開空間定位。SLAM是完成這些偉大項目基礎中的基礎。我也研究SLAM技術,所以接觸的比較多,為了方便大家了解這個領域,這裡簡單提幾個SLAM界最近的大事件和人物:
1. (無人車)Stanford的機器人教授Sebastian Thrun是現代SLAM技術的開創者,自從贏了DARPA Grand Challenge的無人車大賽後,去了Google造無人車了。SLAM學術圈的大部分研究派系都是Sebastian徒子徒孫。
2. (無人車)Uber在今年拿下了卡耐基梅隆CMU的NREC(國家機器人工程研發中心),合作成立高等技術研發中心ATC。 這些原來做火星車的定位技術的研究人員都去Uber ATC做無人車了。
3. (虛擬現實)最近Surreal Vision被Oculus Rift收購,其中創始人Richard Newcombe是大名鼎鼎的DTAM,KinectFusion(HoloLens的核心技術)的發明人。Oculus Rift還在去年收購了13th Labs(在手機上做SLAM的公司)。
4.(虛擬現實)Google Project Tango 今年發布世界上第一台到手就用的商業化SLAM功能的平板。Apple五月收購Metaio AR,Metaio AR 的 SLAM 很早就用在了AR的app上了。Intel 發布Real Sense,一個可以做SLAM的深度攝像頭,在CES上Demo了無人機自動壁障功能和自動巡線功能。
5. (無人機)由原來做Google X Project Wing 無人機的創始人MIT機器人大牛Nicholas Roy 的學生Adam Bry創辦的Skydio,得到A16z的兩千萬估值的投資,挖來了Georgia Tech的SLAM大牛教授Frank Dellaert 做他們的首席科學家。http://www.cc.gatech.edu/~dellaert/FrankDellaert/Frank_Dellaert/Frank_Dellaert.html
SLAM作為一種基礎技術,其實全世界做SLAM或感測器融合做的好的大牛可能不會多於100人,並且大都互相認識。這麼多大公司搶這麼點人,競爭激烈程度可想而知,所以Magic Leap作為一個創業公司一定要融個大資,才能和大公司搶人才資源。
Q5. Magic Leap的感知部分的技術是怎麼樣的?
這張照片是Gary教授在Magic Leap Stanford 招聘會中展示了Magic Leap在感知部分的技術架構和技術路線。可以看到以Calibration為中心,展開成了4支不同的計算機視覺技術棧。
1. 從圖上看,整個Magic Leap感知部分的核心步驟是Calibration(圖像或感測器校準),因為像Magic Leap或Hololens這類主動定位的設備,在設備上有各種用於定位的攝像頭和感測器, 攝像頭的參數和攝像頭之間關係參數的校準是開始一切工作的第一步。這步如果攝像頭和感測器參數都不準,後面的定位都是無稽之談。從事過計算機視覺技術的都知道,傳統的校驗部分相當花時間,需要用攝像頭拍攝Chess Board,一遍一遍的收集校驗用的數據。但Magic Leap的Gary,他們發明了一種新的Calibration方法,直接用一個形狀奇特的結構體做校正器,攝像頭看一遍就完成了校正,極為迅速。這個部分現場不讓拍照。
2. 有了Calibration部分後,開始最重要的三維感知與定位部分(左下角的技術棧),分為4步。
2.1 首先是 Planar Surface Tracking (平面表面跟蹤)。大家可以在虛擬太陽系的Demo中看到虛擬太陽在桌子上有反光,且這個反光會隨著設備佩戴者的移動而改變位置,就像是太陽真的懸在空中發出光源,在桌子表面反射產生的。這就要求設備實時的知道桌子的表面在哪裡,並且算出虛擬太陽與平面的關係,才能將太陽的反光的位置算出來,疊在設備佩戴者眼鏡相應的位子上,並且深度信息也是正確的。難點在平面檢測的實時性和給出平面位置的平滑性(否則反光會有跳變)從Demo中可以看出Magic Leap在這步上完成的很好。
2.2 然後是 Sparse SLAM(稀疏SLAM); Gary在Info Session上展示了他們實時的三維重構與定位演算法。為了演算法的實時性,他們先實現了高速的稀疏或半稀疏的三維定位演算法。從效果上看,和目前開源的LSD 演算法差不了太多。
2.3 接著是 Sensors; Vision and IMU(視覺和慣性感測器融合 )。
導彈一般是用純慣性感測器做主動定位,但同樣的方法不能用於民用級的低精度慣性感測器,二次積分後一定會漂移。而光靠視覺做主動定位,視覺部分的處理速度不高,且容易被遮檔,定位魯棒性不高。將視覺和慣性感測器融合是最近幾年非常流行的做法。
舉例:
Google Tango在這方面就是做IMU和深度攝像頭的融合,做的很好;大疆的無人機Phantom 3或Inspire 1將光流單目相機和無人機內的慣性感測器融合,在無GPS的情況下,就能達到非常驚人的穩定懸停;Hololens可以說在SLAM方面是的做的相當好,專門定製了一個晶元做SLAM,演算法據說一脈相承了KinectFusion的核心,親自測試感覺定位效果很贊(我可以面對白色無特徵的牆壁站和跳,但回到場中心後定位還是很準確的,一點都不飄。)
2.4 最後是 3D Mapping and Dense SLAM (3D地圖重建 )。下圖展示了Magic Leap 山景城辦公室的3D地圖重建:僅僅是帶著設備走了一圈,就還原了整個辦公室的3D地圖,並且有很精緻的貼圖。書架上的書都能重建的不變形。
因為AR的交互是全新的領域,為了讓人能夠順利的和虛擬世界交互,基於機器視覺的識別和跟蹤演算法成了重中之重。全新人機交互體驗部分需要大量的技術儲備做支持。
接下來的三個分支,Gary沒有細講,但是可以看出他們的布局。我就隨便加點註解,幫助大家理解。
3.1 Crowdsourcing 眾包。用於收集數據,用於之後的機器學習工作,要構建一個合理的反饋學習機制,動態的增量式的收集數據。
3.2 Machine Learning Deep Learning 機器學習與深度學習。需要搭建機器學習演算法架構,用於之後的識別演算法的生產。
3.3 Scenic Object Recognition 場景物體識別。識別場景中的物體,分辨物體的種類,和特徵,用於做出更好的交互。比如你看到一個小狗的時候,會識別出來,然後系統可以把狗狗p成個狗型怪獸,你就可以直接打怪了。
3.4 Behavior Recognition 行為識別 。識別場景中的人或物的行為,比如跑還是跳,走還是坐,可能用於更加動態的遊戲交互。順便提一下,國內有家Stanford校友辦的叫格林深瞳的公司也在做這個方面的研究。
跟蹤方面
4.1 Gesture Recognition 手勢識別。用於交互,其實每個AR/VR公司都在做這方面的技術儲備。
4.2 Object Tracking 物體追蹤。這個技術非常重要,比如Magic Leap的手捧大象的Demo,至少你要知道你的手的三維位置信息,實時Tracking,才能把大象放到正確的位子。
4.3 3D Scanning 三維掃描。能夠將現實物體,虛擬化。比如你拿起一個藝術品,通過三維掃描,遠處的用戶就能夠在虛擬世界分享把玩同樣的物體。
4.4 Human Tracking 人體追蹤。比如:可以將現實中的每個人物,頭上可以加個血條,能力點之類。
5.1 Eye Tracking 眼動跟蹤。Gary解釋說,雖然Magic Leap的呈像不需要眼動跟蹤,但因為要計算4維光場,Magic Leap的渲染計算量巨大。如果做了眼動跟蹤後,就可以減少3D引擎的物體渲染和場景渲染的壓力,是一個優化的絕佳策略。
5.2 Emotion Recognition 情感識別。如果Magic Leap要做一個 Her 電影中描繪的人工智慧操作系統,識別主人得情感,可以做出貼心的情感陪護效果。
5.3 Biometrics 生物識別。比如要識別現實場景中的人,在每個人頭上顯示個名字啥的。人臉識別是其中一種,國內有家清華姚班師兄弟們開得公司 Face++ 就是干這個乾的最好的。
總結,簡單來講感知這個部分Magic Leap其實和很多其他的公司大同小異,雖然有了Gary的加盟,野心非常的寬廣,但這部分競爭非常激烈。
Q6: 就算Magic Leap已經搞定了感知和顯示,那麼接下來的困難是什麼?
1. 計算設備與計算量。
Magic Leap要計算4維光場,計算量驚人。不知道Magic Leap現在是怎麼解決的。如果Nvidia不給造牛逼的移動顯卡怎麼辦?難道自己造專用電路?背著4塊泰坦X上路可不是鬧著玩的。
下圖是,今年我參加SIGGraph 2015里,其中一個VR 演示,每個人背著個大電腦包玩VR。10年後的人類看今天的人類追求VR會不會覺得很好笑,哈哈。
2. 電池!電池!電池! 所有電子設備的痛。
3. 一個操作系統。說實話,如果說「世界就是你的新桌面」是他們的願景,現在的確沒有什麼操作系統可以支持Magic Leap願景下的交互。他們必須自己發明輪子。
4. 為虛擬物體交互體驗增加物理感受。為了能有觸感,現在交互手套,交互手柄都是 VR 界大熱的話題。從目前的專利上看,並沒有看出Magic Leap會有更高的見地。說不定某個Kickstarter最後能夠獨領風騷,Magic Leap再把他收了。
===========
筆者斯坦福計算機系研究生畢業,方向是計算攝影和人工智慧,目前在做無人機和虛擬現實技術的研究。
沒錯,我在招人,簡歷發me@botao.hu 帶你搞計算攝影,飛行技術和浪天涯。
轉載請註明作者:
Botao Amber Hu,現從事無人機和虛擬現實技術的研究,光流科技C*O。
請在文章背後註明轉載協議:BY-NC-ND 4.0 Creative Commons 署名,非商業,傳播時不可修改 並附上知乎原帖鏈接。
轉載聯繫我 me@botao.hu 有動圖。
(實在不好意思,這篇文章是十個月前寫的,很多東西在現在我看來是錯的,但是現在不寫知乎了,也就不改了)利益相關,朋友研發的眼球追蹤視線系統(eyegaze system)和magic leap有合作。
—————————————————————————————————————
列個目錄
- HoloLens的顯示瓶頸——聚散衝突(accommodation-vergence conflict)
- magic leap的聚散匹配(accommodation-vergence matching)
- 關於magic leap遮擋效果和顏色效果的假想
1、HoloLens的顯示瓶頸——聚散衝突(accommodation-vergence conflict)
Magic leap和HoloLens最大的區別在於它們的顯示技術,hololens目前在顯示上最大的問題除了FOV之外還有兩個,一個是聚散衝突(accommodation-vergence conflict),另一個就是不能顯示比當前環境亮的物體,而magic leap可以解決第一點。
據我軍方的朋友說,目前他們軍方使用的是頭盔式顯示器(Helmet Mounted Displays),而用的正是HoloLens的全息光波導光學(holographic waveguide optics)技術。
這樣一說,大家就明白了,HoloLens的技術是軍方正在用的,而magic leap的技術是軍方正在開發研究中的。
重點來了,
大家都知道 HoloLens 的顯示技術是全息光波導光學(holographic waveguide optics)。產生深度隱喻(depth cues)的方法只有雙眼視差(binocular-disparity )——就是離你越近的物體兩隻眼睛看到的圖像差別越大。
但是,眼睛除了有雙眼視差外,還有單眼暗示(monocular cues),比如我們後問題到的accommodation(單眼的focus)。
我在開發HoloLens的時候發現,HoloLens 會嚴格控制全息圖像的距離來保證聚散匹配(accommodation-vergence matching)。
如圖,兩米的距離是最舒適的。
全息物體顯示離你2米之內,則會導致聚散衝突(accommodation-vergence conflict),因為左右眼看到的圖像差別太大。
而這個2米的舒適距離,幾乎讓我們身體不能直接接觸到全息物體,(#‵′)靠,所有交互很難受,總感覺和交互物體之間隔了個空!!
這邊是HoloLens 最大的局限性。
明明輻輳(vergence)在很遠的地方,可是屏幕卻離你很近,你的眼睛無法對焦到遠處。
比如,明明顯示遠距離的物體,你的眼睛已經disconverge,可是焦點還是在眼前。簡單的說,就是眼睛的這兩種感知距離的機制,感覺到了不同的距離,從而引發衝突或者疑惑,最終帶給用戶視覺上的不適(visual discomfort)和眼疲勞(fatigue)(專業說法叫做眼壓加大)。
明明顯示很近的物體,眼睛都converge了,可是屏幕偏偏在焦點後面。
(偏眼科專業知識,這一段可以跳過)
在自然的觀察(natural viewing)下,Vergence和Accommodation其實是有聯繫(linked)的。它們之間形成了適應和輻輳的條件反射(accommodation convergence reflex)。
簡單理解,就是眼睛的這兩個機制會一起動。如下圖,眼睛的焦點在不同距離之間的移動時,Vergence和Accommodation一起發生了變化。
如圖,從左到右的變化中,當convergence(雙眼往鼻子的方向靠攏並旋轉)時,accommodation也跟著引發連鎖反應(伴隨著晶狀體變形和瞳孔放大)。
—————————————————————————————————————
兩隻眼睛正向或反向移動都稱為輻輳(vergence),為了獲得雙眼單視(single binocular vision)。
當看近處物體時,我們稱匯聚(convergence),此時兩隻眼睛是朝內的;converge的目的正是讓你聚焦的地方變清晰。
而看遠處物體時,雙眼朝外,我們叫做分散(divergence)。
雙眼圍繞Y軸的反方向旋轉,為了讓圖像剛好落在兩隻眼睛的視網膜中央。
我們都玩過鬥雞眼(cross eyed viewing)吧?就是兩隻眼睛都朝著鼻子的方向看。這時你慢慢朝遠處望去,雙眼匯聚的焦點越來越遠,遠到無窮遠,這時雙眼實現平行了。
—————————————————————————————————————
我們都知道近視眼這個lens看近處看多了,拉不回去了(又叫近視眼)。睫狀肌拉長又被壓扁極其富有彈性,這個彈性就是15 屈光度(dioptres)。
而眼睛的適應(Accommodation),它改變了optical power。
從圖中可以看到,晶狀體是有彈性的,看近處的物體時,晶狀體被壓扁了,從而達到在視網膜上清晰成像的目的。而optical power正是通過睫狀體(ciliary body)的收縮(contraction)來調節的……而睫狀肌收縮和放鬆的過程就叫accommodation。
睫狀肌主要改變了兩個部分,晶狀體的形狀(lens shape)和 瞳孔的大小(pupil size)。當你看近處時,晶狀體變成凸狀(convex)為了提高折射率(
refractive power),同時,瞳孔收縮(constrict)為了避免多餘的光線跑到你視網膜外圍來,於是遠處的物體就模糊了。
這就叫深度(depth)。
如果上面沒看懂,我再用簡單的話描述一遍:在現實生活中我們感到『深度』是因為物體表面反射自然光線形成的『場』。兩個物體間不同的場就形成了不同的深度。
傳統的顯示技術(包括HoloLens和oculus都只能將物體顯示在單一的平面上),所以丟失了深度線索(focus cue)。
然後視覺系統就傻逼了,具體感覺就是眼壓增加甚至噁心。
—————————————————————————————————————
2、magic leap的 accommodation-vergence matching
(圖為magic leap原型機)
你可以看到它的細長的管道和凸起的電樞(armatures)。
我們注意一下它牆上那張圖——
Magicl Leap的顯示技術叫 VRD(virtual retinal display,虛擬視網膜顯示),
也有人叫 retinal scan display (RSD) 或者 retinal projector (RP)。用到的技術正是 動態數字化光場信號(Dynamic Digitized Lightfield Signal)。
按照magic leap某朋友的說法,這種顯示生成的圖像無法區分虛擬物體和現實物體,從而讓虛擬圖像和現實世界建立起了完美的連接:
Being able to generate images indistinguishable from real objects and then being able to place those images seamlessly into the real world.
我們把它拆分成兩個核心問題:(1)光場;(2)視網膜投影。
(1)光場顯示
解決accommodation-vergence matching的正是magic leap作為光場輸出的特殊功能——連續對焦(continuous focus),而這個功能正對應lytro上的動態重新對焦(refocus dynamically),來模擬物體距離我們的遠近。
近眼光場的兩次對焦:
下面是lytro拍的光場視頻,記錄了開花的過程。我的眼睛可以選擇凝視在不同的焦點上。
聚焦在兩邊的花上:
後面的花清晰
前面的花清晰。
我們把上面這幅光場視頻用magic leap顯示出來,如下:
(中間的圖像是左右眼疊加後得到的)
傳統的顯示器,比如手機電腦電視,包括oculus和HoloLens……你直接看到的,都是實像(real image)。但是,通過一個光學系統(optical system),射到你眼睛裡的像是虛像(virtual image)。
而magic leap 投影的虛像,用戶的眼睛聚焦在不同深度都感覺舒服,從而達到accommodation-vergence matching。
正如wired所說:
Intellectually, I know this drone is an elaborate simulation, but as far as my eyes are concerned it』s really there, in that ordinary office.It is a virtual object, but there is no evidence of pixels or digital artifacts in its three-dimensional fullness.
感覺上,他已經分辨不出magic leap里的是現實物體還是虛擬物體了,而且看不出上面的像素。
把電腦繪製好的激光或者說數字光場(digital light field ),射到用戶視網膜上成像。從視覺上來說,它是目前非常完美的顯示技術,用戶感覺東西就像在眼前一樣。magic Leap自己說叫:autostereoscopic visual effect(自動立體視覺效果),也是目前為一種能夠完全復現你看到的場景的技術。目前軍方正在研究的是——近眼光場顯示(near-eye light field display)。我們可以看到左右眼各一個顯示器,每個顯示器上都有一塊屈光度不同的屈光鏡!
@Botao Amber Hu 所說,光場是四維的。
怎麼理解呢?我現在把光場在下面這張二維平面上展開,原本的二維圖片在這裡就成了一個點,橫向和縱向地排列在光場里。(左下)
而你視覺系統感受到的圖像。(右下)
正好對應lytro光場相機的64個CMES。(現在普遍的解析度為1080P,而如果將1080P的二維圖像光場化則需要1080×1920個1090P的圖像二維排列)
上面三張在你視覺系統感知到的圖像:
—————————————————————————————————————
(2)視網膜投影——激光二極體
直接在視網膜上繪製圖像,對於我們正常人來說可以緩解和預防近視眼,請想像你虛擬一個離你七八米的全息巨幕來辦公……另外的好處就是可以讓那些晶狀體玻璃體角膜受傷的盲人恢復視力,直接把圖像畫到視網膜上,而跳過了它們,不過前提是你得有良好的視網膜和黃斑……(暢想幾十年後的可植入設備,可能直接把圖像輸入到你的視覺神經,而跳過視網膜,即使你全盲)
雖然是激光射在了眼睛裡,卻不會傷害人眼的光學系統,因為1、強度低;2、分散在大面積的視網膜上而不是點;3、時間周期長。因為激光的傷害主要是集中在狹小的區域內造成的。
VRD的三原光的光子源(photon source)產生相干光束(coherent beam of light),比magic Leap用的激光二極體(laser diode)就是一種相干光束。它會在視網膜上繪製一個衍射受限斑點(diffraction limited spot)。在渲染時,光束的強度會變化以匹配圖像的強度,而在光束生成後,調整便完成了。
最後這個調節過的光束再scan到視網膜上。
關於相干光束(coherent beam of light),有張很直觀的圖便於大家理解:
因為是光子打到眼睛裡,所以在亮的地方就顯得比較透明,(無法顯示比環境暗的虛擬物體),wired中說道:
I can get the virtual drone to line up in front of a bright office lamp and perceive that it is faintly transparent, but that hint does not impede the strong sense of it being present.
—————————————————————————————————————
3、關於magic leap遮擋效果和顏色效果的假想
關於第二點光線的問題,magic leap也無法吸收掉那些進去用戶眼睛的環境光線,只能降低往眼睛裡投射的光子。
但是和傳統的顯示相比,magic leap具有極其廣闊的色域color gamut,在亮度還原方面也是非常出色的,想像你在室外陽光直射下玩iPhone或者用HoloLens,極高的亮度讓你幾乎看不清iPhone和HoloLens上的內容,但是magic leap不會。
目前有一家正嘗試將VRD技術用到VR顯示上的產品,叫glyph
VRD三個詞中的virtual,是指虛擬成像中的虛像,是一個物理學概念,而不同於虛擬現實強調的虛擬。
和glyph不同,Magic leap的AR是把投影的虛像疊映(superimpose)在你眼睛已經看到的真實物體的實像上。對於疊加來說,最大的難點在於調節現實(mediate reality),用通俗的話說就是用相機capture到將要進入你眼睛的光,然後用計算機合成一組虛擬的光子去替代這一部分光,從而做到遮擋(occlusion)的效果。
(Magic leap最有可能的產品形態是eyeTap,下圖為 Generation Glass。)
—————————————————————————————————————
—————————————————修路中—————————————————
(後面為正在寫的草稿部分……請無視)
正常年輕人眼睛的焦點可以從無限遠處聚焦到距離眼睛只有25cm的地方,這樣的焦點轉換大概耗時350毫秒。
目前已知的做VRD系統的公司,是日本的Brother Industries,它們的產品 AirScouter早在2010年9月就有過展示。
一個點光源的發射器(point source emits)發出的光波,輻射出一個個越來越大的圈。而眼睛的瞳孔,會看到波長的前段(wavefront)。
—————————————————————————————————————
最近傳聞他們要用硅光子學(silicon photonics)來構造光場晶元(light-field chip)。
VRD References:
- Animations of how a VRD works
- Lewis, John R. (May 2004). "In the Eye of the Beholder". IEEE Spectrum.
- AirScouter VRD system from Brother Industries – Sep 2010 (Engadget)
- YouTube video for AirScouter VRD system from Brother Industries – Sep 2010
LF References:
- Wetzstein, G., Lanman, D., Hirsch, M., Raskar, R. (2012). "Tensor Displays: Compressive Light Field Display using Multilayer Displays with Directional Backlighting", ACM Transactions on Graphics (SIGGRAPH)
- Wetzstein, G., Lanman, D., Heidrich, W., Raskar, R. (2011). "Layered 3D: Tomographic Image Synthesis for Attenuation-based Light Field and High Dynamic Range Displays", ACM Transactions on Graphics (SIGGRAPH)
- Lanman, D., Wetzstein, G., Hirsch, M., Heidrich, W., Raskar, R. (2011). "Polarization Fields: Dynamic Light Field Display using Multi-Layer LCDs", ACM Transactions on Graphics (SIGGRAPH Asia)
- Lanman, D., Hirsch, M. Kim, Y., Raskar, R. (2010). "HR3D: Glasses-free 3D Display using Dual-stacked LCDs High-Rank 3D Display using Content-Adaptive Parallax Barriers", ACM Transactions on Graphics (SIGGRAPH Asia)
- Matusik, W., Pfister, H. (2004). "3D TV: A Scalable System for Real-Time Acquisition, Transmission, and Autostereoscopic Display of Dynamic Scenes", Proc. ACM SIGGRAPH, ACM Press.
- Javidi, B., Okano, F., eds. (2002). Three-Dimensional Television, Video and Display Technologies, Springer-Verlag.
- Klug, M., Burnett, T., Fancello, A., Heath, A., Gardner, K., O"Connell, S., Newswanger, C. (2013). "A Scalable, Collaborative, Interactive Light-field Display System", SID Symposium Digest of Technical Papers
終於可以蓋棺定論了——是假的
因為Magic leap那段視頻是假的啊,只是概念演示,不是設備演示。他們的設備是一個頭戴式的激光投影儀,把影像投影到視網膜。而不是裸眼3D。
另外,按照Magic leap的說法,「總有一天我們的設備能小到眼鏡那樣」。現在有多大呢?據目擊者透露,去年年底的版本還有半個房間那麼大。
事實上,Magic leap是一個沒有任何視覺、圖形、VR背景的年輕人,一拍腦袋成立的公司,靠著強大的忽悠能力拿到了巨額投資。拿了錢不能沒成果啊,於是他們就請Weta做了這幾段概念視頻。對,Weta,就是那個做指環王、阿凡達的電影特效公司。現在你知道這些視頻是怎麼來的了吧。到目前為止,只有一段據稱是把設備安裝到攝像機上拍攝的視頻,沒有任何設備本身的鏡頭。開發者版Hololens的發售已經有一段時間了,Magic Leap也放出消息預計於2017年發售。最近一段時間又有一些關於它們的技術細節被披露了出來。所以在這裡補充一些關於Hololens和Magic Leap在最重要的顯示系統上的不同點。
不管是對虛擬現實VR還是混合現實MR設備來說,顯示系統都是重中之重。可以說顯示技術直接決定了VR和MR技術的發展和成敗。拿現在已經大規模進入消費級市場的VR設備的發展來做例子,其中的代表Oculus Rift從最初的開發者版DK1的出現到逐漸發展為成熟的消費者版CV1的過程其實就是跟隨著消費級移動顯示設備的發展而來的。
在Oculus Rift出現之前的VR設備大部分都是面向專業市場的,因為包括顯示在內的大部分配件都是定製而來的,所以VR頭戴顯示器的價格非常昂貴,動輒需要幾萬美元才能買到。當時顯示技術還不成熟,不僅成本高,在可視角度、重量、體積等各方面都存在缺陷。Oculus Rift的出現就是為了要做普通消費者都能買得起的VR產品。Oculus Rift出現的時間點非常重要,因為當時正好處於以蘋果iPhone為代表的大屏智能手機的發展熱潮之中。智能手機的發展大大促進了小型平板顯示器性能的提升和價格的降低。如果沒有這個銷量數十億的市場出現的話是不可能有資本有能力去投入這個領域的。
Oculus DK1於2012年發售,使用了七寸1280x800解析度的LCD面板,直接把VR頭戴顯示器的價格拉低到300美元的程度。之後Oculus於2014年發售了DK2,DK2使用了解析度為1920x1080的低響應時間OLED顯示器,大大提升了解析度並改善了LCD的高響應時間造成的圖像抖動問題。DK2使用的顯示器直接就是三星的Galaxy Note 3手機的顯示面板。因為被Facebook重金收購,而且和三星也有合作關係,Oculus於2016年發售的消費者版本Oculus CV1使用了兩塊定製的解析度為1080x1200的OLED顯示器。
所以可以看出現在消費級VR設備的發展史其實就是面向移動市場的顯示面板發展史。顯示系統是VR技術的重中之重。為什麼五年前不會出現消費級VR設備?瓶頸就在於顯示系統,其它系統基本不存在太大瓶頸。例如現在的三星Gear VR,手機處理器都能跑VR,五年前的PC性能不會弱於現在的手機,所以性能並不是瓶頸。當手機顯示面板發展到2K解析度、低響應時間的OLED技術時消費級VR設備自然會跟隨著出現。對於混合現實MR技術來說也存在類似的情況,MR的發展也是嚴重受制於顯示系統的發展。如果沒有好的適用於MR技術的顯示系統出現的話,MR技術是不可能發展的。當然MR與VR技術也有不同,因為MR還有空間感知和定位技術佔有相當大的一塊比重。這一塊Botao Amber Hu已經做了詳細闡述,各家技術沒有明顯的不同,而且已經逐漸的成熟起來,所以這裡就不再做討論了。
對MR技術顯示系統的發展來說其所面臨境況是與VR完全不同的,因為並不存在另一個大規模的消費級市場能夠為MR設備提供成熟的消費級顯示系統。所以現在開發MR技術的廠商就需要自己去開發定製顯示系統,這樣就會使研發成本急劇提升。這樣的特點造成的後果就是能夠在MR技術這個競技場上玩到最後的只會是資金充裕的大公司,例如微軟和Magic Leap。類似於Oculus Rift這樣的小公司靠眾籌就能起步並逐步發展成為VR市場上的領導者的情況很難在MR市場上重現。
Hololens的顯示系統
在最近的2016 Hot Chips半導體大會上微軟透露了很多關於Hololens的技術細節。其中Hololens的光學成像部分,微軟使用的是基於光波導和衍射光柵的技術。
這項技術最早是10年前由諾基亞的研究人員Tapani Levola和Pasi Saarikko提出的,後來這兩人加入了微軟繼續進行研究,最終開發出了現在Hololens使用的光波導技術。Hololens使用的顯示投影器件是liquid crystal on silicon(LCoS),LCoS廣泛使用於投影機中。Hololens使用了兩個1268x720解析度的LCoS晶元,所產生的圖像經過光學鏡片成像後投影到光波導的入耦合光柵處進入到光波導內部。光線在光波導內通過全反射傳播到出耦合光柵處和來源於外界的光線疊加後一起投射到人眼內。
上圖中兩個鏡片之間的那個部件就是Hololens的光學引擎,其中就包括LCoS顯示晶元和光學鏡片。兩個鏡片就是光波導,外界世界的光線可以透過鏡片進入人眼內,光學引擎產生的圖像也可以一起投射到人眼內。由此產生計算機生成的圖像和外界世界圖像合成的顯示效果。
目前Hololens的顯示系統面臨的最大問題就是視場(FOV)太小,大概只有40度左右,很難產生沉浸感。如果要擴大視場,就要採用解析度更高更大的LCoS晶元,相關的光學器件也會顯著增大,光波導也需要採用新的材料重新設計。微軟目前還沒有辦法解決這些技術難題,所以微軟也表示近期沒有繼續增大Hololens顯示視場的計劃。微軟自己研發製造光波導顯示器件的成本顯然很高,再加上定製的全息處理晶元(HPU),所以Hololens賣到3000美元也就可以理解了。
微軟並不是唯一一家研發通過光波導和衍射光柵來進行顯示的公司。還有其它一些公司正在研發類似技術,例如Lumus、Vuzix、DigiLens和TruLife Optics。
上圖顯示的是TruLife Optics的光波導和原理圖,可以看出和微軟的技術非常類似。它家網站上可以購買開發者版的光波導,價格是1500英鎊……
Magic Leap的顯示系統
Magic Leap到目前為止並沒有公開他們使用了什麼技術,所以我們只能通過極為有限的一些報道和Magic Leap申請的專利來猜測它到底使用了什麼技術。Magic Leap的顯示系統分為兩大部分,一部分通過光纖掃描投影,另一部分通過光子光場晶元成像。
首先來看看Magic Leap的光纖掃描顯示技術(SCANNING FIBER DISPLAY )。
2016年7月公開的一份Magic Leap的專利 Methods and systems for implementing a high resolution color micro-display 里詳細介紹了光纖掃描顯示技術的實現細節和性能參數。
上圖中左上為直徑約一毫米的光纖掃描組件,其中的光纖以高速按照右上的螺旋軌跡進行旋轉掃描,用激光投影出一個圓形的圖像。這個圖像解析度大概在幾百線左右。左下圖顯示的是72個這樣的組件以8x9的矩陣排列起來以實現更高的顯示解析度。專利中提到了他們可以用這樣的方案實現5.24百萬像素,2560x2048解析度的5:4圖像顯示,顯示的動態範圍為12比特,刷新率為72Hz。最終的器件如右下圖所示,三維大小為12x12.25x15mm。
如果是用在頭戴顯示設備上的話,以上提到的顯示器件還可以進行優化。如下圖所示。
因為人眼看到的範圍是接近圓形的,而不是矩形。所以可以以圓形來排列這些光纖掃描組件來達到對人眼最優化的顯示效果。
==========================
12-8 更新:根據最新報道,Magic Leap將推出的第一代產品並不會用到光纖投影技術, 而是使用了類似於Hololens的投影系統。不過就像這個回答「關於Magic Leap的數字光場,除了光纖以外,還有沒有其他可能的實現方式?」中指出的一樣,投影部分和以下的光子晶元部分是兩個獨立的系統,所以光子光場晶元也可以配合其它投影技術來實現類似的顯示效果。
==========================
再來看看Magic Leap的光子光場晶元(Photonic Lightfield Chip)。
看起來就像是一個鏡片,或者是光波導,為什麼Magic Leap要叫它晶元呢?因為上面介紹的光纖掃描顯示器所產生的圖像是二維的,所以接下來需要做的就是要動態的去控制光場晶元來讓圖像像素具有不同的視覺距離。Magic Leap的專利 Planar waveguide apparatus with diffraction element(s) and system employing same 中介紹他們使用的光學衍射原件optical diffraction element (DOE) 技術來實現這一目的方法。
Magic Leap的光子光場晶元其實也是一個平面光波導,不同於Hololens的地方在於它還包括數層極薄的DOE。可以獨立的控制每層DOE的開關狀態。當這些DOE以不同的組合開啟時,顯示的圖像就會處於不同的視覺距離。經過這個光場晶元的處理後光纖掃描顯示器的平面圖像就轉變成具有視覺距離的光場圖像了。
嚴格來說這個光子光場晶元產生的圖像並不是真正的光場,因為真正的光場是四維的,這個光場只是二維圖像加上了視覺距離。不過從頭戴顯示器以人眼來看,這個光場與四維光場的顯示效果差距很小,人眼可以正確的聚焦在不同的視覺距離上。而且重要的是這種實現方式可以使用已有的三維圖形渲染技術,不會增加任何計算開銷。因為目前的三維圖形渲染技術已經包含了一個深度緩衝區,其中的數據可以直接拿來使用,去控制光場晶元來生成圖像像素的視覺距離。
在Magic Leap的其它一些專利中還多次提到了80度這個視場數據。如果能實現80度的單眼視場,那麼對於兩眼來說視場應該可以稍大於100度。這個參數已經不弱於現在主流的VR設備,大大優於Hololens。另外還有專利中提到了遮擋外界光線來顯示黑色的技術,但是要麼就是體積龐大,要麼就是顯示效果不佳。所以在實際小型化的第一代消費級產品中可能並不會加入這項功能。
從Magic Leap近期放出的視頻Demo中也可以看出這一點。圖中R2-D2的深藍色面板透出了背景中沙發扶手和桌腳的圖像。
實際的消費級產品肯定需要在體積、成本、耗電、運算性能需求上有所取捨,所以可能並不能完全達到專利中所描述的各種數據參數。例如Demo中的視頻可以隱約看到邊緣部分的像素,通過像素大小判斷圖像的實際解析度大約在1000線左右。考慮到攝像機只能拍到部分視野,Magic Leap的解析度應該在1000到2000之間。
Hololens和Magic Leap顯示系統的對比
下面對Hololens和Magic Leap顯示系統中各部分的性能、特點、體積做個對比分析。
Hololens中的LCoS顯示晶元和光學鏡片對應的是Magic Leap的光纖掃描顯示器。Hololens的解析度是1268x720,Magic Leap可以做到2560x2048。因為Magic Leap採用的是激光顯示技術,所以在亮度、對比度、色域方面會有優勢。從體積上來說光纖掃描顯示器的激光光源部分可以放置在掛在腰部的設備中,通過光纖連接到頭戴設備中的投影裝置上,所以位於頭戴設備中投影裝置大小只有一厘米多。Hololens位於兩片鏡片之間的光學引擎體積要遠遠大於這個數值。
Hololens中的光波導對應的是Magic Leap的光子光場晶元。視場大小分別為40度和80度。Hololens只能顯示平面圖像,通過立體像對來產生3D視覺,顯示的虛擬物體位於一個固定的視覺距離上,人眼觀察時無法和現實世界中的其它物體有一致的聚焦關係。Magic Leap的光場顯示技術克服了這些缺點,在不增加計算開銷的前提下使顯示的虛擬物體位於正確的視覺距離上。
這些參數和體積大小的差異會產生非常重大的影響。因為對於目前的Hololens來說,它的視場、解析度和顯示效果是無法滿足日常需求的。而且它的體積也決定了Hololens無法長時間佩戴,也無法在戶外和日常生活中佩戴。現在的Hololens應該還算不上是一個消費級的產品,仍然屬於專業級設備。這也正是微軟現在推廣Hololens時主要是面向商業和企業用戶,沒有進入消費級市場的計劃的原因。而且以現在的技術方案來看,Hololens在顯示系統上要有大的突破是非常難的,可能還需要幾年的時間。
Magic Leap雖然發售時間會比Hololens晚一年多,但是Magic Leap曾經提到它不會發布開發者版,它會直接發售面向普通消費者的消費級產品。這樣Magic Leap的進度實際上比微軟是要快的。這要得益於它的性能參數和體積大小因素。因為如果Magic Leap的顯示系統能夠達到這裡預測的水平的話,它實際上已經具備了替代其它類如手機、電視、筆記本電腦等設備的顯示器的能力。而且類似運動太陽鏡的輕便的頭戴設備也能滿足日常長時間佩戴的要求。這樣Magic Leap就有機會在消費級市場迅速普及開來,徹底改變人們日常和數字世界交互的模式。
上圖顯示的是Magic Leap很早前的一個概念設計,實際產品肯定會不同。但是我們可以從中看出Magic Leap對頭戴顯示設備和主機的分離設計。這種分離設計的好處在於可以使頭戴設備儘可能的輕量化,滿足日常長時間佩戴的需求。Magic Leap的光纖顯示技術又正好為這種設計提供了方便。主機掛在腰部的設計類似於很久以前風靡世界的隨聲聽,消費者接受起來應該也不會存在太大障礙。腰部的主機對重量和體積的限制會比Hololens和手機要寬鬆很多。類似於隨聲聽的大小是有可能放入100Wh級別電池和超級本級別處理器能力的。所以滿足一天的日常辦公使用都成為了可能。
Magic Leap其實只需要給市場提供它的顯示設備就能發展的很不錯。不過它的創始人顯然有著更大的野心,想從硬體、軟體、應用、內容、雲服務、生態系統等各方面佔領市場。
2016年9月這個回答將潛入淺出的談一下光場渲染,從而讓讀者自己能夠分析或意識到magic leap 與hololens的異同。我盡量不用數學公式,我將談以下幾個部分:
1. 什麼是光場渲染,光場的採集及利用.
2. 從五維光場到四維光場。
3. magic leap 能做什麼,限制又在哪? 反過來hololens呢?
1. 光場渲染,是一種基於圖像的渲染方法。 為了便於理解,想像一個靜態的室內場景
如果我在這個靜態場景內的某一個位置,放置一個相機,拍下一張照片,那麼無疑,這張照片是最真實的。
好我們現在進一步:
我們如上圖所示,在一直線上不同的位置都擺上相機拍下照片,並把照片儲存下來,然後對於一個觀察者,如果我們知道他是站在某個位置的,咱們就用演算法快速的把那個位置的照片調出來播放給他,那麼等於說,他實時地看到了照片級真實的渲染。 儘管此時位置和角度還是受限的。
好現在我們更進一步: 我們假設可以把相機做得無窮小,並且一個相機能夠下360度球面上入射的光照, 那麼,我們把相機放在場景里的某一個位置拍攝可以得到這樣一張圖:
此時,我們做如下的一件事情:
我們在場景里遍歷所有可能的位置,擺放相機並拍攝球形畫面,然後等我們知道一個觀察者站在某個位置時又知道他在往哪裡看時,就把對應的球光照索引出來並反投影到他眼睛裡,就等於是他見到了在此點處的照片級真實圖像!
而這個我們之前拍攝並儲存下來的數據,就是所謂的五維光場函數.
xyz 是視點坐標,theta phi則是球坐標上的索引.
可想而知,存儲這樣的五維光場,數據量是十分巨大的。
2.從五維光場到四維光場:
接下來,我們對問題作一些簡化:
首先,我們假設空氣的透明度很高,於是沿著一個光線方向的照明是不會變的。
其次,我們假設物體有一個凸包,觀察點永遠不會進入到凸包內。如下圖
那麼此時某個遠處的觀察點所看到的照明度的值 是可以由這個外接盒表面的交點 u v s t 唯一確定的. 因為不同位置過來的視線實則只與這個盒子的某兩面有交點 如果我們通過預計算並存下這堆數據,我們實則把五維函數壓到了四維,大大的縮減了存儲空間!
事實是: 我們可以用十分昂貴的光照演算法來預計算以及存儲這些光場信息,然後在之後的觀察渲染環節,人們就能看到 照片級別真實的 數字場景!
可以想像,magic leap視頻中所使用的凸包.
所以到此為止,我們知道了,採用光場渲染,它的難度根本不在於圖像是否是通過複雜的離線渲染來生成的,而是如何最大程度地壓縮四維光場以及如何最快速度地從已有的光場數據里提取及合成出用戶所要看到的畫面.
到了這裡,我們也就不難領略到hololens和magic leap的異同了:
首先 他們都需要能夠捕捉出視點位置的功能.
然後 hololens的目的是互動式地用戶可以「進入」的,但是「視覺效果並不真實」的虛擬環境。
Magic Leap的鯨魚視頻感覺是假的!所有孩子的動作和表情都是和鯨魚同時出現的,而人類對於未知事情的認知反饋速度至少在0.5秒到2秒之間!視頻中的反應速度比孩子們看到投籃命中那樣條件反射性的歡呼還要快些!所以可以斷定是合成視頻!
並且,不佩戴任何設備在籃球場這樣的廣闊區域重現光場這個不符合光線傳播方向原理,拿鯨魚黑色部分來說,背景光是棕色的籃球場,他們是怎樣在空無一物的空間遮擋背景光線而產生黑暗(不發光)的呢?只有後期製作能搞定!
最近入手了一台HOLOLENS,之前也跪舔並研究了很久MAGIC LEAP.
首先從結論來說:hololens是一個完成度很高的產品,而MAGIC LEAP則是產品原型/概念。這才是最大的區別。
人類歷史上偉大的構思多了去了,實現出來的產品確沒多少。原因?產品化本身實在太難了,坑太多。而且,很多時候磕磕碰碰弄出來的產品,最後完全沒法用的,也有不少。總之,一天沒有成為產品的原型和概念,是沒辦法跟已經上市的產品作比較的。
從概念角度來說,MAGIC LEAP的視網膜成像技術,本身還是很突破性的。但是,目前來看,其實也就是如此了。加之之前放出的所謂產品演示,最後證明要麼是後期做出來的視頻,效果圖,要麼是用龐大無比的硬體硬推出來的。。。有受騙的感覺。
我個人看法:MAGIC LEAP的產品最後呈現的效果,與他們宣稱的目標會差異很大,而且,這個產品極有可能會爛尾。也許會為這個世界貢獻不少的先進技術,但產品卻是大概率失敗的。理由是這個產品的出發點是一個顯示技術的突破。但是,要實現MagicLeap視頻里期望實現的功能,便攜的大規模計算能力,空間演算法,手勢語聲音識別,界面操控方式等,都是巨大的坑。微軟的Hololens是在Kinect大獲成功的基礎上,即對於空間深度的即時運算能力,以此為切入點,歷時7年做出一個堪稱當前黑科技的產品。這個產品路徑中,顯示技術是可以隨時更換的,也就是說,只要Hololens的核心計算能力等OK,然後保持進步,那麼顯示技術可以隨著技術更新換上去就是了。而MagicLeap則是從一個外設出發,核心的東西都要重新來,這個路徑好危險啊。我的預判就是從這個角度出發的。
在此,再次強調,把一個概念和一個產品進行對比,是沒有可比性的。概念是無限的想像,而產品則是無數的妥協。理想很豐滿,現實很骨感,大抵如此。
如果說兩者有相似之處的話,那麼就是他們的目標大致相同,都是期望能夠獲得MR,混合現實的應用效果。另外就是,他們都希望實現輕便,舒適的佩戴,長時間佩戴不會有不適感,產品必須是無線的。這些事他們都期望實現的。Hololens部分實現了上述目標,額,是大部分。hololens發售時實際效果如果有演示的一半好(我很懷疑)就堪稱黑科技了,magic leap我就只看見黑了,實在沒有找到科技在哪裡。。。。。。。
Magic Leap"s dazzling demo was a video made by a special-effects shop
?https://www.theinformation.com/the-reality-behind-magic-leap?
鯨魚的視頻不用分析吧~~ 怎麼可能是實時看到的!而且還是多個角度!哪個引擎能跑出來這樣的粒子效果,就算可以,估計magic leap至少得用目前最高配的PC跑這樣的DEMO吧~~~~
首先看下15秒前的這段視頻,這段視頻機位所處的位置大概在1m-1.3m的高度,第一個畫面是帶有幾片黃葉子的白掌,這個植物一般的高度在35-50cm,帶黃斑的葉子基本上是在根部產生,所以說這盆花卉是擺在大概60cm左右高度的柜子上,8秒鐘時候的機位比桌子上的滑鼠大概高出10-20cm,所以我們判斷這個視頻的拍攝角度基本上是在100cm-130cm的機位移動。
為什麼分析下這個機位呢,因為大家都還不知道Magic Leap是個什麼鬼,這個視頻應該是用Magic Leap直接錄製的,這種智能眼鏡最基本的功能大家就不用懷疑了,如果懷疑這個功能的話,否則我相信他們也沒這麼無聊;大家可以現在下載一個臉優、愛玩蘇菲兔之類的AR應用試試他的錄視頻的功能。但是問題來了,如果Magic leap直接錄製,為什麼不把它戴到頭上直接錄製呢!?1.3cm的高度絕對不是Magic leap員工的高度吧!這個視頻顯然是一個人手裡拿著這個錄製設備(Magic leap)從花叢後面移動機位先是機位朝下,然後提起來鏡頭對著桌子,這個過程中的自動對焦看著很不錯,當移動到桌子方向時(機位一直處於移動當中)虛擬的機器人一直處於idle狀態(屁股下面的小螺絲默認一直在轉);不過這個觸發是怎麼產生的這個視頻是看不出來,我估計是默認好的動畫,沒有聽到任何操作聲音或者是其他指令。
然後再看看這個虛擬小機器人本身,銀色高反光金屬感很強,環境反射球選擇的也比較恰當,我估計就是用的這個辦公室的360全景作為反射球! 這種咖啡色的地毯模模糊糊可以看到。
移動狀態下虛擬機器人和桌子的遮罩非常自然、穩定,沒有明顯鋸齒,做的非常棒!不過這個如果能加上之前metaio做的真實光照影響就更棒了,效果應該是桌子底下的小機器人頭部部分地方會接受到桌子的陰影!這樣就完美了!
15秒之後的這段剛打開設備後,往前推鏡頭,機位高度大概在坐著的人臉部位置,再一次證明這個機位高度基本是在130cm左右,是一個人手持設備前推鏡頭,不過在25秒時候畫面切了一次,因為有瑕疵了哦!是因為第一個鏡頭變焦失敗,當對著人的時候前推人越來越模糊,那設備的人視圖在人和虛擬太陽系直接搖晃一下,估計是搞不定,然後卡掉開始一個新的嘗試,25秒後的演示直接焦距對準虛擬太陽系;
仔細看可以發現太陽的貼圖和外發光粒子效果做的非常自然,34秒再次嘗試虛實切換!美女看清楚了一下下哦!40秒左右再次從美女焦點變焦到地球,這個變焦非常明顯。
地球貼圖遠看不咋地,不過近看不得不說別人家的demo就是很用心,地球的大氣層部分應該是分層透明貼圖疊加,移動中很有立體感。57秒後鏡頭玩的有點大,這個太陽系的demo初始的特徵點應該大多在美女坐的區域,57秒後基本上鏡頭朝著背後的柜子了,而且移動速度稍微加快了點,估計這是產生模型跳動的原因。magic leap用什麼3D引擎,目前看unity 或者unreal估計是了。
在研究Magic Leap的時候讀到這篇文章,前面幾位大神說的都很好,由於方向性太多,在讀資料的時候我也產生了一些小費解。所以就對於一些小方面做一些完善性補充和分享一些乾貨。
1. Magic leap是否是裸眼全息?
答案是否定的,裸眼確實是我們美好的願想,但是目前的技術是達不到的。就像前面 @Botao Amber Hu 提到的,我們需要介質。從magic leap的專利圖上,也可以看出是需要佩戴HMD(如下)
2. Magic Leap的核心技術?
A) 最重要的技術,其實就是magic leap的光學顯示技術,其中包含了我們所提到的「視網膜投影」和「光場技術」。這部分其實是ML最為核心的技術壁壘(已申請專利),可以解決兩大痛點:
-- 主動選擇性對焦
-- 聚散衝突
(後面會詳細分析這部分)
B)投影技術 (Fiber optic projector),這個屬於比較成熟的技術,很多大學的實驗室都有在研究。華大的教授團隊也已經將此技術用在別的產品上。
技術方面,前面已經有大神詳細講述過。簡單來概述一下就是光纖束在1毫米的管道內高速旋轉,快速發出光線,讓鏡頭末端得以逐個投出圖像;再通過光纖末端陣列堆疊的方式提高圖像質量。如下圖:
這個的優勢即便是體積小,重量輕,功耗低,並且覆蓋掃描面積大。
C)感知技術 (SLAM+sensor),這個也屬於比較成熟的技術。尤其是微軟在這個方面的研究,已經進行多年並取得了非常好的成效。前面也有大神講解了SLAM技術,我就不攤開來講了。
簡而言之,SLAM技術使設備在移動中觀測周圍環境和定位自身位置,通過自身位置進行地圖重建。我們很容易想到,只有知道了周圍的環境信息和自身的相對位置,我們才能更好的算出虛擬物品和真實物品的交互關係,才能實現真正真實化的渲染。
3.magic leap的光學顯示技術是什麼?解決了什麼痛點?光場是什麼?
這個部分是我覺得引起最大的爭議和費解的地方了,每個人表達的都很有道理,我僅代表個人觀點進行補充。
A) 光場(light field)
這個是現在大家提的很多的一個詞,很多人知道,沒有光場技術,就沒有深度信息。在進入這個細節前,首先要明確一個概念,光場技術可以分為兩大部分:
-- 拍攝/渲染 方面的光場技術
-- 顯示/投影 方面的光場技術
@張心欣的回答主要偏向於拍攝/渲染 方面的光場技術; @胡痴兒2.0的回答主要偏向於顯示/投影 方面的光場技術。兩位大神說的都很好,在此我就不再展開來說。
B)magic Leap的光場技術如何實現
magic leap的其實是通過光導晶元(waveguide apparatus)來實現的。光導晶元包含平面波導(planer waveguide)和多個衍射原件(DOE)。晶元包含了多層的2D平面波導,通過DOE的處理,模擬人眼,產生了不同的焦平面,使人們可以選擇性聚焦,如下圖:
更近一步的說細節呢,便如下圖:
光纖投射的光進入耦合器(Optical coupler system),耦合器將光引入各層的波導管。波導管的內部的元器件將平面的波,變為球面光波,再通過多層的投射堆疊,就產生了多焦點的深度場。如下圖:
至於裡面的元器件,我們知道它的作用是把平面波導變為有深度信息的球面波導。略有爭議的就是它是用衍射光柵(linear diffraction grating),球面反射器,還是兩者都有用。但是最終達到的效果就是產生了多焦點。是人們可以主動性選擇聚焦。
C)解決了什麼痛點?
痛點方面,前面的大神都有提到,就不詳細解答了,簡單來說就是兩方面:
-- 主動選擇性對焦:
-- 聚散衝突
主動選擇性聚焦:
如同我們上面解釋的,當產生了不同的焦平面後,結合magic leap的眼球追蹤系統(如下圖),便可以追蹤人眼,給出適當的虛實信息,避免視覺衝突產生的眩暈感。
聚散衝突:
前面 @胡痴兒2.0講解的非常好,聚散衝突是現在非常大的一個痛點,HoloLens暫時無法解決。簡單來說,就是當人么的眼聚散距離(vergence distance)和眼聚焦距離(focal distance)不同時引發的衝突,導致的眼壓過大。這點也可以通過上面提到的光導晶元和直接的視網膜投影,得到完美的解決。
4. Magic Leap 和微軟的 HoloLens 相比有哪些異同點?
回到最初的問題,那麼就很好解決了,上面的三個技術壁壘,hololens只具備(C),而暫時不具備(A)和(B)。當然,以微軟的技術積累和人才積累,解決這些問題也只是時間問題。
###感謝各大神們技術上的各種補充說明,特意來來修改一下回答
首先回答問題本身,Magic Leap 和 HoloLens 有什麼區別?
Magic Leap 的研究方向是 面向 AR 研發的 全息顯示技術,
Hololens 是現有技術下能造出的最好的的 AR 產品 和 一個背後微軟面向未來的 AR 發展而構建的 軟體開發平台
MagicLeap 和 Hololens 其實沒有競爭關係,一個是顯示技術,另外一個是做軟體和應用平台
就好像你不能說 三星 AMOLED 和 iPhone iOS 存在競爭是一個道理
(如果 Hololens 成功了,將來的某個版本就不能把顯示模塊換成 MagicLeap 的東西?)
然後視頻是假的,只是概念效果圖級別的東西
官網下載的視頻來逐幀的看……上截圖
請注意右邊那一排人「哇…」的表情(已經用粉紅色箭頭 Mark 好了),而這時候中間操場實際是什麼東西都沒有的
看視頻不妨再留意一下周圍觀眾的反應,鯨魚剛跳出來人們就開始鼓掌了。
正常人看到這樣的影像,第一反應絕對應該是 驚呆 被嚇到 想後退……然後才是鼓掌
所以 ML 在做很偉大的事情,但是現有階段還只是很原始,甚至說 alpha 的產品都沒有,但是微軟已經在開發者預覽版的 Stage 了,比起畫餅我其實更願意看到科技公司們這種前一秒讓你以為只是只是概念後一秒就拿出實物來打你臉的Surprise(雖然微軟經常畫餅……)
說到什麼全息什麼 3D 技術,其實任天堂的 3DS 都玩了那麼久了, 也沒見那個媒體說什麼未來,顛覆,革命的?也許哪天 iPhone 裝了個類似 3DS 的裸眼 3D 屏幕上去,這幫媒體就顛覆,革命,未來一次了吧單純吐槽一下國內科技類媒體說話的口吻,動不動就」顛覆「」革命「"未來",真的很噁心好么?
我就扔個鏈接……United States Patent Application: 0150016777
反正從Patent我沒看出來這貨比Hololens高到哪兒去了。至少在Hololens上還能讀到MSR不少paper作為支撐,可是這個Patent完全沒看出來有卵強大了。
個人更傾向於這東西還是停留在軟文和視覺片兒上,畢竟這樣的公司世界範圍內一抓一大把。
只能說,這年頭投資人的錢好忽悠啊,比如最近被扒皮的那個美女的公司什麼的,嘖嘖嘖……
------------------------------- 十分鐘後的分割線 -------------------------------
看到MIT Review的文章基本確定了,這貨雖然最近為了投資怒申請100+ Patents,但是目前還是個非常bulky的東西:When I tried out Magic Leap』s technology last year (see 「10 Breakthrough Technologies 2015: Magic Leap」), I saw some really phenomenal images that blended incredibly well with the real world around me. Monsters appeared that seemed to be walking right in front of me, in the middle of the company』s break area, for instance. But these colorful, vivid images were shown to me on bulky, and essentially stationary equipment. One demo was provided using gear on a kind of computer cart, which, while technically mobile, wasn』t something I could move around with.
Magic Leap also showed me a non-functional design prototype to illustrate what they』re aiming at: it looked like a bulky pair of sports sunglasses attached to a small battery pack. Getting the working technology to fit inside there will take time, skill, and, most likely, plenty of money. In particular, it could be tricky and expensive to scale up the silicon photonics manufacturing process needed to make the special 「light-field chip」 that Magic Leap says its technology uses (see 「Magic Leap Needs to Engineer a Miracle」).
首先作為體驗過hololens的物理專業的IT人士,先解釋一下magic leap的物理原理 抱歉手機打字沒圖。我想從惠更斯原理來說什麼是光場以及ML的物理原理:惠更斯-菲涅爾原理。惠更斯原理可以去看大學光學那些天書,用人話說就是光波行進到第一秒的瞬間,光波行進所在平面(術語稱為波前)的任意一點都可以看作另一個點光源,然後又過了一秒時,任意一點的光波則是前面第一秒時所有點光源傳播過來的疊加。每一點的光波其實包含相位、傳播方向等好多信息,並不只是只有亮度而已。而所謂光場就是我們光傳播途徑上切一個面,想像一下水波傳播路上被切了一刀,然後把這個面上所有點的信息都記下來,重放時只要重放這個面的所有點,那就完全還原了當時的場景了,這個場景包括這個面的前後左右上下以及後面所有時間傳播的效果,這也是全息照片的原理。事實上不可能還原所有點,就像顯示器似的,只要點的密度夠大人眼就看不出來。那ML怎麼復原波前每個點呢?用一根光纖,光纖後面有個旋轉的屏幕,這樣只要轉得夠快,由於視覺停留原理,人眼看來所有前進方向的廣播信息就能在一大束光纖端面重放出來,這就是我們的重放波前,無論人眼在什麼角度看都跟當初錄製時一模一樣(當然只有前面,光纖不能向後發光),因為惠更斯原理讓這些光纖的點光源剛好在人眼所在位置疊加並重現了當時的光波狀態。
說完原理,再看ML的挑戰就不難了:每根光纖後面要個旋轉的屏幕,否則光場信息不足,轉速要夠快而且同步,否則很暗而且光波疊加錯誤造成鬼影。那麼這麼一大堆高清旋轉屏幕放哪?光纖有多少根才能實現全場觀眾觀看鯨魚躍水?如果是個人眼鏡,要麼清晰度差,要麼後面拖個巨大的旋轉屏幕箱。固定屏幕的計算量倒是還好,做成眼鏡的話要實時調整所有光纖的光波出射角,計算量非常大,估計晃晃腦袋那延遲就暈死了。但是光場很自然的解決了晶狀體對焦問題-無論對焦在什麼距離都是清晰的,這點緩解了頭暈。
然後再說說hololens,這個東西演進很快,我去年在微軟總部試用時感覺很人性化,比如電池做的頭箍讓前後配重一樣,手裡拿著沉顛顛的戴著卻沒感覺;目鏡在外面另外一層,不但可以調整角度,還可以把我的近視眼鏡夾在內外兩層之間,非常舒服清晰,這點就遠勝於各種VR和3D眼鏡了!計算量方面,hololens做了很多投機取巧的演算法,比如有個限制是只能在一定面積內的房間里使用,它會對整個房間掃描建模提高速度,因此開放場地是無法用的!有個借口是安全性,因為VR需要整合生活中的物體,在開放場地如果有突然跑過來的人或車會有危險,畢竟你的全部視力都是從攝像頭和屏幕來的。那麼解決暈眩方面,HL計算速度夠快、而且最近還研發了在眼睛周圍放LED的方法解決眼角餘光導致的暈眩(不知何時用到HL上)。但晶狀體聚焦到沒有焦點的地方卻看到清晰圖像,理論上仍然會造成暈眩。
理論上這兩種AR技術都能做到現實場景和虛擬場景的無縫融合,因為你的眼睛只能看到顯示屏計算機算出來的結果。
長期來看ML是全息錄像的解決方案,要比HL要先進,但是ML實現方法有點粗暴,好像當年陰極射線管顯示器,而且我感覺離實用還差很遠,現階段還是HL技術更成熟。希望有一天能有新技術實現光場,特別是360度光場,前後都重現,那科幻時代就來臨了
ps,雖然在微軟工作過,還是很遺憾HL出自微軟之手,微軟現在重商務輕個人消費、重短期財報輕長期大眾口碑的戰略,HL演示里都淪為辦公用品,真是可惜了這件事充分說明了知乎不懂裝懂的人一大堆,各位看官笑笑就好!
我來補充下這個所謂的數字光場技術。
實際上它需要極大量的不同角度光源來形成一個像。
比如說在Hololens上,實現的是720P的圖像。
你知道如果用這個解析度,生成一副720P的圖像,這需要多少個激光源嗎?921600個不同角度的激光源。在激光源本身不可移動的情況下。這樣可以生成具有720P的光束,人眼可以在這道光束的路徑中自由對焦,也就是1280x720解析度。
那麼問題來了,誰能造得出含有921600個不同角度激光源的頭戴形設備?
我們已經實現的人眼投影技術是啥樣的呢?Google Glass那樣的平面LED光源+LCD反射。解析度640x360。並且只有一個平面。生成色彩和圖像是靠LED+視覺暫留做到的。
別的不敢保證,就算Hololens上市出到第二代,這個產品也不會出現頭戴版公開演示demo 的。很簡單,因為它太極限了,想要做到人頭戴的尺寸幾乎不可能。PDA那麼多年前就有了而且可以閱讀郵件批示報告進行手寫什麼的,然而到了2015年還沒法讓你手腕上的智能手錶續航一天。這還是建立在幾十年摩爾定律都沒失效的基礎上的。
現有的3D投影技術比當年的PDA還粗糙,而你竟然幻想讓它能很快戴在你的頭上。如今摩爾定律乙烷,硅晶元藥丸,你又不是不知道……還是趕緊買個最新一代的Intel CPU吧,估計和十年後的性能也差不了多少(
==
如果不是要戴在頭上的話,之前我查到的magic leap的專利就沒什麼卵用了……專利圖裡面都是一個頭戴式設備……一個是假的,一個是真的產品。
以上。
微軟大法好!!
magic leap是用軟體做出來的,
hololens是用代碼寫出來的
前邊幾位大牛都從技術的角度,解釋了他倆當前的研發重點、技術水平和差異。從個人的感覺來講,他倆的長遠目標其實是一致的,只是對對待市場的態度有所區別而已。
開發 Magic leap 的思路,更像一個完美主義者,或者說使用者更希望AR的視覺效果就應該是那個樣子的。但基於人類現有的技術能力,它的研究重點,在可預見的未來幾年時間裡,市場化的可能性非常低,即使是有限的政府、大財團這樣級別的超高端用戶,估計也很難方便地用上它。
開發 Hololens 的思路,更像個商人,貌似更務實一些,普通用戶會更快的買到它。它把錦上添花的難點放到之後慢慢解決,先通過儘快推出相對比較粗糙,但大部分人可以勉強接受的成型產品,突破用戶認識,培養用戶習慣,提高用戶參與度,逐步建立和完善產業標準。同時再一步一步優化細節。這跟Win10的發展思路如出一轍。
舉個不太貼切的例子,就像十幾年前,電腦3D遊戲剛剛出現像《三角洲》、《狼穴:重返德軍總部》時候的效果,跟現在的COD12比,那不僅僅是天壤之別吧?可如果我一開始連GPU都沒有的時候就說:我不要那麼爛的遊戲,我一開始就要搞比電影級畫面更真實的3D遊戲……這就不僅僅是技術難度問題了。推薦閱讀: