Magic Leap可能是什麼樣的技術原理?
據國外媒體報道,佛羅里達創業公司Magic Leap上周二宣布已從谷歌領頭的多位矽谷投資者獲得5.42億美元融資,計劃開發一種新型的擴增實境硬體。該神秘的創業公司尚未公開描述和展示過它的技術。不過,其專利和商標申請文件揭示了它計劃用於創造其CEO兼創始人羅尼·阿波維茨(Rony Abovitz)所說的「世界上最自然最友好的可穿戴計算界面」的技術。
從估值120億美元的Magic Leap 看人類未來的命運
引用一下我文章中的部分內容來解釋一下Magic Leap可能是什麼樣的技術原理吧。作者:Magic Leap愛好者鏈接:Magic Leap問答(FAQ) - Magic Leap愛好者 - 知乎專欄
來源:知乎
著作權歸作者所有。商業轉載請聯繫作者獲得授權,非商業轉載請註明出處。Q: Magic Leap開發的是什麼設備,會是什麼形式的?
Magic Leap正在開發中的是一款輕便的混合現實(MR)眼鏡。上圖是概念設計,實際產品會有不同,但是我們可以從中看出Magic Leap對頭戴顯示設備和主機的分離設計。這種分離設計的好處在於可以使頭戴設備儘可能的輕量化,滿足日常長時間佩戴的需求。Q: 什麼是混合現實(Mixed Reality)?
混合現實(Mixed Reality)指的是混合了真實世界和虛擬數字世界而創造出的一種新的環境,在這個新的環境中真實物理實體和虛擬數字對象共存並能實時相互作用,以使人們感知到的真實世界和虛擬數字世界能夠無縫的融合在一起。具體到Magic Leap的MR設備,人們能夠透過頭戴設備的透明鏡片看到外界的真實世界,也能看到由Magic Leap生成的虛擬數字對象,這些虛擬數字對象看起來就像是真實的存在於外界現實世界中一樣。除Magic Leap外,還有其它很多公司在開發混合現實設備,例如微軟的Hololens和Meta 2等。
Q: Magic Leap的核心技術是什麼?
Magic Leap的核心技術是數字光場顯示技術。數字光場顯示的虛擬物體所發出的光線進入人眼的方式模擬了真實世界的物體,所以可以顯示出能夠和真實世界無縫融合的虛擬物體,同時還可以消除其它顯示技術可能造成的人眼的不適感。Magic Leap的數字光場顯示技術的另一特點就是顯示設備的小型化和輕量化,所以可以做成適合在日常長時間佩戴的MR設備。
Q: 什麼是光場?
光場是用來描述通過空間中每一個點和每一個方向的光的量的一個函數,因為空間中的點需要用三維坐標來描述,而方向可以用兩個方向的旋轉角度來描述,所以空間中的光場是五維的。如果要用平面的顯示設備來展示光場,因為平面是二維的,加上兩個角度方向,所以就只需要四個維度就可以描述通過空間中的一個平面的光場。
這裡有個非常好的四維光場顯示設備的例子。Magic Leap的先進光學副總裁Michael Klug以前是Zebra Imaging(斑馬影像)的聯合創始人和CTO,而Zebra Imaging開發的就是一種四維光場全息顯示技術。這裡有個視頻展示了使用他們的技術列印出來的全息相片,當觀察者移動位置或改變觀察角度時看到的圖像都會不同。
Q: 為什麼混合現實眼鏡需要使用光場顯示技術?
人眼感知看到的物體離自己的遠近是通過兩眼間角度的聚散和晶狀體不同的聚焦程度來實現的。當前絕大多數VR眼鏡還有Hololens都是通過一個平面的顯示器來顯示虛擬物體的,因為顯示平面上所有的像素到人眼的距離都是固定的,所以人眼觀察時不管虛擬物體離自己的遠近如何,晶狀體所需要的聚焦程度都是一致的,人眼只能通過兩眼間聚散角度的不同來產生立體視覺感知距離。這就造成了人眼兩種感知距離方式間的衝突,而這種衝突就會造成不適感。對於MR眼鏡來說,因為人眼可以同時看到真實物體和虛擬物體,在兩種物體距離人眼一樣的情況下,顯示虛擬物體的平面顯示器如果處於和真實物體不同的焦平面,那麼人眼就無法同時看清離人眼一樣距離的真實物體和虛擬物體,這就和人眼的視覺系統產生了新的衝突,人眼看到的虛擬物體就無法融入真實世界,而且會造成不適感。所以MR眼鏡對顯示技術的需求是比VR眼鏡還要高的。
為了不損害人眼的視覺系統,並使虛擬物體可以更好的融入真實世界,就非常有必要在混合現實眼鏡中使用光場顯示技術。光場顯示器顯示的虛擬物體可以處於正確的焦平面(視覺距離)上,這樣人眼觀察時晶狀體的聚焦程度就可以和兩眼間的聚散角度相一致。
Q: Magic Leap的數字光場技術是四維光場嗎?有什麼自己的特點?
不是,Magic Leap的數字光場顯示技術不是四維光場。因為帶上MR眼鏡後人眼相對於鏡片的位置就基本上固定下來了,不會出現上面提到過的類似觀看Zebra Imaging的全息相片時觀察者四處移動改變觀察角度的情況。所以MR眼鏡需要的是一種可以沒有角度變化的兩個維度、但是又可以使顯示的像素處於不同的視覺距離的光場顯示技術。Magic Leap的聯合創始人Brian Schowengerdt在之前的科研論文中給自己開發的顯示技術起名為3D volumetric scanning laser displays。如上圖所示,不同的像素可以具有不同的視覺距離,人眼既可以聚焦在遠處的房屋上,也可以聚焦在近處的樹上。具體的實現方法就是在每個像素的光線進入人眼前對其波陣面進行整形,使每個像素可以處於不同的焦平面(視覺距離)上。
雖然Magic Leap的數字光場顯示技術不是四維光場,但是對於觀察位置和角度相對固定的頭戴顯示設備來說,其顯示效果和四維光場顯示的效果差距非常小。所以Magic Leap的數字光場顯示技術非常適合MR眼鏡,但是並不適合觀察者需要改變相對位置和角度的情況,例如光場大屏幕電視。
Q: 運行Magic Leap的數字光場需要巨大的運算資源嗎?
不需要。因為四維光場比二維圖像多出兩個維度所以用計算機生成四維光場需要巨大的運算資源,比生成二維圖像要高出幾個數量級。但是因為Magic Leap採用的不是四維光場,所以可以節省大量的運算資源,可以說這也是Magic Leap數字光場技術的優點之一。如果和傳統的顯示技術比較起來,Magic Leap需要的運算量幾乎相同,這是因為Magic Leap的數字光場技術可以直接使用普通的光柵化渲染技術,現有的GPU硬體和軟體架構基本上不需要做大的改變。
我們平時玩的遊戲都是使用的光柵化渲染技術,GPU把渲染完成的像素放入RGB幀緩衝區(Frame buffer)中,顯示器用幀緩衝中的RGB值來控制顯示器上的像素的RGB值來顯示圖像。但是其實GPU還會維持另一個緩衝區,這就是深度緩衝區(Z buffer),裡面的值對應的是每個像素的深度值。GPU利用這些深度值來處理遮擋關係。如果一個物體光柵化後生成的像素的深度比目前在相應深度緩衝區的像素的深度大(距離視點距離遠),那麼就拋棄這個像素,這樣就能正確的處理物體的遮擋關係。下圖顯示的就是RGB顏色緩衝區和深度緩衝區的圖像,深度緩衝區灰度越淺說明像素距離視點越遠。
如果把幀緩衝區中的像素結合上深度緩衝區中的深度值以三維的形式可視化出來就可以看到下面幾張圖中的效果。
我們可以看到GPU渲染得到的數據其實並不只是一個二維圖像,而是完全可以描述一個由不同視覺距離的像素組成的立體圖像。我們平時只能看到二維圖像是因為普通的顯示器只能顯示二維的RGB幀緩衝區中的內容。如果有一個顯示器能夠同時結合深度緩衝區內的數據來顯示每個像素,那麼我們就能看到一個立體的有距離感的圖像。Magic Leap所開發的數字光場顯示設備就是這種顯示器。
Q: Magic Leap的數字光場顯示系統的工作原理是什麼?
Magic Leap到目前為止並沒有公開他們使用了什麼技術,所以我們只能通過極為有限的一些報道和Magic Leap申請的專利來猜測它到底使用了什麼技術。Magic Leap的顯示系統分為兩大部分,一部分通過光纖掃描投影,另一部分通過光子光場晶元成像。首先來看看Magic Leap的光纖掃描顯示技術(SCANNING FIBER DISPLAY )。2016年7月公開的一份Magic Leap的專利 Methods and systems for implementing a high resolution color micro-display 里詳細介紹了光纖掃描顯示技術的實現細節和性能參數。推薦MIT Technology Review的這一篇文章 :Augmented Reality Startup Magic Leap, Funded by Google, is Working on Super-Real 3-D 「Light Field」 Display
雖然關於magic leap自身技術細節確實可靠的資料很少,這篇文章試圖通過公司註冊的專利和商標信息來分析其背後可能用到的一些技術。
文章中提到了一種能夠讓人的視覺系統如同感知真實物體一般的虛擬現實技術。不同於其他類似的虛擬現實技術(如 the Oculus Rift),Magic Leap將通過一組三維光線圖案,稱之為「數字光場」(」Digital Lightfield」),在現實的場景中將虛擬圖像直接的呈現在我們眼前,並且允許通過人眼的對焦而感受物體的景深,就好像其他周圍真實存在的物體那樣。
而這樣的三維光線圖案將由一種被稱為」WRAP」(Waveguide Reflector Array Projector,電磁波導反射陣列投影)的設備來以實現。成像將由一系列極小的曲面鏡面組成,光線由光導纖維呈現在這些陣列中,每一個單體又將反射一部分光線從而最終形成特定環境中的光場。同時陣列本身也是半透明材質因而能夠同時看到真實的周圍環境,以此來加強虛擬現實的效果。
類似這樣的技術在今年早些時間由Nvidia發布的虛擬交互產品上看到:
而Magic Leap的最大挑戰將來自於如何將視覺上虛擬的三維物體與真實空間無縫的整合為一體。這將要求系統能夠實時的感知周圍的實際空間並且理解人眼所聚焦看到的像究竟在空間中的哪一點上。公司的專利文件中提到了另一項動態感測器與人眼追蹤攝像機的技術。通過攝像機對人眼活動的捕捉以及演算法的支持,系統能夠定位出用戶所看的方位和距離,結合感測器對實際三維空間的掃描,虛擬現實的像將得以如同真實物體那樣被「放置」在真實的環境中,並隨著人眼聚焦和觀看角度的變化而隨時更新,從而帶來身臨其境的虛擬現實體驗。如果要真正達到在每一時刻都呈現出虛擬與現實的完美整合,除了硬體系統的支持外,軟體的優化演算法也面臨這許多的挑戰。我司兩位工程師寫了一篇解析Magic Leap所涉及相關技術的文章,貼個鏈接大家看看。
http://36kr.com/p/5039170.html?from=timelineisappinstalled=0估計Magic Leap最大可能採取的技術是視網膜投影技術,算是光場顯示的一種,可以真實模擬不同距離物體的光線真實入射角,避免了人眼聚焦面和和物體距離不一致的難題。預測應該是頭戴式顯示設備。另外可能最先應用的還是VR,AR應用還存在一定的難度,比如真實場景和投影場景的遮擋等問題還是比較難的,所以AR目前主要的Demo都是做的小cave。
請看這頁的回答: Magic Leap是否用到了裸眼3D的技術? - 虛擬現實 (VR)
簡單來說就是直接把光打你眼睛裡,不需要屏幕、眼鏡等。用facetracking找到你的眼睛位置,射出low diffraction的光到你視網膜。如圖:裡面有更多複雜玩法,鯨魚那個效果應該就是這樣實現的,圖中小點是眼「睛」,非眼「鏡」!:(你以為鯨魚在你前面10米的地方,其實不然,一切都在你視網膜上進行)附上正牌專利:https://patentscope.wipo.int/search/en/detail.jsf?docId=WO2015006784(2016/02/19)最近在做Magic Leap的全球IP(知識產權,含專利)分析,把一些大家比較關注的點放在這裡。再慢慢補充。
一、形狀,從目前公開信息來看,主要有包覆型和平板式兩種。
包覆型(wrap-around)透視顯示大概長這樣:
這個形態將與普通的頭盔式顯示器(HMD)無異,只不過會做得更加緊湊和輕型, 提供寬廣透視FOV效果。
圖片來自Magic Leap官網
頭盔主要包含波導稜鏡和補償透鏡兩部分,波導稜鏡將顯示單元產生的光線經多次折射與反射後導入用戶瞳孔,而補償透鏡將被設計為抵消波導稜鏡所造成的光線偏移和失真並提供跨寬廣視場的真實世界場景的清晰透視視圖。
這樣將可以實現相對於正前方在太陽穴方向最高達90°、在鼻子方向最高達60°、以及相對於正前方在上方和下方最高達60°的寬廣透視視場。
平板玻璃式透視顯示--這一部分將在後續陸續補充。
二、如何做到「虛實結合」?
圖片來自Magic Leap官網
用戶佩戴的頭盔設置了不同的感測器和處理器,主要分為三類:
(1)用於感測環境的環境感測系統:包括各種各樣的感測器312,可用來感測外部環境(包括靜態對象、動態對象、人、手勢和各種照明、大氣等),獲得環境的元素。
(2)用於感測用戶動作和意圖的用戶感測系統:包括語音、紅外感測、陀螺儀等。甚至還可以包含照相機或光學感測電路,用來優化用戶的觀看體驗的信息(例如,用戶的視覺焦點,瞳孔收縮的速率),如果顯示過高,可相應調整顯示亮度。
(3)處理器,存儲有軟體和/或固件,這樣,環境感測系統306 可以使用它來識別(由感測器312 捕獲的)各種特性和形狀圖案,這樣圖中的真實物理對象將被標識為凳子。
在這個前提下通過真實物理對象構建虛擬形象,例如圖中用戶為成年人,則虛擬形象為機器人,如果是小孩,虛擬形象可以是小狗。
三、在虛擬場景下用戶與用戶之間怎麼玩?
位於不同地理位置中的兩個用戶可以通過他們各自的用戶設備和其它用戶在共同的虛擬世界裡進行交互(tiao
qin)。
例如,兩個用戶小明和小靜正在來回地扔虛擬球(虛擬對象),其中每個用戶能夠觀察到虛擬世界中的其它用戶的影響( 例如,每個用戶觀察到改變方向的虛擬球,由其它用戶抓住的虛擬球等)。
計算網路中的伺服器跟蹤虛擬球的移動和位置,通過系統向小明和小靜傳遞對方的虛擬球的準確位置和到達計時。
假使小明位於倫敦,可以向位於洛杉磯的小靜以(由系統計算的)一定的速率扔球。系統向小靜( 例如,經由Email、文本消息、IM等) 傳遞球到達的準確時間和位置。這時候,小靜可以使用她的設備看到虛擬球在指定時間和位置到達。
將會在後續陸續將其它分析的結論放到這裡。
本人IP從業者,有興趣可以關注我的個人自媒體公眾號智圈(iwdoing),關於IP、專利、創新的相關話題與研究。
炮製創新 - 知乎專欄也同步更新
光纖掃描顯示(Fiber Scanned Display, FSD)是一種全新的顯示技術,未在已有消費電子產品中應用過。在 2010 年的論文Near-to-Eye Display using Scanning Fiber Display Engine 和 2014 年 1 月提交申請的專利 Ultra-high resolution scanning fiber display 中,兩篇文獻的主要作者,Magic Leap 聯合創始人首席科學家 Brian Schowengerdt 詳細描述了 FSD 的工作原理。
圖1
圖 1 中的掃描光纖投影儀直徑約為 1 毫米,長約 9 毫米,主要包含壓電致動器(Piezoelectric actuator)、震動單模光纖(Vibrating singlemode optical fiber)和投影鏡片(Projection Lenses)。Brian Schowengerdt 在論文中寫道:
「圖像的創建是通過使光纖的尖端在軸的兩側來回震動,掃描已調製光來實現的。掃描過程中,耦合的光進入單模光纖的相反端,並且被轉接至光纖的尖端」。
單從視覺上,頭戴式設備提供的 AR 體驗至少由這些參數影響或決定:幀率(Frame Rate)、解析度(Resolution)、像素間距(Pixel Pitch)、視場角(Field of View, FOV),以及景深(Depth of Field, DOF)效果。
其中,光子光場晶元實現了景深效果,讓人們可以自主選擇聚焦於虛擬圖像中的哪一點,光纖掃描顯示技術則可使 Magic Leap 的產品至少在其餘 4 個性能參數上遠超競品。
根據專利文獻 Ultra-high resolution scanning fiber display,當光纖掃描頻率在 11.5 千赫茲時,可以實現 30 幀的幀率,即每秒播放 30 幀,而當掃描頻率高達 24 千赫茲時,可以在相同的解析度下實現 60 幀的幀率;可以通過增加或減少掃描的頻率和幅度來調整幀率、解析度和掃描角度,在每秒 15 幀到 60 幀的範圍內,可以實現多種解析度,掃描角度則可高達 120°。
圖2
專利文獻中的 FIG. 2,即本文中的圖 2,對光纖掃描顯示做了形象的描述:「在圖 2 的具象中,一個如序號 4 直徑為 1 毫米,長 7 毫米的 FSD,掃描光纖顯示的圖像尺寸與如序號 8 的 10 美分硬幣差不多。
圖3
接下來就如圖 3,Magic Leap 將多個掃描光纖顯示裝置緊密排列在一起,以增加顯示尺寸。圖 3 中,11 × 7 個 FSDs 構成一個緊湊六邊形晶格(Hexagonal Lattice)陣列,可以在 12 毫米對角線的屏幕上提供約 4375 × 2300 的解析度,約 1000 萬像素。
解析度、像素間距和視場角,是 3 個相互影響和制約的參數。像素間距代表兩個相鄰像素的中心之間的距離,是像素密度的一種衡量。顯示尺寸相同,像素間距越小,圖像容納的像素就越多,解析度就越高。
光纖掃描顯示技術可以實現 0.6 微米的像素間距,雖然不一定實際用到;而已有的硅基液晶和 LED 在這方面被限制在約 4 - 5 微米,Magic Leap 具有壓倒性優勢。
最後分析視場角。人類視覺系統的視場角大約是水平 200°,垂直 130°。觀察距離不變,視場角越大,顯示尺寸就越大。
Magic Leap 的野心至少是水平 120°、垂直 80°的視場角,這是專利中唯一沒有明確實現的參數;僅表明支持超高解析度的顯示器,在頭戴式或其它近眼顯示設備中支持大視場角。專利文獻的背景部分寫道:
「大約 50-60 弧秒的角解析度是 20 / 20 視敏度表現的閾值,並且角解析度取決於微顯示器的像素密度。」
(註:「20 / 20」代表正常視力,能夠看清距離 20 英尺的東西。)
「為最佳匹配人類視覺系統的平均能力,頭戴式設備應跨越水平 40°、垂直 40°的視場角來提供 20 / 20 的視敏度,所以在 50 弧秒的角解析度下,就等於大約 800 萬像素。如果要拓展到理想的水平 120°、垂直 80°視場角,則需要接近 5000 萬像素。
(註:角解析度 = 像素數量 / 視場角;1° = 3600 弧秒,50 弧秒的角解析度即視角內 1°能容納 72 像素;按照水平 120°、垂直 80°視場角計算,需要 8640 × 5760 的解析度,確實接近 5000 萬像素。)
值得一提的是,這個專利是在論文發表近 4 年後提交的,論文中,掃描光纖顯示裝置的長度約為 9 毫米,專利文獻中縮短到了 7 毫米。有理由認為,Magic Leap 將推出的產品在很多性能參數上可能還要優於專利中的描述。
我是愛就投金控的項目經理、研究員;我們做股權眾籌、財務顧問和直投
另外,我在招助理研究員哦~ 歡迎應屆生O(∩_∩)O
首頁 - 愛就投 - 專業股權融資,投資高成長企業的健康生活籌眾平台
可以看這個 Magic Leap是騙局?聽大牛怎麼說 | 硬創公開課
作為外行昨天寫關於這個的文章時搜索了一些資料,說說自己得理解。鯨魚視頻剛出現的時候大家都在辯論是全息投影還是增強現實,也有很多人通過該公司申請的專利來進行判斷。全息投影又稱虛擬成像,主要是利用干涉和衍射原理記錄並再現物體真實的三維圖像的技術。一個不存在霧、幕、玻璃等介質的現場以現在的技術完全不可能做出這樣的全息投影,而地板也不能作為這樣的介質。個人早先偏向於增強現實技術,但是因為現場觀眾沒有戴眼鏡也提出過懷疑。增強現實必須要有的設備就是計算機顯示器和攝像頭,而眼鏡正好可以變成這個可移動的設備,視頻中的裸眼特效實在是讓人驚呼。最終該公司透露他們所使用的技術是一種「動態數字光場信號」,通俗的講就是特製眼鏡。而且被很多人挖出這段視頻是通過後期製作得到的效果,也僅僅是該公司對未來技術的一個概念和暢想。
你可以搜一下pinlight,一個正在實驗階段的現實增強光場顯示眼鏡
大概是在7-8年前的某防務展trader"s day上參加過過雷聲公司體驗會上類似的技術,類似鯨魚那個互動式全息投影叫數字沙盤,效果不錯,不過要戴專門的手套。戴在頭上能看虛擬物體的是個有兩公斤以上的大傢伙拖著粗大的線纜,用的是近場無線信標+陀螺儀的方式,用於模擬查看武器結構和虛擬培訓比如航母上的裝彈人員。技術上早就不是問題了,但是民用化和小型化,看看攝影領域就知道了,光學結構可不是計算機晶元能按著摩爾定律走的。這麼個玩意知乎上也大驚小怪的也是醉了。
我只想知道,說Magic Leap沒有吹牛逼的人,現在臉腫不腫。上面那些一本正經的分析也夠可笑了。
這世界上根本就沒什麼黑科技,能做到07年蘋果的多點觸摸就已經非常革命性了,但是功夫仍然主要是軟體,流暢的雙指擴大地圖是優秀的軟體演算法+更快的運算速度+更大的內存+多點電容屏的結果,其實一點也不黑。別的,特斯拉各種產品其實本質只是如何將一大堆電池並聯在一起,裸眼3D各種距離限制……對軟硬體行業有了解的人根本就不會信什麼領先行業2年的東西,從這個角度講Intel的CPU才是真正的黑科技。Google暫時做不出來比Hololens更強的眼鏡,微軟也沒法讓Hololens價格低於一萬,這樣的世界裡你們竟然相信Magic Leap能一下子就改變行業?別扯了。推薦閱讀:
※虛擬現實將會如何摧毀電視機行業?
※很多人對VR有偏見,認為AR做的比VR更有前景。你怎麼看?
※為什麼說2016年是VR產業的元年?
※VR視頻和全景視頻有什麼區別?
※2016 Oculus Connect 3 開發者大會有哪些看點和未來展望?
TAG:光學 | 谷歌Google | 虛擬現實VR | 谷歌眼鏡 | OculusRift |