Magic Leap的數字光場顯示和Avegant Glyph的虛擬視網膜投射技術有什麼關係/區別?

1.都是向視網膜直接投射光線,Magic Leap的數字光場顯示(Dynamic Digitized Lightfield Signal)和Avegant Glyph的虛擬視網膜投射技術(Virtual Retinal Display)有什麼關係或者區別?2.相比DLP投影,視網膜直接投射技術有何難點和優勢?


轉載自:Magic Leap: 光場顯示開啟AR眼鏡的終極未來_AR資訊

1. AR 眼鏡 —— 下一代計算平台

1.1 AR 眼鏡——下一代個人計算平台

我們一向看好 AR 眼鏡成為下一代個人計算平台的潛質,在此前的深度報告《IA+AI,新一輪硬體創新即將到來》中,我們提出虛擬顯示技術的不斷進步,疊加人工智慧帶來的虛擬個人助理等應用的突破,AR 眼鏡有望智能手機之後的下一代個人計算中樞!

虛擬顯示技術的進步解決 AR 眼鏡的核心視覺體驗——從半反半透鏡(Google glass)到曲面光波導(Hololens 等),大大提升了虛擬世界與真實世界的疊加感、視場角也明顯提升,但仍然沒能解決虛擬世界的真實感,以 Magic leap 為代表的光場顯示有望解決這一問題!虛擬個人助理的應用使 AR 眼鏡成為個人計算平台——AR 眼鏡是比智能手機更加便攜、直觀、個性化的計算中樞,AR 眼鏡可以是用戶的虛擬個人助理、互聯網的入口、以及控制 IOT 設備的中樞!

虛擬個人助理的應用受到各個科技大廠的重視,蘋果 Siri、Google 語音助手、微軟 Cortana、亞馬遜 Alexa 等不僅僅是語音識別的工具,更是人工智慧打造的助手,進入商業、家庭、汽車等各個場景,例如前段時間熱炒的智能音箱——亞馬遜 Echo、Google Home,而最大的場景,無疑是用戶的身邊,這就是 AR 眼鏡的價值!

作為 AR 眼鏡的兩大驅動力之一,虛擬個人助理走向成熟將為 AR 眼鏡加速普及帶來福音!

1.2 AR 顯示技術投資愈演愈烈

今年以來,AR 顯示領域的投資愈演愈烈,除了微軟自身的 Hololens 之外,Magic leap、Meta、Lumus 等 AR 眼鏡和方案公司受到追捧,Google、阿里巴巴、騰訊、盛大以及國內多家上市公司成為主要參投方!

Magic leap 明年上半年有望發布第一代產品,Meta 剛剛發布 Meta 2 眼鏡,Lumus 融資擴大產能,今年下半年開始有望進入 AR 眼鏡的高速發展期!

2. 光場顯示,AR 眼鏡的終極未來

2.1 Magic leap 引領光場顯示

在 AR 虛擬顯示方案中,我們最為看好 Magic leap 的光場顯示技術!儘管獲得了 Google、阿里巴巴等十數億美元融資,但到目前為止,Magic leap 仍以黑科技的面貌呈現在大家眼前!

Magic leap在2015年3月演示了幾個神秘的視頻,今年4月又發布了一段新的視頻,從Magic leap披露的 demo 中可以感受光場顯示的效果(Magic Leap)Magic leap 最為著名的 demo 是體育場的鯨魚,將虛擬世界與真實世界融為一體,另一張手心裡的小象的 demo,可以看出近景和遠景的分辨——當聚焦近景的時候,遠場的花朵變得模糊!

2.2 光場顯示——徹底解決 AR 顯示的暈動症問題

光場顯示是模擬四維光場的顯示技術,真實再現所有方向的光線信息!

自由空間中的每條光線包含兩個維度的位置信息(x、y)和二維方向信息( θ,φ) ,傳統的平面顯示(LCD、LED、OLED)相當於四維光線在平面上每個點的積分,只保留了射線穿過屏幕的交點的幾何信息和顏色信息,也即(x、y)兩個維度,但失去了光線的方向信息,而光場顯示可以保留最真實的光線信息(例如不同的光強和顏色),通過模擬整個光場,讓人眼得到真實的視覺感受,尤其是在景深這個維度!

不少人對光場的認識可能從光場相機開始,光場相機技術其實就是通過攝取各個方向的四維光線,從而達到先拍攝後對焦的效果,而光場顯示可以認為是光場相機所拍攝的光線的模擬和再現!在空間內任意角度和位置,都能獲得真實信息。

光場顯示的真實性,主要體現在兩個方面——①使眼球的聚焦距離與雙眼的匯聚距離一致,解決暈動症的問題;②人眼可以主動聚焦,聚焦的球面清晰、而該球面以外的距離模糊,符合人眼的觀看習慣!理論上與人眼觀看真實物體沒有區別,是虛擬顯示的終極方案!

人眼可以主動選擇對焦 ,觀感更真實

當人眼觀看近景的時候,遠景是模糊的,反之亦然,而虛擬顯示技術往往是投射全幅清晰的畫面給雙眼,不符合人眼的觀看習慣,同時會增加大腦的負擔。

而光場顯示對於顯示的視野中的每一點生成與其虛擬深度相對應的調節反應。真實再現景深維度的信息,可以做到觀看近景的時候,遠景模糊,觀看遠景的時候近景模糊,例如 Magic leap 演示的手心的小象圖像,遠處的花是模糊的!

聚焦距離和匯聚距離匹配

以往的虛擬顯示或 3D 顯示都是採用雙目視差的方式產生 3D 景深效果,事實上相對人眼來說都是投射在固定的焦距(顯示屏)上, 人眼的聚焦距離(通過人眼的晶狀體調節屈光度,使眼球聚光的焦點準確地落在視網膜上)落在屏幕的位置,而雙眼的匯聚距離(雙眼匯聚焦點的距離)不斷調整,這不符合人眼觀看真實物體的習慣,會導致人眼的焦距紊亂,長時間觀看 會 產生 眼睛吃力、 眩暈等癥狀,這是虛擬顯示頭盔產生「暈動症」的重要原因之一!

光場顯示由於是真實再現光線信息,可以有效解決這一問題,人眼的聚焦距離與雙眼的匯聚距離是一致的!

2.3 光場顯示——景深維度的顯示革命

放眼顯示技術領域,近年來,顯示技術的變革愈演愈烈,尤其是新型硬體形態層出不窮,對顯示方案也提出了更多需求,包括高清化、大尺寸、高刷新率、低延遲、柔性化等等,OLED 等新興顯示技術也逐步受到重視!

而這些創新都還局限於平面顯示的維度, 景深維度的創新極為匱乏, 光場顯示有望引領景深維度的創新。長期來看,立體顯示技術憑藉其真實性必定佔據更為重要的地位,而 VRAR 等設備,有望成為立體顯示的推進因素!(目前光場顯示由於計算量過大,更為適用於 AR,而沉浸感需求較強的 VR 顯示還需要 OLED 等平面顯示技術!)

3. Magic leap 和光場顯示 深入解析

3.1 Magic leap 主要構成

從 Magic leap 披露的專利以及與眾多行業人士的交流中,我們試圖還原 Magic leap 的原理,尤其是從極多迷惑性的專利中抽絲剝繭,

在 Magic leap 的其中一個專利中,Magic leap 顯示一個完整的光場顯示 AR 眼鏡,包括這麼幾個部件 —— 光線投影儀、光子光場晶元、寬視野攝像機、人眼追蹤系統、GPS 和慣性感測系統、圖像姿態處理器、感測器姿態處理器、渲染引擎:

寬視野攝像機——將用戶周圍的環境成像,捕獲可見光/ 紅外光,配合慣性感測器實時計算用戶頭部姿態,同時根據環境光調節虛擬光場的亮度等

人眼追蹤系統——兩個紅外 LED、兩個微型紅外攝像機,追蹤用戶眼睛,計算用戶的視野及雙眼聚焦的深度(根據用戶眼睛的焦點深度控制投影的焦距),同時也可以支持用戶輸入

慣性感測系統、GPS——加速計、陀螺儀、地磁,以 200HZ 左右的高頻感知用戶位置和姿態,並用感測器姿態處理器分析

渲染引擎——運行軟體程序的硬體,提供用戶本地的渲染信息,通過光纖投影模塊向用戶的眼中成像以用於用戶對所述世界的視野。

光纖投影——將渲染的虛擬現實對象的光以類似於視網膜掃描顯示的方式投影,被投影的光束的波面可以是彎曲的或為聚焦的以符合增強和或虛擬現實

光子光場晶元——對激光掃描賦形的深度光投影模塊

其中圖像姿態處理器、感測器姿態處理器、和渲染引擎,可以安裝在腰部的模塊,與其他組件超寬頻的無線通信或有線通信。

3.2 Magic leap 的光場顯示原理

光子光場晶元是光場顯示最核心的部分,今年4月Magic leap創始人Abowitz展示光子光場晶元,這也是 Magic leap 的光子光場晶元唯一一次亮相!

說是晶元,其實光子光場晶元是一個由多個波導組成的,將光束轉變成球面波前的光學部件!模擬真實物體的四維光場,與真實世界相疊加,

光子光場晶元 ——將 可以被看作是將 2D 為 光場變換為 4D 光場的數學運算器。一個光子光場晶元由12 層 2D 平面波導組成,

典型的人眼能夠分辨大約 12 層深度的徑向距離,人眼的近場界限和遠場界限分辨為 0.25 米和 3米,對於近景的解析度較強,能夠感覺到非常小的焦距差別,但隨著距離越來越遠,焦點的層越來越深,對於 3 米以外到無窮遠的判斷不明顯,

因此 Magic leap 採用 12 層 2D 平面波導,模擬用戶眼睛和無限遠之間的 12 個焦平面,模擬真實的場景!

每一層 2D 平面波導可能存在兩種實現方式 —— 微反射器陣列和光柵波導!

首先看 微反射器陣列法,下圖是單個平面 2D 波導(前後共計 12 層,每一層對應一個小幅可變的對焦距離,每層厚度不超過 1mm),由上下多個波導管組成,耦合管將輸入光錐引入各個波導管(光纖射入的輸入光錐可以由兩個軸面的耦合管引入,時空復用技術),

每個波導管的彎曲微反射器陣列——將窄的平面波光束變換為寬的球面波前,將光錐轉換為虛擬深度平面,然後從 12 層二維投射的堆疊生成 3D 體積的效果,由於每層平面波導的獨特光學屬性,不同層次之間互不影響,使 12 層互相堆疊能產生多焦點光學系統!

具體微反射器陣列的作用——波導中的微反射器有兩個定向角φ、θ,使入射光錐中的每一小束平行光以球面波前的形式出射,從而對應各個虛擬深度平面(虛擬點源組成的深度平面),

在每個單層 2D 平面波導上,每個微反射鏡的 2D 定向可能以等效菲涅爾鏡的形式排列,球面波前的表面曲率與輻射球的半徑成反比例地改變。

除了微反射鏡陣列外, 另一種可能的實現方式 是 波帶片衍射光柵

通過衍射光柵改變光的出射方向,N=-1 光線出射,其他光線繼續在波導內部全反射,光柵結構可能類似於菲涅爾波帶片。

把菲涅爾波帶片集成到波導內部,根據菲涅爾波帶片的特性,出射光反向延伸後可以匯聚在一點,也就是虛擬點源位置,虛擬點源再構成虛擬深度平面,衍射光柵的微結構在納米級!

真實世界的處理 —— 正交偏振,遮擋掩膜等

正交光偏振——採用正交光偏振技術,將來自真實外部世界的光與虛擬顯示器的光進行解耦,內部偏振的微反射鏡使反射光線具備同向偏振,外表面正交偏振的屏幕可以相對於虛擬顯示器的偏振軸來正交地偏振來自真實世界的光,由此允許光線傳遞經過顯示器而不會受到微反射器的影響,如果外表面採用可以控制偏振方向的液晶顯示器,還可以調整真實-虛擬對比度

遮擋掩模 —— 外表面的顯示器,通過黑遮光板、遮擋簾、全黑色 LCD 面板模式等等方式,與投射的圖像位置對應的位置,用遮擋掩膜遮蔽外部光線, ,防止來自外部光線的干擾,每秒大約 30 -60 幀之間來操作投射裝置和遮擋掩模裝置,

透鏡補償——在各層平板 2D 波導間,可以採用弱凹透鏡,使每層的射向眼睛的光線進一步發散,因此距離最近的波導層顯示最近的焦距層,最遠的波導層投射最近的焦距層,在最外層,採用補償凸透鏡,使真實世界的光線回歸正常

3.3 光纖投影系統

除了光子光場晶元,Magic leap 的另一個核心部件是光纖投影系統。

Magic Leap 的光纖投影顯示,簡單原理就是光纖(50um)束在一個 700um 直徑管道內高速振動,投射點光源,光纖投射的電源可被成像成衍射限制斑,該衍射限制斑的尺寸由掃描透鏡確定。通過將掃描成像到恰好在掃描透鏡前面的平面上,可以產生尺寸小於 3 微米的斑。

改變旋轉的方向,然後就可以掃描一個較大的範圍。產生圓形顯示區域的 250 周緊螺旋,形成一個 1.2mm 左右直徑的圖像,只要掃描幀率夠高,人眼就分辨不出顯示器是否旋轉顯示的。Magicleap 的光纖掃描可允許在大約 60Hz 的幀率下產生相同的解析度!

Magic leap 創始成員曾在 2009 年,單光纖的顯示效果如下,利用分時技術可以得到一個圖像!

光纖掃描通過使用壓電致動器振動光纖端部來操作,同時調製向下傳輸其芯的光的強度以形成圖像。——紅綠藍三色激光被組合進單一波導形成輻射源,該波導向波導的端部傳遞光,波導端部被壓電管致動器沿一個或多軸掃描(例如輸入一個正弦驅動信號),一個透鏡組件使發射的光聚焦於圖像平面,形成螺旋掃描圖像。

光纖掃描模塊,驅動電子、光源、和電源都可以被置於遠離掃描儀頭部本身處,因此不影響頭顯的重量!

為了產生更大解析度的圖像,同時保持幀率和像素密度,Magic leap 使用光纖陣列拼接的形式——多個光纖裝配到二維陣列中,由掃描光纖顯示模塊產生的圖像可被無縫拼接以形成連續的組合圖像,當在拼接陣列圖像中來自於每一個單個光纖的掃描圖像部分重疊時,掃描場交集將導致增強的亮度的區域,採取消隱重疊像素或調製亮度水平(重疊部分減少 50%亮度)的方式,使亮度基本均勻

4. 光場相機 —— 光場顯示的內容 來源

4.1 光場相機——記錄四維光場的相機

光場相機的出現比光場顯示早很多,通過大量的鏡頭或微透鏡+感光元件的方式,一次性記錄光線的位置信息和方向信息(四維光場),可以達到先拍照後對焦的效果!

光線通過主鏡頭後,在後面的微透鏡陣列平面上對應到兩個維度的位置信息,來自不同方向的光線再在感光元件上捕獲,得到另兩個方向信息,同時也包括光線的強度等其他信息,也就是四維光場信息!再通過後期演算法(傅里葉切片定理,光場成像演算法),對光線重新追跡即可完成重聚焦!

4.2 光場相機將成為光場顯示的內容來源

光場相機已經具備了一定的發展基礎,Lytro 是全球最為知名的光場相機公司,成立於 2006 年,目前推出過兩款光場顯示相機,第二款光場顯示相機的微透鏡陣列高達 9 萬個,感光元件高達 4000萬像素,也就是說每個位置可以記錄 400 多條光線信息!

但 Lytro 的光場相機反響不佳, 我們認為主要是因為在平面顯示時代四維光場信息未能發揮出應有的價值,主要用於「先拍照後變焦」,看起來並不比 ps 高明多少,但隨著光場顯示的來臨,光場相機將與光場顯示互相促進,成為光場顯 示的內容來源之一,也正因為光場相機相對成熟的產業化,光場顯示也 具備了良好的發展基礎!

5. 建議關注蘇大維格、 水晶光電、 奮達科技、 利亞德等

如前所述,AR 顯示方案的進步與虛擬個人助理的應用是 AR 眼鏡的兩大核心驅動力,而 AR 顯示技術又是直接關乎 AR 眼鏡的核心體驗!隨著 Magic leap 光場顯示等 AR 方案的臨近,光場顯示有望成為市場關注的熱點,並與 AR 眼一起形成板塊效應,而另一個相關的領域光場相機也值得關注!

相關板塊依次為 —— 光場顯示、 光學元件 組件、AR 眼鏡、AR 眼鏡其他部件、 光場相機

光場顯示:蘇大維格(300331,未評級)(納米級設計與加工)

光學元件 組件:水晶光電(002273,買入)、利達光電(002189,未評級)

AR 眼鏡相關 公司:奮達科技(002681,未評級)、歌爾股份(002241,未評級)、欣旺達(300207,未評級);利亞德(300296,未評級)、京東方 A(000725,未評級) (參股 Meta)、GQY 視訊(300076,未評級)(參股 Meta)

AR 眼鏡其他部件:全志科技(300458,未評級)北京君正(300223,未評級)(AR 晶元方案商)、中科創達(300496,未評級)(OS 方案商)

光場相機:歐菲光(002456,買入)(攝像頭透鏡組件)、晶方科技(603005,未評級)華天科技(002185,未評級)(WLCSP 封裝感光元件)

其中建議重點關注的個股為蘇大維格、水晶光電、奮達科技、利亞德等

蘇大維格——微納技術平台型公司,董事長擔任中國全息光學實驗室主任 10 年,具有相位、振幅信息分離的 3D 顯示技術以及多層導光時空復用顯示技術,原創四維光場鏡片的納米光刻設備等

水晶光電——參股 AR 方案商 Lumus,光學元件設計和加工,曾是 Google glass 組件供應商

奮達科技——AR 及其他相關智能硬體方案商,參股 AR 眼鏡公司奧圖科技

利亞德——參股 Magic leap,並圍繞虛擬顯示一系列其他布局(裸眼小間距 AR 顯示系統,虛擬投影、參股 Virtuix 等)

6. 風險提示

Magic leap 及其光場顯示技術進展有不及預期的風險,預計明年上半年發布第一代產品的時間點也存在推遲的可能。

AR 眼鏡的應用有可能推進緩慢,AR 眼鏡需要軟硬體和應用的配合,如果應用推進不及預期,對整個產業鏈都有影響。


收集整理來自網路

首先要解釋一下什麼是DLP投影

DLP投影

DLP是英文Digital Light Processor的縮寫,譯作數字光處理器。DLP以DMD(Digital Micromirror Device)數字微反射器作為光閥成像器件。一個DLP電腦板由模數解碼器、內存晶元、一個影象處理器及幾個數字信號處理器(DSP)組成,所有文字圖象就是經過這塊板產生一個數字信號,經過處理,數字信號轉到DLP系統的心臟--DMD。而光束通過一高速旋轉的三色透鏡後,被投射在DMD上,然後通過光學透鏡投射在大屏幕上完成圖像投影。一片DMD是由許多個微小的正方形反射鏡片(簡稱微鏡)按行列緊密排列在一起貼在一塊硅晶片的電子節點上形成的,每一個微鏡都對應著生成圖像的一個像素。因此,DMD裝置的微鏡數目決定了一台DLP投影儀的物理解析度,例如一台投影儀的解析度為600X800,所指的就是DMD裝置上的微鏡數目就有600x800=480000個。

在DMD裝置中每個微鏡,都對應著一個存儲器,該存儲器可以控制微鏡在±10度角兩個位置上切換轉動。而且DMD塊上每一個像素的面積為16μm×16,間隔為1μm。根據所用DMD的片數,DLP投影儀可分為:單片機、兩片機、三片機。DMD數字信號的紅,綠,藍順序旋轉,小鏡子根據像素的位置及色彩的多少被打開或關閉,此時DLP可以看作是只有一個光源和一組投影鏡頭組成的簡單光路系統,鏡頭放大了DMD的反射影像並直接投射在屏幕上,這樣一幅生動、明亮的演示效果就展現在我們面前了。

Glyph 上使用的 LED 照明視覺效果由多功能的 DLP 微型投影技術提供支持,Avegant 也將其稱為「全球第一項視網膜成像技術」。Avegant 使用了 TI 的0.3英寸對角線微鏡陣列、720p 解析度的DLP3010晶元。

DLP 解決方案中有許多良好的屬性,比如填充因子非常高,因此,用戶在使用 Glyph 時,眼睛根本不會看到任何像素失真的現象,低延遲性則是另一個很大的優勢。圖像質量相當的清晰,你不會覺得模糊。

Glyph設備採用兩個小型DLP投影儀,可以將光反射到你眼鏡里。每個投影照都有一百萬像素,這些像素與LCDS 或 OLEDs中出現的單獨亮點不同,他們從微型鏡面反射來得光。因此,圖片的像素較高—我基本上可以從16:9的圖片上發現不了屏幕門效應。

雖然Glyph顯示器只有40度視角,但看起來像客廳里的75英寸電視,圖片不會包圍你整個視角範圍。在圖片和你眼鏡所看範圍里絕對會留出一些空間,這樣就可以撲捉來自屏幕的光線,讓我感覺像是坐在大劇院中心一樣,觀想通過牆壁反射過來。

Glyph穿起來並不是所想的那樣不合適,反而還很舒適,還可以進行鼻樑調整,簡單的調整磁鐵即可。不需要使用附帶的頭帶,因為感覺其不是太重或者太緊。不好的一點就是,當你需要看簡短的YouTube視頻時,你需要花費一點時間才能適應Glyph。內置IPD滑塊和焦點旋鈕(補償視力範圍為+1到-7)讓我不用穿戴眼鏡也可以,但是,找到觀看圖片合適的點需要花點時間。在頭顯上面有一個專業的按鈕,可用於校準鏡頭,這樣就可以保證眼睛並沒有使勁聚焦。

視頻通過微HDMI埠播放,Avegant已經在頭顯上配置了一根非常好的電纜(又長又靈活)。播放手機視頻,你可能需要一個適配器來獲得HDMI輸出,比如蘋果售價50美元的照明數字AV介面,其確實適用於iOS系統的一些編碼工作。來自iPhone大多數視頻流效果不錯,從YouTube到TED talks都不錯。雖然,在一些情況下,視頻既可以在phone上播放,也可以在Glyph上播放,所以你電池的耗損就會非常快。我手機在播放直播時會變熱。我希望有人能做出有HDMI專用的攜帶型視頻播放器,就像是iPod Shuffle。這可以說是Glyph最好的配備設備。一旦適應了該頭顯以後,觀看長時間視頻就會覺得很棒。


推薦閱讀:

HoloLens的成像視野中如何做到真實物體遮擋住虛擬物體?
HoloLens 是以怎樣的順序對場景進行建模&渲染的?
設計HoloLens應用該怎樣設定用戶模型?
如何評價Magic Leap被曝光的原型產品?

TAG:增強現實AR | 虛擬現實VR | MagicLeap |