VR、AR、MR的一些總結

來自專欄 GeekBlog

從13年第一次接觸Magic Leap至今，了解過不少虛擬成像和交互方式，關於VR（虛擬現實），AR（增強現實），MR（混合現實），在此做一個比較全面的總結。

• 虛擬現實（Virtual Reality）

虛擬現實是一種可以通過創建並體驗虛擬世界的計算機模擬系統，它利用計算機來模擬一種不存在於現實世界裡的虛擬環境，是一種綜合了多源信息融合的、互動式的三維動態視景和實體行為的系統模擬使用戶沉浸到這個環境中。

簡單理解，VR就是把虛擬的世界通過終端設備呈現在你眼前。目前人們約定俗成的，是把那種戴著封閉的設備，有沉浸感的，無邊框的虛擬世界，稱為虛擬現實，是一種完全意義上的虛擬。

但現在我們平時比較容易接觸到的那些所謂的VR，大多數都屬於「假VR」，它們完全不屬於虛擬現實的範疇。最常見的比如市面上比較便宜的VR眼鏡，例如把手機放入VR眼鏡中，然後在手機里下載相應的APP，打開經過處理的視頻片段，便可進行使用，這並不是真正意義上的VR，而且與之相差甚遠。

「VR眼鏡」：首先解釋一下人眼看到立體圖像的原因，我們之所以能夠看到立體的物體，是因為雙眼可以各自獨立看東西，左右兩眼有間距，造成兩眼的視角有些細微的差別，而這樣的差別會讓兩隻眼睛個自看到的景物有一點點的不同，這種表現在圖像的差異也稱為視差，然後反饋給大腦，大腦能很巧妙地將兩眼的圖像融合，從而產生出有空間感的立體視覺效果。VR眼鏡的原理和眼睛類似，兩個透鏡相當於眼睛，但是由於計算機屏幕只有一個，而人卻有兩個眼睛，所以要讓左、右眼所看的圖像各自獨立分開，才能有立體視覺。這時，就可以通過3D立體眼鏡，讓這個視差持 續在屏幕上表現出來。通過控制IC送出立體訊號到屏幕，並同時送出同步訊號到3D立體眼鏡，使其同步切換左、右眼圖像，也就是左眼看到左眼該看到的景像，右眼看到右眼該看到的景像，由於人眼視覺暫留的生理特性，就可以看到真正的立體3D圖像。

但這種視覺效果極其差勁，沉浸感很弱。造成這種情況的原因：首先是圖像解析度太低，騙不過我們的眼睛，其次是是有明顯的邊界，就是手機屏幕的邊界，第三點就是雙眼單獨產生的縱深感很弱，由於比較廉價的VR設備，並不能使人眼瞳孔中心、透鏡中心、手機屏幕中心在一條直線上，這就會使得出現模糊不清晰的情況，甚至會出現變形，嚴重影響用戶的體驗。

目前市面上VR頭盔設備不多，最主流的是Oculus Rift和HTC Vive。

• 增強現實技術（Augmented Reality）

它是一種將真實世界信息和虛擬世界信息實現集成的技術，是把原本在現實世界的一定時間空間範圍內很難體驗到的實體信息，如視覺信息，聲音，味道，觸覺等等，通過電腦等科學技術，模擬模擬後實現再疊加，將虛擬的信息應用到真實的世界中，被人類感官所感知，從而達到超越現實的感官體驗。真實的環境和虛擬的物體實時地疊加到了同一個畫面或空間而同時存在。

應該會有很多人把增強現實理解為「效果更好的虛擬現實」，這樣的想法是完全錯誤的。增強現實並不是虛擬現實的升級版，而且這兩者所應用的技術也沒有太多的關聯性。它們的誕生和發展也是完全獨立的。

簡單的理解增強現實技術就是字面上的意思，用虛擬的東西疊加在現實中，把既有的現實增強。和VR完全意義上的虛擬相比，AR則是虛擬和現實的結合。更加通俗的解釋，VR就是創造環境，讓人感覺「我在被創造的環境之中」，AR則是融合環境，讓人感覺「這裡多了一些現實世界裡不存在的東西」。

從技術方面來說，增強現實和虛擬現實的差別很大。虛擬現實的核心技術集中在計算機圖形領域，需要解決的是圖像運算問題，和硬體設備性能的問題。而增強現實的核心技術在人機交互（HCI）和環境識別領域，也就是程序怎麼知道攝像頭正在拍攝的東西是什麼，以及要做出什麼樣的反饋，此外還需要一套演算法來把虛擬的物體顯示在應該在的地方。增強現實比虛擬現實的演算法要難很多，但對硬體的需求反而比虛擬現實要低。因為它只需要運算虛擬部分的物體，而不需要對整個場景進行渲染。

此外AR還有一個應用的方向，就是工業設計以及檢修，比如可以用手機或者平板來掃描現實場景，AR程序能通過投射的方式給你一雙「透視眼」，將現實中的場景投射到模擬的虛擬環境中，進行效果測試，對未來的設計或者檢測進行預測和指導，這將會是極其有利的支持。雖然目前來看面臨著很多技術上的問題，比如識別的精度不夠高，或者環境的處理能力不足，但隨著計算機技術的發展，軟硬體的更新，這些問題必定會得到解決，為以後的工業設計提供精確又便捷的服務。

在AR方面，比較有代表性的硬體設備，最有代表性的要屬Microsoft的HoloLens和推出消費者版本的meta2。

• 混合現實（Mixed reality）

混合現實最早是由「智能硬體之父」多倫多大學的教授Steve Mann提出的，全稱Mediated Reality，它是通過在現實的場景里中融入虛擬的場景信息，從而使虛擬世界、現實世界和用戶之間搭起一個交互反饋的信息迴路，以增強用戶體驗的真實感。在混合現實技術中（既包括增強現實和增強虛擬）它可以創造出一個新的可視化環境，在這個環境里實體和虛擬的數字信號共存，並且可以互動。

其實我覺得混合現實（MR）就是虛擬現實（VR）和增強現實（AR）的融合，當然也可以看做是交互方式的進一步發展。在交互的環境種，如果一切事物都是虛擬的那就是VR的領域了。如果展現出來的虛擬信息只能簡單疊加在現實事物上，那就是AR。MR的關鍵點就是與現實世界進行交互和信息的及時獲取。

從概念上看，MR和AR更為接近，都是一半現實一半虛擬的影像，但實際體驗上將會是千差萬別的，MR要呈現的是現實和虛擬世界的完美融合，在AR的世界裡，文字圖像等虛擬元素看似和現實世界融合在一起，但我們能明顯的感覺到它們的融合度並不是那麼高，就像是漂浮在實景世界中的。

而MR所期待的交互效果則是，虛擬與現實的"無縫粘合"，在視覺效果上和虛擬現實（VR）無異。

說到MR就不得不提到Magic Leap，雖然外界把它歸為增強現實（AR），但他們認為自己的技術既不是增強現實也不是虛擬現實，而是一種更加高端的技術，Cinematic Reality，電影版的現實，這種技術要實現的是現實部分和虛擬部分的完美融合，即混合現實（MR）。從這家公司所擁有的專利來看，3D虛擬與增強現實系統、符合人體工程學的頭戴式顯示器、以及觸覺手套和緊湊型成像系統等等……

我們可以看出它想要呈現的，是要人們能與虛擬出來的現實世界進行恰當的交流，它不會局限於哪一個遊戲或者哪一款應用，它所呈現的是一個新的平台，而這也是混合現實（MR）的願景。

很多人了解這家公司應該是從"鯨魚視頻"

之後的Magic Leap雖然從未發布過正式的產品，但在15年和16年發出了它們的視頻，講的是佩戴Magic Leap產品的人們一天的生活。

可以看出，佩戴magic leap設備可以完成現階段用智能手機完成的大多數功能，該公司旨在實現按鍵——觸摸屏——虛擬屏幕的跨時代轉變，相當具有野心。

上面的這些圖片都是人們佩戴Magic Leap設備後所看到的場景，最後面的一張圖是關於網上購物的情景，可能是2017年2月份在Magic Leap的第二輪8.27億美元的融資中阿里巴巴領投的緣故。

沒有實體的產品確實是讓人頭疼的一件事，僅僅是通過宣傳視頻的話未免會引起人們的懷疑，被質疑為造價，後來《連線》對它進行了專訪，並與創始人Rony Abovitz及其團隊進行了交流，這次Magic Leap終於透露出了一小部分——一個眼鏡片（光場晶元）

據此可以推測他們的最終產品將會是一款眼鏡，就像HoloLens和Meta2一樣，但這個所謂的眼鏡片和普通的眼鏡並不同，它能夠對現實和虛擬的信息的光進行整合處理，最終生成用戶能看到的場景。它是利用光波導的方式將3D圖像疊加在現實世界的物體上，然後在鏡片上呈現。

就在去年年末也就是2017年12月20日，Magic Leap 終於在它的官方網站，發布了旗下神秘的眼鏡 Magic Leap One (Creator Edition)。

該產品共有一共由3部分，分別為 Lightwear 頭戴顯示器、Lightpack 主機和 Control 手柄

我們正在為信息處理增加另一層維度，亦即數字與物理能夠彼此共存的空間，而它們能夠共同令生活變得更加美好。Magic Leap One是專為希望改變我們體驗世界的方式的創造者而打造的。設備輕巧舒適，適合長時間的探索。 我們將Digital Lightfield（數字光場）技術與環境貼圖，精確追蹤和聲場音頻相結合，創造出了自然的驚人體驗。這是驅動我們空間計算平台的引擎，支持隨身攜帶。高性能的計算處理和圖形質量都能夠在這精簡的輕量級包裝中實現。力控制和觸覺反饋可以實現流暢的感官體驗。在6自由度追蹤下，運動感覺流暢，直觀，並且可以響應你的每一個手勢。

簡單的說下這個光場晶元，它是一種基於MEMS微機電的鏡片或者叫顯示器，裡面有許多可以被控制的開關，控制鏡片上每個像素點的光路，整合起來就是一個光路組成的3D Array

現在的實體還沒辦法體驗，但很多人都不看好magic leap，由於沒有實際的體驗，所以現在也無法做出多麼有說服力的評價，但願景畢竟是美好的，希望在未來Magic Leap能為我們帶來驚喜，將這種新的交互方式帶入另一個新高度。

也許科技產業最讓人興奮的是，有新一代技術的革命的同時伴隨著新一代公司的誕生，這個時間可能會很長，但終究回來到。而代表新技術的公司有時是新生的，有時卻是以前的公司進化而來的，但是不論是哪一種都足以振奮人心。尋找下一個這樣的機會，永遠是現代社會中所有活躍的人追求或討論的主題。

推薦閱讀：