繼智能手機、平板電腦之後，虛擬現實（VR）與增強現實（AR）有潛力成為下一個重大通用計算平台。 從當前來看，更多的公司選擇從VR領域進行切入，各大研究公司、投行針對VR領域的研究報告也層出不窮，相比之下，AR領域卻稍顯平淡。 騰訊科技旗下VR次元綜合多家研究機構更為細化的報告，發布全球首份綜合性AR報告，在這份報告中，他們將對AR的發展趨勢、未來的挑戰、應用領域、可能創造和顛覆的市場進行分析和預測。 監製：高宇雷 孔令舒 統籌：孫實 設計：於春慧 參與創作：吳侖 本文摘編自騰訊科技微信公眾號「VR次元」（ID：qqtechvr），轉載已獲授權，不代表瞭望智庫觀點
第一章 AR與VR 本章導讀：在本章中，我們將重點解讀AR與VR在技術方面的區別，AR硬體類型、發展簡史等。 VR和AR有著不同的應用領域、技術和市場機會，因此區分兩者之間的不同至關重要。 AR是將計算機生成的虛擬世界套在現實世界上，即把數字想像世界加在真實世界之上。最典型的AR設備就是谷歌眼鏡。這種智能眼鏡將觸控板、攝像頭以及LED顯示器結合起來，通過顯示器，用戶可以聯網，並在視野內使用地圖、電子郵件等服務。其他知名的AR產品還有微軟的HoloLens，創業公司則以Magic Leap為典型代表。 AR具備三個主要特徵： 1、融合虛擬和現實：與VR技術不同的是，AR技術不會把使用者與真實世界隔開，而是將計算機生成的虛擬物體和信息疊加到真實世界的場景中來，以實現對現實場景更直觀深入的了解和解讀，在有限的時間和有限的場景中實現與現實相關知識領域的理解。增強的信息可以是與真實物體相關的非幾何信息，如視頻、文字，也可以是幾何信息，如虛擬的三維物體和場景。 2、實時交互：通過增強現實系統中的交互介面設備，人們以自然方式與增強現實環境進行交互操作，這種交互要滿足實時性。 3、三維註冊：「註冊」（這裡也可以解釋為跟蹤和定位）指的是將計算機產生的虛擬物體與真實環境進行一一對應，且用戶在真實環境中運動時，也將繼續維持正確的對準關係。 VR是讓用戶置身於一個想像出來或者重新複製的世界，或是模擬真實的世界。VR領域主要的產品包括Oculus、索尼PlayStation VR、HTC Vive和三星Gear VR。（有關VR更詳細的內容，可以參考VR次元發布的德銀VR報告和高盛VR報告） 區分VR和AR的一個簡單的方法是：VR需要用一個不透明的頭戴設備完成虛擬世界裡的沉浸體驗，而AR需要清晰的頭戴設備看清真實世界和重疊在上面的信息和圖像。 AR發展簡史： AR技術的起源可追溯到「VR之父」Morton Heilig在上個世紀五、六十年代所發明的 Sensorama Stimulator。 Heilig是一名哲學家、電影製作人和發明家。他利用他在電影拍攝上經驗設計出了Sensorama Stimulator，並在1962年獲得了專利。 Sensorama Stimulator使用圖像、聲音、風扇、香味和震動，讓用戶感受在紐約布魯克林街道上騎著摩托車風馳電掣的場景。儘管這台機器大且笨重，但在當時卻非常超前。令人遺憾的是，Heilig沒有能夠獲得所需的資金支持讓這個發明商業化。
AR歷史上的下一個重大里程碑是第一台頭戴式AR設備的發明。1968年，哈佛副教授Ivan Sutherland跟他的學生Bob Sproull合作發明了Sutherland稱之為「終極顯示器」的AR設備。使用這個設備的用戶可以通過一個雙目鏡看到一個簡單三維房間模型，用戶還可以使用視覺和頭部運動跟蹤改變視角。儘管用戶交互界面是頭戴的，然而系統主體部分卻又大又重，不能戴在用戶頭上，只能懸掛在用戶頭頂的天花板上。這套系統也因此被命名為「達摩克利斯之劍」。
儘管這些早期的發明屬於AR的範疇，但實際上，直到1990年，波音公司研究員Tom Caudell才創造了「AR」這個術語。Caudell和他的同事設計了一個輔助飛機布線系統，用於代替笨重的示例圖版。這個頭戴設備將布線圖或者裝配指南投射到特殊的可再用方板上。這些AR投影可以通過計算機快速輕鬆地更改，機械師再也不需要手工重新改造或者製作示例圖版。 大約在1998年，AR第一次出現在大眾平台上。當時有電視台在橄欖球賽電視轉播上使用AR技術將得分線疊加到屏幕中的球場上。此後，AR技術開始被用於天氣預報——天氣預報製作者將計算機圖像疊加到現實圖像和地圖上面。從那時起，AR真正地開始了其爆炸式的發展。 2000年，Bruce H. Thomas在澳大利亞南澳大學可穿戴計算機實驗室開發了第一款手機室外AR遊戲——ARQuake。2008年左右，AR開始被用於地圖等手機應用上。2013年，谷歌發布了谷歌眼鏡，2015年，微軟發布HoloLens，這是一款能將計算機生成圖像（全息圖）疊加到用戶周圍世界中的頭戴式AR設備，也正是隨著這兩款產品的出現，更多的人開始了解AR。 AR硬體概覽： AR硬體發展的驅動力源於計算機處理器、顯示技術、感測器、移動網路速率、電池續航等多個領域的技術進步。 目前能夠確定的AR硬體類型有以下幾種： · 手持設備 · 固定式AR系統 · 空間增強現實（SAR）系統 · 頭戴式顯示器（HMD） · 智能眼鏡 · 智能透鏡 手持設備
智能手機正是手持設備的代表，這些設備正在變得越來越好——顯示器解析度越來越高，處理器越來越強，相機成像質量越來越好，感測器越來越多，提供著加速計、GPS、羅盤等等功能……這些成為了天然的AR平台。儘管手持設備是消費者接觸AR應用最為方便的形式，但由於大部分手持設備不具備可穿戴功能，因此用戶無法獲得雙手解放的AR體驗。 固定式AR系統
俄羅斯一家Topshop內的固定式AR衣櫥 固定式AR系統適用於固定場所中需要更大顯示屏或更高解析度的場景。與移動AR設備不同的是，這些極少移動的系統可以搭載更加先進的相機系統，因此能夠更加精確地識別人物和場景。此外，顯示單元往往能呈現出更加真實的畫面，而且受陽光或照明等環境因素影響較小。 空間增強現實（SAR）系統
大眾公司的SAR系統 與其它所有系統不同的是，空間增強現實（SAR）系統的虛擬內容直接投影在現實世界中。SAR系統往往固定在自然中。任何物理表面，如牆、桌、泡沫、木塊甚至是人體都可以成為可交互的顯示屏。隨著投影設備尺寸、成本、功耗的降低以及3D投影的不斷進步，各種全新的交互及顯示形式正在不斷湧現。SAR系統最大的優點在於，現實世界的反射在這裡更加精確，即虛擬信息能夠以實際的比例和大小呈現在眼前。此外在觀看人數較多時，內容也能看清，這個案例可以用來實現同步辦公。 頭戴式顯示器（HMD）
佳能的混合現實頭戴設備 HMD代表著另一種快速發展的AR硬體類型。HMD由一個頭戴裝置（如頭盔），以及與之搭配的一塊或多塊（微型）顯示屏組成。HMD將現實世界和虛擬物體的畫面重疊顯示在用戶視野中。換而言之，用戶不會直接看到現實，看到的是現實的增強視頻畫面。如果顯示屏只覆蓋用戶的一隻眼睛，這樣的HMD稱為單眼HMD，另一種是兩隻眼睛都看顯示屏的雙眼HMD。先進的HMD通常能夠搭載具有很高自由度的感測器，用戶可以在前後、上下、左右、俯仰、偏轉和滾動六個方向自由移動頭部。該系統因此能夠實現虛擬信息與現實世界的貼合，並根據用戶頭部移動作做相應的畫面調整。 智能眼鏡
Vuzix M100智能眼鏡 消費電子行業的許多公司認為，智能眼鏡將會成為智能手機後下一大全球熱賣消費產品。這些AR設備實際上是帶有屏幕、相機和話筒的眼鏡。根據這一概念，用戶的現實世界視角被AR設備截取，增強後的畫面重新顯示在用戶視野中。AR畫面透過眼鏡鏡片，或者通過眼鏡鏡片反射，從而進入眼球。智能眼鏡技術最為突出的例子是谷歌眼鏡和Vuzix M100。不過，目前開發中的最令人激動的智能眼鏡要數Atheer One——該智能眼鏡配有3D景深感測器，用戶可以實際控制眼前顯示的虛擬內容。 智能透鏡
華盛頓大學開發的透鏡中含有金屬電路結構 智能眼鏡絕不是故事的結局。越來越多的研究投入到能顯示AR畫面的智能透鏡上；微軟、谷歌等公司也正忙於宣布自己的智能透鏡項目。 智能透鏡的理念是在傳統透鏡中集成控制電路、通信電路、微型天線、LED及其它光電組件，從而形成一套功能系統。未來或許可以用成千上萬顆LED直接在眼前形成畫面，從而讓透鏡變成顯示屏。然而，還必須克服一系列難題，比如說如何給透鏡供電，如何保證人眼不受傷害等等。 在這一章的最後，我們簡單看下AR技術會應用到哪些領域： 考古：在古代遺迹上顯示遺迹原本的樣子。 藝術：跟蹤眼球移動並將這些移動顯示在屏幕上，幫助殘疾人進行藝術創作。 商業：顯示產品的多種定製選項或者補充信息。 教育：將文本、圖像、視頻和音頻疊加到學生周圍的實時環境中。 時尚：顯示不同的妝容和髮型用在一個人身上的效果。 遊戲：運用真實世界環境讓用戶在遊戲中進行互動，獲得不同的體驗。 醫藥：通過虛擬X光將病人的內臟器官投射到他們的皮膚上。 軍事：使用AR眼鏡向士兵展示戰場中出現的人和物體，並附上相關信息，以幫助士兵避開潛在的危險。 導航：將道路和街道的名字跟其他相關信息一起標記到現實地圖中，或者在擋風玻璃上顯示目的地方向、天氣、地形、路況、交通信息，提示潛在危險。 體育：顯示橄欖球場的得分線、高爾夫球的飛行路線和冰球移動的軌跡。 電視：在天氣預報中顯示天氣視覺效果和圖像。 第二章 AR的工作原理 本章導讀：在本章中，我們將解讀AR的工作原理、關鍵技術，並以SixthSense（第六感）AR系統為例，更直觀地還原AR工作方式。 AR介於VR和真實世界之間，VR創造逼真的虛擬世界，AR則將圖形、聲音、觸感和氣味添加到真實的世界中。 在介紹AR的工作原理之前，我們先通過一個例子，讓大家有一個簡單的認識。
在2009年2月的TED大會上，帕蒂·梅斯和普拉納夫·米斯特萊展示了他們研發的AR系統。該系統屬於麻省理工學院媒體實驗室流體界面小組的研究成果之，他們稱之為SixthSense（第六感）。它依靠眾多AR系統中常見的一些基本元件來工作：攝像頭、小型投影儀、智能手機和鏡子。 這些元件通過一根類似繩索的儀器串連起來，然後戴在佩戴者的脖子上。用戶還會在手指上戴上四個不同顏色的特殊指套，這些指套可以用來操縱投影儀投射的圖像。 SixthSense設備利用簡單的、現成的元件來組成AR系統，它的投影儀可以將任何平面變成一個互動的顯示屏。SixthSense設備利用攝像頭和鏡子來捕捉周圍的環境，然後將這種圖片傳給手機，然後將這些信息從投影儀投射到用戶面前的任何平面上，不管這種平面是一個手腕，一面牆，還是一個人。由於用戶將攝像頭佩戴在胸前，因此SixthSense設備能夠增強他所看到的一切。例如，如果他在一個雜貨店裡挑選了一罐湯，SixthSense設備將能夠搜索這罐湯的相關信息，例如成分、價格和營養價值甚或用戶評論，然後將它們投射到平面上。 利用手指上的指套，用戶可以在投射的信息上執行各種操作，這些操作將會被攝像頭捕捉到，然後通過手機來處理。如果他希望了解這罐湯的更多信息，例如與之競爭的同類產品，那麼他可以用手指與投射畫面進行互動，從而獲取更多的信息。SixthSense設備還能夠識別一些複雜的手勢，例如你在手腕上畫一個圓圈，SixthSense設備就能夠投射一款手錶來顯示當前的時間。 AR的系統結構：
一個典型的AR系統結構 一個典型的AR系統結構由虛擬場景生成單元、透射式頭盔顯示器、頭部跟蹤設備和交互設備構成。其中虛擬場景生成單元負責虛擬場景的建模、管理、繪製和其它外設的管理；透射式頭盔顯示器負責顯示虛擬和現實融合後的信號；頭部跟蹤設備跟蹤用戶視線變化；交互設備用於實現感官信號及環境控制操作信號的輸入輸出。 首先透射式頭盔顯示器採集真實場景的視頻或者圖像，傳入後台的處理單元對其進行分析和重構，並結合頭部跟蹤設備的數據來分析虛擬場景和真實場景的相對位置，實現坐標系的對齊並進行虛擬場景的融合計算；交互設備採集外部控制信號，實現對虛實結合場景的交互操作。系統融合後的信息會實時地顯示在頭盔顯示器中，展現在人的視野中。 AR的關鍵技術： 目前AR技術的技術難點在於：精確場景的理解、重構和高清晰度、大視場的顯示技術。 1、對現實場景的理解和重構 在增強現實系統中，首先要解決「是什麼」的問題，也就是要理解、知道場景中存在什麼樣的對象和目標。第二要解決「在哪裡」的問題，也就是要對場景結構進行分析，實現跟蹤定位和場景重構。 物體的檢測和識別技術
物體檢測和識別 物體檢測和識別的目的是發現並找到場景中的目標，這是場景理解中的關鍵一環。廣義的物體檢測和識別技術是基於圖像的基本信息（各類型特徵）和先驗知識模型（物體信息表示），通過相關的演算法實現對場景內容分析的過程。在增強現實領域，常見的檢測和識別任務有，人臉檢測、行人檢測、車輛檢測、手勢識別、生物識別、情感識別、自然場景識別等。 目前，通用的物體檢測和識別技術，根據不同的思路可以分為兩種：一種是從分類和檢測的角度出發，通過機器學習演算法訓練得到某一類對象的一般性特徵，從而生成數據模型。這種方法檢測或者識別出的目標不是某一個具體的個體，而是一類對象，如汽車、人臉、植物等。這種識別由於是語義上的檢測和識別，所以並不存在精確的幾何關係，也更適用於強調增強輔助信息，不強調位置的應用場景中。如檢測人臉後顯示年齡、性別等。另外一種識別是從圖像匹配的角度出發，資料庫中保存了圖像的特徵以及對應的標註信息，在實際使用過程中，通過圖像匹配的方法找到最相關的圖像，從而定位環境中的目標，進一步得到識別圖像和目標圖像的精確位置，這種識別適用於需要對環境進行精確跟蹤的應用場景。 就現階段而言，識別檢測技術的難點之一是技術的碎片化。這一方面是由於每一類對象都會有其獨有的特徵，而不同特徵的提取和處理都需要實現一一對應，這對識別檢測是一個巨大的挑戰。另一方面，圖像本身還受到雜訊、尺度、旋轉、光照、姿態等因素的影響。近幾年來，隨著深度學習技術的不斷成熟，檢測和識別方法也越來越統一，而性能也在不斷提高中。 跟蹤定位技術 跟蹤技術的方法可以分為基於硬體和基於視覺兩大類。基於硬體設備的三維跟蹤定位方法在實現跟蹤定位的過程中使用了一些特殊的測量儀器或設備。常用的設備包括機械式跟蹤器、電磁式跟蹤器、超聲波跟蹤器、慣性跟蹤器以及光學跟蹤等。光學跟蹤和慣性跟蹤是比較常用的兩種硬體跟蹤方式，HTC Vive就是採用了光學跟蹤和慣性跟蹤兩種硬體來定位頭部的位置。使用硬體設備構成的跟蹤系統大多是開環系統，跟蹤精確取決於硬體設備自身的性能，其演算法的擴展性要差一些，且成本相對較高。
HTC Vive 採用光學和慣性跟蹤設備 視覺跟蹤方法具備更強的擴展性，其系統多為閉環系統，更依賴於優化演算法來解決跟蹤精度問題。相比於上述基於硬體設備的跟蹤方法，計算機視覺跟蹤方法提供了一種非接觸式的、精確的、低成本的解決方法，但是基於視覺的方法受限於圖像本身，雜訊、尺度、旋轉、光照、姿態變化等因素都會對跟蹤精度造成較大的影響，因此更好地處理這些影響因素，研發魯棒性強的演算法就成為下一步AR技術的研究重點。 根據數據的生成方式，視覺跟蹤技術的演算法可以分為兩種，一種是基於模板匹配的方式，預先對需要跟蹤的target進行訓練，在跟蹤階段通過不斷的跟預存訓練數據進行比對解算當前的位姿。這類方法的好處是速度較快、數據量小、系統簡單，適用於一些特定的場景，但不適用於大範圍的場景。 另外一種是SLAM方法，也就是即時定位和地圖構建技術。這類技術不需要預存場景信息，而是在運行階段完成對於場景的構建以及跟蹤。其優點是不需要預存場景，可以跟蹤較大範圍，適用面廣，在跟蹤的同時也可以完成對於場景結構的重建。但目前這類技術計算速度慢、數據量大、演算法複雜度高，對於系統的要求也較高。Hololens和Magic Leap的宣傳視頻中都展現了這方面技術，而亮風台對相應的技術也在研發當中。
SLAM跟蹤技術 為了彌補不同跟蹤技術的缺點，許多研究者採用硬體和視覺混合跟蹤的方法來取長補短，以滿足增強現實系統高精度跟蹤定位的要求。 2、增強現實的顯示技術 透射式頭盔顯示器
透射式頭盔顯示器 Hololens 目前大多數的AR系統採用透視式頭盔顯示器實現虛擬環境與真實環境的融合。根據真實環境的表現形式劃分，主要有視頻透視式頭盔顯示器和光學透視式頭盔顯示器兩種形式。 視頻透視式頭盔顯示器通過安裝在頭盔上的微型攝像頭獲取外部真實環境的圖像，也就是通過攝像頭來採集真實場景的圖像進行傳遞。計算機通過場景理解和分析將所要添加的信息和圖像信號疊加在攝像機的視頻信號上，將計算機生成的虛擬場景與真實場景進行融合，最後通過類似於浸沒式頭盔顯示器的顯示系統呈現給用戶。 雖然視頻透射式頭盔在顯示上不受強光的干擾，具有比較大的視場，但由於真實環境的數據來自於攝像頭，因此會造成顯示解析度較低的不利因素。另一方面，一旦攝像機與用戶視點不能保持完全重合，用戶看到的視頻景象與真實景象將會存在偏差，因此會造成在某些領域（特別是工業、軍事等領域）出現一些安全隱患。 光學原理的透視式頭盔顯示器的基本原理則是通過安裝在眼前的一對半反半透鏡融合呈現出真實場景和虛擬場景。與視頻透射式不同的是，光學透視式的「實」來自於真實的光源，經過透視光學系統直接進入眼睛，計算機生成的「虛」則經過光學系統放大後反射進入眼睛，最後兩部分信息匯聚到視網膜上從而形成虛實融合的成像效果。 光學透視式頭盔相對來說結構簡單，解析度更高，因其能夠直接看到外部，真實感和安全性也更強。其缺點是，在室外強光條件下顯示效果會受影響。目前Hololens以及亮風台的HiAR Glasses都採用了光學透射式的成像方案。 不難看出，兩種方案各有優缺點，如何選擇最優方案，目前來看，還應基於實際應用場景來進行判斷。 由於光學透射式頭盔跟實際場景結合更緊密，真實感更強，大多數廠家會選擇這種方案。對於透射式頭盔顯示器來說，單純的強調厚薄或者視場大小並沒有任何實際意義。這是由於厚度和視場是矛盾的，要做得較薄，方便用戶使用佩戴，視場就必然變小；想要擁有大視場，則其厚度就必然增大，設備就目前來說也會顯得比較笨重，不易佩戴。因此在目前技術依舊存在障礙的情況下，大家都會採取一些折中的方案。 數字光場顯示
Magic leap 光場顯示 隨著Magic Leap的宣傳視頻，數字光場這個概念也變得廣為人知。這種不採用屏幕來做載體的顯示方式，通過記錄並復現光場來完成虛擬物體的顯示。通過呈現不同深度的圖像，使用戶在觀察近景或遠景時，可以實現主動的對焦，這也是光場顯示的一大優點。 同樣，光場顯示也有不同的顯示方案，一種方案是採用多層的顯示器，如光場立體鏡。如Magic Leap採用的是光導纖維投影儀。這套方案的優勢是可以做到很大的視場角，顯示更加符合人的真實感受。但這一方案同時也具有比較大的挑戰性，光場的顯示需要比較大的計算量，並且需要有相應的手段記錄或者生成想要疊加的虛擬對象相應位置的光源信息，同時還要精細地控制投影的內容和位置，目前這些技術還都處於研究階段。 儘管存在比較多的挑戰，光場顯示技術仍舊是非常值得期待的一種成像方式。 第三章 布局 本章導讀：在本章中，我們將以蘋果、微軟、谷歌三大巨頭為例，看看他們是如何在AR產業進行布局，同時介紹了AR領域知名度較高的創業公司Magic Leap。 從目前來看，絕大多數巨頭和創業公司更願意選擇在VR領域開疆拓土，但這並不意味著AR無人問津。 蘋果： 種種跡象顯示，蘋果可能和微軟一樣瞄準了AR領域，並非時下最熱的VR。
蘋果已經在AR領域進行過一些併購交易。2015年5月，蘋果收購了一家名為Metaio的德國AR公司。該公司主要開發基於智能手機的AR應用軟體，比如其曾經開發一款讓傢具視覺化呈現的工具。該公司被收購之後，實體被註銷，人員融入了蘋果的開發團隊。
2014年年底，蘋果收購了一家從事臉部視覺識別的公司——FaceShift，該公司的技術能夠利用攝像頭對用戶臉部圖像進行實時捕捉，甚至可以生成虛擬的頭像。 據悉，電影《星球大戰：原力覺醒》的特效團隊曾經使用了上述公司的技術，讓外星人的臉部形象更加栩栩如生。
此外，蘋果還曾經收購了以色列的硬體公司PrimeSense，該公司主要為微軟的Xbox遊戲機製造Kinect動感捕捉攝像頭。 該公司具備了先進的手勢動作識別技術。在AR領域，用戶一般不會使用手持控制器，因此識別手部動作十分重要，這一技術也能夠用於AR頭盔中。 除了各種併購之外，蘋果也儲備了一些和AR有關的技術專利。這些專利並不意味著蘋果一定會開發某種技術或者硬體，但是可能披露了蘋果未來產品開發的某些思路。 2015年2月，蘋果獲得一個技術專利，主要用於讓智能手機連接AR和VR頭盔。專利描述文字和谷歌、微軟、三星電子和Facebook近些年推出過的產品十分相似。 微軟： 微軟應該算是布局AR比較超前的巨頭公司，其在2015年就推出了AR頭盔HoloLens，開發者版已經開啟預訂，售價為3000美元。 我們之所以能夠看到物體，是因為光線被這些物體反彈，最後射入我們的眼中。而我們的大腦需要對這些光進行複雜運算，最後重現你眼睛所看到物體的圖像。HoloLens實際上就是欺騙大腦，將光線以全息圖的方式發射到你眼睛中，就好像物體真的存在於現實世界中一樣。 就像下面這幅圖，HoloLens可以將屏幕投射到牆上。當用戶四處走動時，屏幕依然會留在原地，就好像那是一面真實存在的鏡子。HoloLens可在正確角度向你的眼中發射光線，讓你覺得屏幕真的出現在牆上。
HoloLens本身就是一台獨立電腦，擁有自己的CPU和GPU，以及微軟所謂的全息處理單元，負責支持創造全息圖必須的全部必要計算。 在消費者方面，HoloLens擁有巨大潛力，你可能再無需購買60英寸電視，HoloLens允許用戶將電視屏幕發射到牆上，屏幕大小可隨意調節。如果未來版的HoloLens足夠緊湊，你可以想像到有人邊開車邊接受導航，但司機的實現不再局限於屏幕上，而是可看到前方道路的全息圖。當然，遊戲可能是HoloLens的重要賣點。 在企業方面，HoloLens最明顯的應用就是實現3D模型或設計的可視化。HoloLens也可被用於視頻會議等場合。此外，它的另一個用途可能是支持在線零售店，允許HoloLens用戶看到其產品全息圖。在你購買傢具前，你就可以看到傢具被擺放在室內的虛擬圖。 由於HoloLens運行Windows 10操作系統，通用應用將可在其上順利運行。這些應用將被投射到用戶面前，可被便捷操作。對於微軟來說，吸引開發者非常重要，因為這款設備最吸引人的應用可能還未出現。儘管HoloLens的硬體設施令人印象深刻，但其依然需要好的應用為消費者和企業提供最好的服務。 谷歌： 谷歌當前在VR領域比較活躍，如推出硬體產品 Cardboard頭盔，YouTube上線360度全景視頻功能，還提供Tilt Brush、Jump和Assembler等VR小應用，方便幫助開發者創新新的VR體驗，但這並不意味著谷歌放棄了AR市場。 谷歌和聯想合作，推出Project Tango項目。該項目旨在賦予智能手機3D繪圖和創造AR體驗的能力。Tango智能手機將於今年年終發貨，相當於是一個完整功能的AR設備。 除了自身開發AR項目，谷歌還投資了AR創業公司Magic Leap。Magic Leap專註於AR技術的研發，其最終產品很可能是一款頭盔，可將電腦生成的圖像投射到人眼上，最終在現實圖像上疊加一個虛擬圖像。有關Magic Leap的情況，將在下文進行詳細說明。 Magic Leap： Magic Leap是一家知名度很高的AR創業公司。今年2月，Magic Leap在新一輪融資中獲得7.935億美元的投資，阿里、谷歌都參與了本輪融資。據估測， Magic Leap的估值至少達到45億美元，這比兩年前Facebook收購Oculus的價格高出了兩倍。 Magic Leap研發的技術依然處於半透明狀態，沒有任何產品出現，我們目前只知道它主要研發方向就是將三維圖像投射到人的視野中。 Magic Leap CEO魯尼· 阿伯維茲曾公開表達過自己公司的定位：「你可以將我們看作是科技生物學（Techno-biology），我們認為它是計算機的未來。」 Magic Leap製作圖像的方法與人眼的工作方式相同。Magic Leap利用彎曲的光場製作圖像，而不像其他平台那樣利用立體圖像欺騙眼球。利用其他3D圖像投影方式，如果用戶閉上一隻眼睛，3D圖像就會消失。在現實生活中，用戶即使閉上一隻眼睛，依然能夠看到3D圖像。Magic Leap便採用這種更為實用的圖像製作方式。 第四章 AR市場潛力 本章導讀：在這一章中，我們將通過市場調研公司提供的數據，解讀AR未來的市場潛力，並詳細闡述為何AR未來的市場規模會比VR更大。 儘管過去一年裡媒體開始大肆報道AR技術，我們目前了解到的大部分AR解決方案仍處於開發之中。只有少數硬體解決方案得到了大規模生產並能夠買到。 2011年，全球AR營收僅為1.81億美元，而且當時AR往往被人們視作一種營銷噱頭：一種還在摸索實用應用的技術。很少有人認識到AR的潛力，開發相關應用大多也是用來快速打響名聲，或者這些應用的價值僅限於添加視頻效果這樣的博眼球之舉而已。
然而最新預測指出，到2017年，AR市場將增長至52億美元，年增長率竟逼近100%。隨著大量資金注入AR項目及AR創業公司，尤其是隨著谷歌、佳能、高通、微軟等大公司的入場，我們已經看到第一批消費級AR產品的湧現。隨著實際商業利益的出現， AR將成為消費、醫療、移動、汽車以及製造市場中的「下一件大事」。 AR比VR更具增長潛力
市場調研公司Digi-Capital給出的一組數據很值得研究：到2020年，AR的市場規模將達到1200億美元，遠高於VR的300億美元。 VR對於遊戲與3D電影來說是一項非常棒的技術，甚至可以說這項技術可謂是專門為此而設計的。但這項技術的體驗主要是在客廳、辦公室或者座位上展開的，因為如果你戴著一個完全封閉的頭戴式顯示器走在路上，隨時都可能撞到路邊的東西。 雖然AR技術應用在遊戲也非常有趣，但在需要真正沉浸式體驗的時候，其所帶來的樂趣或許不如VR技術那麼多，這就像是移動遊戲與主機遊戲之間的差距。但是，AR技術在遊戲玩家眼中的這個缺點，恰恰是讓它可以同智能手機一樣，在數以億計用戶的現實生活中發揮重要作用的優勢。人們可以戴著它四處活動，做任何事情。 AR的軟體與服務擁有可與如今的移動市場相媲美的經濟效應，它們都可以利用現有的其他產品的市場，並不斷擴張它們。AR龐大的用戶基礎將會成為電視電影、廣告等行業的主要收入來源。 換句話說，AR技術有可能觸及到更多的人，因為它是對人們日常生活的無縫補充，而不是像VR那樣在現實世界之外營造出一個完全虛擬的世界。 《增強現實：指向增強現實的一種新技術》一書的作者格里格·基佩爾在書中寫到：「增強現實將具備更多的實際應用價值，因為在現實中，與真實世界中的事物互動的人更多一些。」 在AR技術的幫助下，人們通過專用頭盔看見的三維全息圖像可以為真實世界提供一種有益的補充。當你走過一個雜貨店的走道，你也許會在眼前的虛擬屏幕上看到製作義大利飯所需的食材和配料清單。又或者，當你在閱讀一本有關天文學的書籍時，你周圍可能會出現一幅太陽系的圖像。 但是戴上虛擬現實頭盔之後，你與周遭世界的聯繫就被人為隔斷了。你被投影到一個不同的世界中，就像恐龍衝過一片叢林，或者像站在一幢100層的摩天大樓的樓頂上俯瞰著腳下的大街一樣。這跟主題樂園的遊歷過程有些相似，就連虛擬現實頭盔戴久了會讓你感到噁心或者頭暈也跟你在主題樂園中呆久了的感覺很相似。 Meta是矽谷的一家AR創業公司，員工人數大約為100人。Meta CEO梅隆·格里貝茨預計，有朝一日，人們再也不用一邊在笨拙的鍵盤上敲敲打打，一邊緊盯著顯示屏的屏幕，人們可以在漂浮在眼前的全息圖像之間隨意切換和瀏覽，只需用手碰一碰就可以完成各種操作。當然還有虛擬鍵盤，人們可以利用它輸入數據。 人們可以進入他們的全息影像屏幕，提取出人的解剖圖，然後剔除骨骼進行研究。人們也可以通過透視去檢查自己打算購買的鞋子的內部做工。到那個時候，打電話將會變成一種很奇怪的行為，因為所有人都可以在全息影像中進行對話。 格里貝茨說：「VR很酷，但它只是通向增強現實的一塊墊腳石。我們將開發出比Mac電腦好用一百倍且強大一百倍的產品。」 第五章 AR面臨的挑戰 本章導讀：在本章中，我們將從技術方面解讀，當前AR面臨的挑戰，包括圖像識別、定位等。 對於AR而言，解決註冊任務是最核心的問題。註冊對精度的要求極為嚴格：由於AR應以實時、六個自由度的形式將虛擬信息和現實信息相融合，即便是輕微的註冊失准都會造成組合視圖難以容忍的失真。因此，移動AR存在兩大難點：註冊必須極為精準，註冊對計算能力和內存的利用必須極為高效。 這個問題是AR面向大眾部署所面臨的終極挑戰。我們斷言，目前大部分已知的註冊任務解決方案其實並不適用於智能手機——儘管看上去能用。因此，所有的AR研究人員都應該為智能手機AR的大空間應用問題開發專門的解決方案。 智能手機是AR大眾市場最具前景的平台。智能手機生態系統為面向大眾部署AR的純軟體解決方案提供了一切要素。然而不應忽視的是，儘管技術和邏輯取得了種種進步，但是AR應用在智能手機上的大規模部署仍然存在著下列重大障礙： 1、相機質量與成像處理。智能手機通常配備的相機感測器在弱光條件下表現糟糕：圖像模糊，開始出現明顯色差。相機感測器硬體通常禁止低層級訪問。API只提供了相機感測器的高層級訪問，無法控制曝光、光圈及焦距。小型CCD感測器導致相機採樣噪點增加，進而嚴重影響後續CV演算法的發揮。圖像獲取過程中的質量損失很難通過後期處理步驟補償。 2、電量消耗。電池電量近年來並沒有顯著提升。相機感測器在以高幀率持續運行時耗電量很大，其主要原因是目前手機的設計用途仍然是拍照，而不是攝影。另外，感測器和網路介面也是耗電大戶。運行功能強大的AR應用會讓電池迅速耗干。因此，AR應用必須只能設計成供短時間使用，而不是一種「常開」功能。 3、網路依賴性。遠程訪問大量數據受到幾個因素的影響。首先，網路延遲會導致令人不爽的延遲，拖累AR應用的瞬時表現。其次，訪問遠程數據僅在開了流量套餐時才有可能做到，而流量套餐可能過於昂貴或者無法開通。最後，某些地區的網路覆蓋可能不滿足條件。於是完全獨立的AR應用成為了唯一的可行選擇，這就意味著需要在設備上佔用大量的存儲空間。 4、可視化與交互的可能性。智能手機的外形因素在購買決策中發揮著重要作用。實際上，可接受最大設備的尺寸嚴格制約了顯示屏的大小。交互技術同樣存在著類似的限制。多點觸控界面或許是最為先進的交互機制，但它在某些特定任務——如像素級的選取上表現糟糕。 理論上講，針對AR改進未來智能手機需從哪些方面入手已是眾所周知。在實踐中，AR應用的開發者卻要看硬體廠商和服務供應商的臉色，後者做出硬體發展決策的依據是市場預測，而其中可能不含對AR的需求。不過，硬體總體是朝著正確的方向發展的，尤其在移動遊戲或移動導航系統的驅動下——而這兩者與AR在技術需求方面存在許多共通之處。此外，研究人員意識到目前相機控制方面存在限制，更好的相機API也會因此誕生，比如Frankencamera項目。 儘管平板電腦作為一種流行移動平台也在不斷壯大，但它屬於放大版的智能手機平台。由於尺寸放大，可視化與交互的限制有了些許放鬆，但這些設備的尺寸和重量同時也制約著它們在AR領域的應用，原因是拿起來更加累人（比如說，把設備舉起來較長時間可能需要兩隻手，反過來制約了交互的可能性）。除此之外，目前的平板電腦存在著與智能手機相同的問題。對於不同的AR應用而言，智能手機和平板電腦可能前者更適合，也可能後者更適合。 計算機視覺面臨的挑戰： 智能手機的一大優勢在於，定位不必單單依賴於相機感測器，也可以利用其它任意可用的感測器，如GPS，指南針，加速度計和陀螺儀。儘管其它感測器的使用在核心CV社區中往往被視為「作弊」，但這些感測器能夠對開發實驗室外快速、健壯的定位功能做出重大貢獻。即便在結合了多種感測器的幫助下，基於CV的定位仍然非常困難，一系列原因列舉如下： 紋理結構。大多數方法依賴於興趣點外形上的自然特徵，要求環境中各區域紋理足夠清晰。興趣點的主要問題在於，紋理的呈現形式至關重要。尤其在室內場景中，常常會有白牆出現，使得基於自然特徵的定位方法很難發揮作用。 光照和天氣條件。儘管自然特徵描述器通常被設計為不受光照影響，但這一假設只有在描述實際物理特徵的觀測研究中成立。不幸的是，室外環境中大量以自然畫面呈現的特徵與實際物理特徵並不相關。場景中物體投射的陰影會造成斑點、邊角、線條的出現，還會隨著光照或天氣條件變化而動態移動。因此，存在著大量的會對定位質量產生嚴重影響的異常因素和不匹配因素，這與匹配演算法的選擇並無關係。 資料庫規模大、易變化。對於室外環境而言，在定位之前必須採集大量數據並處理生成初始模型。利用昂貴設備的實時方法能夠處理這一問題：然而，無法訪問的區域仍然會造成最終模型中的孔洞（即未能構建地圖的區域）。此外，得到的模型僅代表某個時間點的靜態快照。環境中的任何變動，如商店櫥窗的翻新，咖啡店遮陽傘的開閉，停車場汽車的去留，都會讓數據採集生成的模型瞬間過時。另一個重要方面是通信通道（可能是移動網路）中最終模型的分發方式。由於這些模型通常體積頗大，整體還是拆分傳輸都會帶來技術難題。 失准及丟失的感測信息。在室外定位中，GPS和指南針提供了關於設備大致位置和方向的極具價值的絕對信息。不幸的是，感測器並不健壯：在不同的地點，感測信息的準確度可能會有天壤之別。尤其是在狹窄的城市峽谷里，GPS信息可能會偏差100米，甚至會不可用。類似的是，磁干擾會嚴重影響電子指南針的讀數，而磁干擾在人造環境中是不可避免的。 精準定位是AR亟待解決的最為重要的任務。但正如上面所述，仍然存在著一些重大挑戰，仍需針對這些挑戰尋找真正切實有效的解決方案。近來平板電腦AR的SLAM實施證明，如果上述條件（即紋理結構清晰）達到，就能充分實現小規模環境的定位注3。然而，大規模環境的定位僅存在於概念證明研究中。相關問題似乎難以攻克，因此只能等待技術的緩慢進步了。 其他挑戰： 除了實現演算法研究成果的精度和可擴展性這樣的學術目標外，還存在著一系列嚴重影響AR體驗實用性的實際問題。這些因素僅與AR的實際應用相關，因此在科學文獻中討論較少。這或許會造成「這些問題不難解決或者與AR的成功不相關」的錯誤認識。下面列舉了一些與智能手機有關、同時也與AR一般用途有關的問題： 實際的硬體發展與「AR心愿清單」的矛盾：目前智能手機中相機及其它感測器的質量不足以滿足AR的高要求。硬體進步——如立體相機，CPU/GPU的統一隨機定址，WiFi三角定位——能夠讓AR應用的開發者極大受益。不幸的是，在AR尚未氣候成熟時，期待手機會針對AR優化純屬幻想。硬體配置的任何變動會增加數百萬美元的開發成本，倘若之後無法滿足市場預期，搭上的錢還會更多。目前，消費者購買手機主要是為了語音通訊，遊戲和網頁瀏覽。這些市場將會驅動近期到中期的手機功能革新。我們必須說服設備廠家AR是手機應用的新興市場，這樣才能為AR爭取到更先進的硬體。幸運的是，如今AR的關注度已成規模，因此不久的將來，手機針對AR的優化或將成為現實。 動態場景與AR真實感的矛盾。目前的AR應用假設場景中的一切事物都是靜態的。然而，現實恰好與之相反。尤其在室外場景中，幾乎所有物體都在變化：行人，光照和天氣條件，甚至是建築物每隔幾年也會刷上新的顏色。定位會因此受到嚴重影響。 在動態場景中，大多數演算法的基本假設從一開始就是錯誤的。比如說你正在對一個建築立面進行增強，行人路過擋住了部分視野。由於演算法缺少阻擋推理，就算增強內容的視覺效果再好，未來硬體平台的性能再強大，也會出現礙眼的錯誤。動態物體與虛擬內容之間交互的缺失絕對會損害AR應用的真實感。因此，目前CV研究成果中物體動態檢測與跟蹤技術的加入是未來實現高質量AR的關鍵。 內容創作與註冊的矛盾：AR之所以讓人興奮，很大程度上源於終端用戶參與內容創作的發展前景。個人內容創作是促使用戶積极參与而非被動觀察的關鍵所在。然而，目前仍然沒有實現這一概念的基本機制。 儘管手機的交互方法得到了極大改進，但在沒有精準全局環境模型的條件下，如何使用2D界面方便、精準地註冊6自由度內容，這個問題仍未得到解答。就拿增強建築物裡面的一扇窗戶舉例，目前的方法甚至都無法搞定簡單的標記任務。尚沒有在開放空間內輸入任意3D位置的機制，更別說明確指出方向了。 目前決定標籤的做法通常利用的是用戶（不精準的）GPS位置，而不是興趣物體本身。對於終端用戶創作真實、理想的內容而言，在用戶附近對任意位置進行精準註冊一定要簡單而健壯——然而，這又是一個超出CV基本範疇的研究難題。 第五章 AR應用案例 本章導讀：在這一章中，我們將探索AR這一新興技術目前在不同領域的運用情況，並預測有可能成為未來主流的最佳實踐。 我們選取了一定數量的AR創新案例，歸納成四種功能類別；每一種都會在個人或公司使用AR應用時為其帶來顯著益處。 情境敏感式信息——在恰當的事件地點出現的信息 第一類是情境敏感式信息，涵蓋能夠根據特定情境輕鬆獲取互聯網已有靜態數據的各種應用。
Wikitude和Metaio公司的Junaio（魔眼）是AR瀏覽器兩個最有名的例子，它們提供的情境敏感式信息軟體能夠識別場所或物體，並將數字信息與現實世界的場景連接起來。智能手機都可以運行這一軟體，用戶可以通過手機攝像頭的視角看到周圍的數字信息。 這些數字信息可以是附近感興趣的地方，比如博物館、商店、餐館或者前往下一個公交站的步行路線。該軟體通過GPS、WiFi和3D建模實現圖像識別和用戶定位功能。
語言翻譯是AR應用中最具發展前景的領域之一。現有的一款應用Word Lens兼容於幾乎所有智能手機，能夠將文本同步翻譯成另一種語言。打開應用後，用戶只要將設備對準外國文字即可。設備就會將此信息翻譯成用戶母語並顯示出來。而且翻譯後的文本是同樣的字體，印在同一面牆上——就跟原始文本一樣。
面部檢測和AR的結合則是在現實生活特定情境中輕鬆獲取互聯網信息的另一個例子。Infinity是一款AR應用，它可以分析一張面孔，將其與社交網路上的頭像進行比對匹配，匹配目標在社交網路中發布的信息就會顯示在用戶視野中。 這項功能在消費應用領域非常實用的技術也會受到執法部門的歡迎（如掃描人群，尋找通緝犯）。但不難理解，這款應用已經引發了許多人對隱私的擔憂。
大眾公司開發的MARTA系統是汽車領域中在恰當地點提供恰當信息的極具可行性的最佳實踐解決方案。 該系統在汽車運轉失常時派上用場，幫助用戶進行汽車維修及維護。它能通過物體識別技術識別出汽車零部件，實時詳細地將所有必需的維修、維護步驟描述並圖示出來，並配有需要用到哪些設備的信息。這款應用可以在多種移動設備上運行。目前，該系統為大眾服務獨家使用，不過可以想像，未來消費者都會用上類似的系統，不太了解汽車機械的人都能修好自己的汽車。 增強感知——成為人類2.0 即便是今天，AR應用所能提供的也遠不止是隨時檢索互聯網信息這麼簡單。下面講述的幾個AR用例通過主要由設備感測器收集的數據生成新的信息，實現增強現實。這一系列設備能夠增強我們的感知，延伸人類能力，超越目前我們所能取得的成就。
已經問世的Recon Jet是一套用於休閑活動的AR系統。該設備便於運動的平視顯示器（HUD）可以與藍牙、WiFi等第三方感測器連接，提供導航和天氣信息，訪問社交網路，顯示實時的狀態信息。例如，跑步者可以看到自己的速度，到終點線的距離，目前的海拔提升高度以及心率。目前已有上述功能的Recon Jet計劃未來針對在危險環境中工作或從事體力勞動人群開發可穿戴AR設備，監測他們的生命體征和周圍環境。
再舉一個平視顯示器的例子，某些型號的寶馬汽車能夠在擋風玻璃上投影行駛速度等感測信息。這種增強感知功能自從2004年以來被汽車公司所採用，寶馬正在不斷增加新功能，持續改進其HUD系統。 寶馬目前的ConnectedDrive HUD系統的增強方式是在外部環境真實物體上疊加虛擬標記。這樣導航信息或者駕駛助手系統的信息可以顯示在司機前方道路視野的精確位置上。導航指示可以層疊在道路上，其它汽車或安全相關的物體可以根據情況高亮顯示或標記出來。寶馬夜視系統提供的可視化信息正是HUD應用的絕佳例證。
屢獲殊榮的iOnRoad應用是一個類似於寶馬HUD的增強駕駛助手系統，只不過面向平民大眾市場，也沒那麼先進。該應用僅使用智能手機相機和一些視覺演算法，提供了諸如碰撞預警、出口監測、道路出界預警以及事故後能派上用場的黑匣子錄像功能。
Liver Explorer是AR應用在另一個截然不同的領域中的例證。外科醫生可以通過Fraunhofer MEVIS公司開發的Liver Explorer應用增強感知。該應用能夠為執業醫生提供實時的AR嚮導和輔助。設備通過攝像頭捕捉肝臟影像，利用AR技術將手術計劃的數據疊加到器官上。 另外，該軟體還能實時響應（如根據系統持續追蹤的血管運動狀態及時更新手術計劃）。這些功能超越了MARTA系統對於情境敏感式信息的定義。如果該應用能得到積極評價的話，未來很可能會改造推廣到更多的手術領域中。
在危險情況下，隨時掌握關鍵信息尤為重要。正因為如此，軍方成為了AR應用最大的投資者之一。Q-Warrior Helmet是一款軍事應用。該AR項目希望能為士兵們提供「保持警惕，視野開闊，手搭扳機」的場景意識，以及敵我識別、夜視影像和遠程協調小分隊的增強功能。該頭盔會將每個佩戴者的具體位置信息提供給其他人，軍事組織可以通過它在戰鬥或偵查行動中集結、行軍、分享信息與位置。不難想像，未來類似的系統會出現在其他工作環境危險的職業中（如消防員、執法人員）。 混合現實模擬——在現實中探索虛擬 上述案例以提供靜態數字信息的方式為我們展示了增強現實的應用，然而接下來這一類的AR實踐相比之下更進了一步。通過這些所謂的混合現實模擬，用戶可以在現實環境中動態地更換或調整虛擬物體。
最新的宜家應用Ikea Catalog就是其中最為突出的一個例子。藉助於這個由Metaio公司開發的AR應用，消費者可以使用移動設備把所選的數字版宜家傢具「放置」在自己家客廳里，從而更方便地測試傢具的尺寸、風格、顏色擺在某個位置是否合適。該應用還允許用戶調整每一個部件的尺寸和顏色。
優衣庫的試衣魔鏡（Magic Mirror）提供了一種更加個人化的AR試衣體驗。2012年舊金山的一家優衣庫門店安裝了這台大型增強試衣鏡，它能夠識別顧客的身材和所選衣物，因此免去了再試其它顏色的必要。顧客只需換上某件衣物站到鏡子前；根據觸摸屏的提示選擇其它顏色，鏡子中就會投射出顧客身著另一種顏色的影像。
佳能推出的MRERL系統能夠實現3D電腦渲染模型在現實環境中與現實世界物體無縫融合的設計過程。舉例來說，汽車領域可以藉助於這套系統設計出新汽車的模型。MREAL系統支持多用戶協同工作，同步進行完整規模的產品設計。 這套系統可以用來分析新規劃設計中現實部件如何組合的問題。其實現方式是，渲染出包括現有部件和新設計概念的3D模型，再將兩者組合起來。 例如，可以將現有的汽車座椅整合到新車虛擬設計的投影中。MREAL系統提供的是混合現實，因此用戶可以真的坐到（真實的）座椅上，看到汽車外面的真實環境以及汽車內部的數字虛擬模型——包括全新設計的儀錶盤和方向盤。
另一個已投入使用的工業級AR應用來自空中客車公司（Airbus）。為了能夠完全依靠數字工具完成新飛機的生產流程，空中客車公司於2009年聯合打造了MiRA（混合現實應用）。該應用利用AR掃描部件、檢測錯誤，從而提高了生產線的效率。 以A380客機為例，由平板PC、特製感測套件和軟體組成的MiRA應用現在已將組裝機身中成千上萬個支架的時間由300小時降低至驚人的60小時。更為震撼的是，之後發現，損壞、安裝錯位或者遺失支架的數量卻降低了40%。
日本的一位黑客利用現有的3D模型和廉價的動作感測器實現了與日本超人氣虛擬歌手初音未來的AR「約會」。在演示視頻中，初音陪著他漫步公園，初音能夠識別現實世界的物體並做出反應（比如坐在真實的長椅上）。該軟體甚至還能與這位虛擬歌手互動（比如摸摸她的頭或領帶）。儘管這個應用有著明顯的煽動性，但它絕非只是噱頭。由此我們可以想到，不久之後人們或許會有虛擬伴侶的陪伴，在需要時提供幫助（比如，輔助搞定醫療或工程問題，或者以人形界面的形式處理個人日曆、備忘錄、通訊錄等日常數字事務）。 虛擬界面——在虛擬中控制現實 接入互聯網「智能」玩意兒越來越多，獲取數字信息的方式越來越多，於是打算利用AR設備及數據來工作的人也越來越多。因此，我們討論的第四類——虛擬界面，關注的是提供以數字形式控制現實世界物體的新方式的AR技術。本質上說，這類技術讓調整、控制真實物體的混合現實成為可能。
手勢是一種隨時與數字世界進行交互的高級方式。上文所說的麻省理工學院開發的SixthSense正是這麼一種手勢界面系統。儘管該系統目前採用的是空間AR技術，它也可以應用於其它各種技術中。藉助於該系統，用戶可以使用自然手勢與信息進行交互。為了捕捉用戶的輸出意圖，該系統的相機採用計算機視覺技術對用戶手勢進行識別和追蹤。
基於AR的界面不局限於計算機設備。還能用來控制汽車，娛樂設備，以及加熱系統這樣的家居配套設施。仍在開發之中的家庭自動化系統Revolv正是這樣的例子。結合Google Glass後，用戶可以通過該系統控制家中的所有數字設備（如照明系統和門鎖系統）。於是就形成了可以用語音或指尖控制的增強「智能」家居環境。
中國電商1號店的例子告訴我們，虛擬界面也不局限於家中。該公司曾宣布，將成立全球第一個AR連鎖超市。 每一家超市將會有一塊約1.2平方米的貨架，設置在「空白」的公共區域（比如火車車站或地鐵車站，公園或大學校園）。裸眼看去只是空蕩蕩的貨架和牆壁，通過AR設備看到的則是完整的一個超市，貨架上堆滿了數字形式的真實商品。用戶只需通過移動設備掃描商品，添加到網路購物車中，即可完成購買。AR購物完成後，用戶會在家中收到配送的商品。這個概念類似於韓國地鐵站里基於二維碼的樂天超市，但得到了AR技術的增強。 結語 AR是一座比VR還要大的金礦 很多案例已經證明，AR技術在職業場合更有用。第一代谷歌眼鏡在消費類市場遭遇了失敗，但在一些小眾市場，例如醫療健康領域，谷歌眼鏡仍被證明非常有用。微軟HoloLens的橫空出世，讓我們感覺到AR還能發揮更大的作用。 AR技術短並不在於遊戲或耍酷，而是在於滿足實際需求的職業應用，這些應用看起來並不是很酷，但卻更貼近現實。相比於VR，AR似乎是一座更大的金礦。
推薦閱讀：
