現實亦虛擬 虛擬亦現實

□文/張宇

虛擬現實經歷了三次熱潮：第一次源於1960年，確立了VR技術原理；第二次發生在1990年，VR試圖商業化但未能成功；目前正處於第三次熱潮前期，以Facebook 20億美元收購Oculus為標誌，全球範圍內掀起了VR商業化、普及化的浪潮。

「虛擬現實」 (virtual reality，英文簡稱「VR」)主要指利用先進的顯示、計算機、感測、人工智慧等多種技術來生成一個逼真的三維視覺、聽覺、觸覺或嗅覺等感覺世界。在這樣的「世界」里，用戶們可以從自身視點出發，利用自然技能和外加設備對這一生成的虛擬世界客體進行瀏覽並交互信息、交流體驗。「虛擬現實」技術為我們帶來的是逼真的感覺、自然的交互、個人的視點及迅速的響應。虛擬現實技術是模擬技術的一個重要方向，是模擬技術與計算機圖形學、人機介面技術、多媒體技術、感測技術和網路技術等多種技術的融合，是一門富有挑戰性的交叉技術。

整體來看，目前VR 產業仍處於起步階段，供應鏈及配套還不成熟。在這樣的情況下，虛擬現實要達到逼真的多種感覺和實時的自然交互是非常不容易的。但是VR領域發展前景廣闊，預計未來市場潛力巨大。隨著技術的成熟與成本的下降，虛擬現實帶來的沉浸感與交互體驗升級不僅能夠應用於娛樂社交，更將對各行各業的生產溝通效率帶來極大改變。如高端製造全流程參與、職業教育培訓、設計效果呈現等，都是虛擬現實技術應用的絕佳領域，「VR+」的需求將層出不窮。就像「互聯網+」一樣，VR技術也將逐步滲透產業，形成「VR+」的趨勢。同時，隨著新一代的CPU、GPU、顯示技術、感測技術進步支撐VR 行業發展，虛擬現實基本上到了爆發的起點，2016有望成為虛擬現實元年。

張宇 上海市科學學研究所 助理研究員法國佩皮尼昂大學碩士

圖1　人機交互方式變化

用「芯」思考—晶元是保證運算能力和流暢度的核心

以現階段來說，市場上的硬體僅僅滿足VR的一些基本功能可以運行而已，在硬體各個方面都有很大的提升空間，而不只是某一方面的提升。以面向VR智能眼鏡晶元技術為例，它們需要向「四更」方向努力：更小(體積更小)，更快(傳輸更快)，更省(更低的功耗)，更強(更強的計算能力，更強的圖形計算、並行處理等能力)。MCU、CPU、GPU等需要更強的計算能力，以滿足演算法、顯示、交互等工作需求。同時，要降低晶元的功耗，以滿足更長時間的工作需求。另外，體積也要濃縮，這樣才能釋放空間用於他處。未來需要針對CV/AI專門優化的晶元來提高運算速度和降低功耗。隨著VR需求的擴大，一定程度上會提升相關編解碼多媒體定製晶元的發展。

美國高通公司研製的晶元體現出更加智能的效果。預計在2016年上半年推出的智能移動設備的核心處理器Snapdragon 820，能夠為VR技術提供核心支持。在這款GPU中的一項重要技術Foveated Rendering，能夠簡化圖像處理的過程。在使用過程中，這項技術並沒有將VR頭盔屏幕中的圖像像素完全處理，而是把處理能力主要用在了用戶的視線真正注意到的屏幕部分。因為人的眼睛在視物的過程中，並不會注意到全部的細節，因此就沒有必要把晶元的處理能力完全平分在整個屏幕上；只需要將人真正注意的部分處理好就可以了。

目前我國的產業集群和自主創新能力已經形成新常態，如國內的集成電路設計的公司，從海思和展訊，已經成為全球集成電路設計的十大企業。晶元設計和晶元製造能力方面，中國已經成為並且事實性地正在積聚著創造的領導和形成著產業集群的優勢。

視覺模擬—身臨其境的效果首先要「看」顯示設備技術水平

人看周圍的世界時，由於兩隻眼睛的位置不同，得到的圖像略有不同，這些圖像在腦子裡融合起來，就形成了一個關於周圍世界的整體景象，這個景象中包括了距離遠近的信息。當然，距離信息也可以通過其他方法獲得，例如眼睛焦距的遠近、物體大小的比較等。在VR系統中，雙目立體視覺起了很大作用。用戶的兩隻眼睛看到的不同圖像是分別產生的，顯示在不同的顯示器上。有的系統採用單個顯示器，但用戶帶上特殊的眼鏡後，一隻眼睛只能看到奇數幀圖像，另一隻眼睛只能看到偶數幀圖像，奇、偶幀之間的不同也就使視差產生了立體感。

整體來看，虛擬現實技術及其應用，經歷了桌面式和分散式兩個階段的發展後，正處於沉浸式發展初期，未來朝著增強式的方向發展。2013年，Oculus VR 推出VR頭戴顯示器Oculus Rift，區別於頭戴3D顯示器，它的視場角得到改進，並配置多種感測器使交互提升。2014年，Google推出頭戴手機盒子Cardboard，它結構簡單、成本低廉、易於推廣，消費級沉浸式VR設備受到國內外公司的關注。目前，消費級沉浸式VR設備市場處於發展初期，中國從事沉浸式VR設備開發的公司約100多家，大部分產品沒有上市或僅推出開發者版本。內容方面，以3D電影、VR遊戲、360全景視頻/圖片為主，內容數量有限，VR遊戲處於樣片階段。3Glasses是中國最早從事VR領域探索的公司之一，已發布亞洲首款VR頭盔3Glasses D1以及全球首款量產2k屏的VR頭盔3Glasses D2，併入駐深圳工業展覽館，向社會團體和普通市民免費體驗。

捕風捉影—位置感測與動作捕捉需要既快又准

人造環境中，每個物體相對於系統的坐標系都有一個位置與姿態，而用戶也是如此。用戶看到的景象是由用戶的位置和頭（眼）的方向來確定的。 跟蹤頭部運動的虛擬現實頭套：在傳統的計算機圖形技術中，視場的改變是通過滑鼠或鍵盤來實現的，用戶的視覺系統和運動感知系統是分離的，而利用頭部跟蹤來改變圖像的視角，用戶的視覺系統和運動感知系統之間就可以聯繫起來，感覺更逼真。另一個優點是，用戶不僅可以通過雙目立體視覺去認識環境，而且可以通過頭部的運動去觀察環境。在用戶與計算機的交互中，鍵盤和滑鼠是目前最常用的工具，但對於三維空間來說，它們都不太適合。在三維空間中因為有六個自由度，我們很難找出比較直觀的辦法把滑鼠的平面運動映射成三維空間的任意運動。現在，已經有一些設備可以提供六個自由度，如3Space數字化儀和SpaceBall空間球等。另外一些性能比較優異的設備是數據手套和數據衣。

2015年3月在MWC2015上，HTC與曾製作Portal和Half-Life等獨創遊戲的Valve聯合開發的VR虛擬現實頭盔產品HTC Vive亮相。HTC Vive控制器定位系統Lighthouse採用的是Valve的專利，它不需要藉助攝像頭，而是靠激光和光敏感測器來確定運動物體的位置，也就是說HTC Vive允許用戶在一定範圍內走動。

愚公搬山—數據計算能力與傳輸速度是產業化前的兩座大山

相比較而言，利用計算機模型產生圖形圖像並不是太難的事情。如果有足夠準確的模型，又有足夠的時間，我們就可以生成不同光照條件下各種物體的精確圖像，但是這裡的關鍵是實時。例如在飛行模擬系統中，圖像的刷新相當重要，同時對圖像質量的要求也很高，再加上非常複雜的虛擬環境，問題就變得相當困難。在現實環境中實現無差別圖像視頻識別需要極其龐大的數據規模，如一條街道上，需要街景、人臉、服裝等各種數據；目前數據的採集、存儲、傳輸、分析技術都有需要解決的難題：僅海量數據的清洗、錄入，本身就是浩瀚的工程。

VR技術包括四項關鍵指標，領先廠商已經達標，VR技術趨於成熟。這四項指標為：屏幕刷新率、屏幕解析度、延遲和設備計算能力。高通Snapdragon 820能為先進的計算機視覺技術提供支持。Snapdragon 820將為立體攝像機提供保障，連續處理兩條高達13兆像素的數據流。同時，其他方面的技術如輸入設備在姿態矯正、複位功能、精準度、延遲等方面持續改善；傳輸設備提速和無線化；更小體積硬體下的續航能力和存儲容量不斷提升；配套系統和中間件開發完善。

全球市場受熱捧

VR 技術起源於1965 年Ivan Sutherland 在IFIP會議上所作的「終極的顯示」的報告。20世紀80年代美國VPL 公司的創建人之一Jaron Lanier 正式提出了「Virtual Reality」一詞。VR 技術興起於20世紀90 年代。2000 年以後，VR 技術整合發展中的XML、JAVA 等先進技術，應用強大的3D 計算能力和互動式技術，提高渲染質量和傳輸速度，進入了嶄新的發展時代。VR 技術是經濟和社會生產力發展需求的產物，有著廣闊的應用前景。為了把握VR技術優勢，美、英、日等國政府及大公司不惜投入巨資在該領域進行研發，並顯示出良好的應用前景。

2008年2月，美國國家工程院(NAE)公布了一份題為「21世紀工程學面臨的14項重大挑戰」的報告。VR技術是其中之一，與新能源、潔凈水、新藥物等技術相併列。並提出這些技術挑戰的任何一項一經克服，將可極大地改善人們的生活質量。

在歐洲, 英國在VR 開發的某些方面,特別是在分布並行處理、輔助設備(包括觸覺反饋)設計和應用研究方面, 領先於歐洲其他國家。英國Bristol 公司發現, VR 應用的交點應集中在整體綜合技術上, 他們在軟體和硬體的某些領域處於領先地位。英國ARRL公司關於遠地呈現的研究實驗,主要包括VR 重構問題。他們的產品還包括建築和科學可視化計算。

歐洲其它一些較發達的國家如:荷蘭、德國、瑞典等也積極進行了VR的研究與應用。瑞典的DIVE分散式虛擬交互環境, 是一個基於Unix的, 不同節點上的多個進程可以在同一世界中工作的異質分散式系統。荷蘭海牙TNO 研究所的物理電子實驗室(TNO -PEL)開發的訓練和模擬系統, 通過改進人機界面來改善現有模擬系統, 以使用戶完全介入模擬環境。德國在VR的應用方面取得了出乎意料的成果。在改造傳統產業方面, 一是用於產品設計、降低成本, 避免新產品開發的風險;二是產品演示, 吸引客戶爭取定單;三是用於培訓,在新生產設備投入使用前用虛擬工廠來提高工人的操作水平。2008 年10 月27 -29 日在法國舉行的ACM Symposium on Virtual Reality Software and Technology 大會,整體上促進了虛擬現實技術的深入發展。

東京技術學院精密和智能實驗室研究了一個用於建立三維模型的人性化界面, 稱為SpmAR;NEC 公司開發了一種虛擬現實系統,用代用手來處理CAD 中的三維形體模型, 通過數據手套把對模型的處理與操作者的手聯繫起來;日本國際工業和商業部產品科學研究院開發了一種採用X 、Y 記錄器的受力反饋裝置;東京大學的高級科學研究中心的研究重點主要集中在遠程控制方面, 他們最近的研究項目是可以使用戶控制遠程攝像系統和一個模擬人手的隨動機械人手臂的主從系統;東京大學廣瀨研究室重點研究虛擬現實的可視化問題。他們正在開發一種虛擬全息系統, 用於克服當前顯示和交互作用技術的局限性;日本奈良尖端技術研究生院大學教授千原國宏領導的研究小組於2004 年開發出一種嗅覺模擬器, 只要把虛擬空間里的水果放到鼻尖上一聞,裝置就會在鼻尖處放出水果的香味, 這是虛擬現實技術在嗅覺研究領域的一項突破。

企業是推動VR 技術應用和產業化的重要力量。IBM 公司把互聯網和VR 技術作為正在興起的商機，投入上億資金資助研發。其推出的Bluegrass 是一個虛擬現實應用程序，能夠讓用戶建立虛擬的會議室。IBM 2008 年啟動的「Sametime 3D」項目，將虛擬世界整合到Lotus Sametime 即時通訊與協作應用軟體中。IBM 還與故宮博物院合作推出「超越時空的紫禁城」。這是中國第一個在互聯網上展現重要歷史文化景點的虛擬世界。微軟公司開發了諸多VR 技術: Photosynth 軟體能夠讓用戶使用一組有相似性的照片生成一個3D場景; Silverlight 插件支持3D 效果，並能使用顯示卡的GPU 硬體加速功能來提高顯示質量; 3D 體感攝影機Project Natal 導入了即時動態捕捉、影像辨識、麥克風輸入、語音辨識、社群互動等功能; World-Wide Telescope 基於Web 2.0 可視化環境，是Internet上的一個虛擬望遠鏡，用戶可以對圖像進行無縫縮放和平移; Virtual Earth 3D 的使用者可以瀏覽美國主要城市的全方位3D 圖片。施樂公司( Xerox)研究中心在VR 領域主要從事利用虛擬現實通信建立未來辦公室的研究，並設計一項基於VR 使得數據存取更容易的窗口系統。此外，波音公司的波音777 運輸機採用全無紙化設計，利用所開發的VR 系統將虛擬環境疊加於真實環境之上，把虛擬的模板顯示在正在加工的工件上，工人根據此模板控制待加工尺寸，簡化加工過程。

我國VR 技術研究起步較晚，與國外發達國家還有一定的差距，但現在已引起國家有關部門和科學家們的高度重視，並根據我國的國情，制定了開展VR 技術的研究計劃。「九五」規劃、國家自然科學基金委、國家高技術研究發展計劃等都把VR 列入了研究項目。國內一些重點院校，已積極投入到了這一領域的研究工作。

北京航空航天大學計算機系是國內最早進行VR 研究、最有權威的單位之一，並在以下方面取得進展：著重研究了虛擬環境中物體物理特性的表示與處理；在虛擬現實中的視覺介面方面開發出部分硬體，並提出有關演算法及實現方法；實現了分散式虛擬環境網路設計，可以提供實時三維動態資料庫、虛擬現實演示環境、用于飛行員訓練的虛擬現實系統、虛擬現實應用系統的開發平台等。浙江大學CAD＆CG 國家重點實驗室開發出了一套桌面型虛擬建築環境實時漫遊系統，還研製出了在虛擬環境中一種新的快速漫遊演算法和一種遞進網格的快速生成演算法。哈爾濱工業大學已經成功地虛擬出了人的高級行為中特定人臉圖像的合成、表情的合成和唇動的合成等技術問題。清華大學計算機科學和技術系對虛擬現實和臨場感的方面進行了研究。西安交通大學信息工程研究所對虛擬現實中的關鍵技術——立體顯示技術進行了研究， 提出了一種基於JPEG 標準壓縮編碼新方案，獲得了較高的壓縮比、信噪比以及解壓速度。北方工業大學CAD 研究中心是我國最早開展計算機動畫研究的單位之一，中國第一部完全用計算機動畫技術製作的科教片《相似》就出自該中心。

關於虛擬現實的研究我國已經完成了2 個「863」項目，完成了體視動畫的自動生成部分演算法與合成軟體處理， 完成了VR 圖像處理與演示系統的多媒體平台及相關的音頻資料庫，製作了一些相關的體視動畫光碟。另外，西北工業大學CAD／CAM 研究中心、上海交通大學圖像處理模式識別研究所、長沙國防科技大學計算機研究所、華東船舶工業學院計算機系、安徽大學電子工程與信息科學系等單位也進行了一些研究工作和嘗試。

當前，我國專註於虛擬現實與模擬領域的軟硬體研發與推廣，已具備了國際上比較先進的虛擬現實技術解決方案和相關服務，其中代表產品有：虛擬現實編輯器（VRP－Builder）、數字城市模擬平台（VRP－Digicity）、物理模擬系統（VRPPhysics）、三維網路平台（VRPIE）、工業模擬平台（ⅣRP－Indusim）、三維模擬系統開發包（rvRP－SDK）以及多通道環幕立體投影解決方案等，能夠滿足不同領域不同層次的客戶對虛擬現實的需求。

在企業方面，以我國增強現實頭戴顯示器市場為例，其參與者主要是初創企業，多數產品尚處於研發階段。從產品功能來看，初創公司的產品與谷歌眼鏡功能相仿，價格具有優勢，但自主創新能力還不足。目前主要包括百度公司的Baidu Eye、聯想公司的Vuzix M100，藍斯特科技公司的EPW、PMD、MG1，百宣微雲軟體公司的Rui Glass G1,奧圖科技公司的Cool Glass ONE，創玄微科技公司的創玄眼鏡，亮亮視野科技公司的GLXSS智能眼鏡和雲視智通科技公司的雲瞳等。

將腦-機介面( brain-computer interface，BCI) 技術與虛擬現實( virtual reality，V R) 相結合構成基於虛擬現實的腦-機介面( BCI-V R) 新技術是最近在多媒體和娛樂領域出現的一種BCI 應用新模式。

BCI-VR兼取兩者優勢互補，同時又相互促進創新。BCI-VR系統的提出和發展時間並不長: 2000年結合VR與BCI 技術，科學家在虛擬環境中試駕駛一輛小車遇到紅燈時停下，紅燈被設置為足夠誘發事件相關電位P300 信號。2006 年清華大學馬贇等設計了基於BCI 技術的VR康復訓練平台，其中將想像運動BCI 與運動功能康復訓練VR結合在一起。2007 年Robert Leeb、Doron Friedman等使用BCI 控制虛擬環境 中輪椅前進或停止。2010 年Po T.Wang 等驗證了使用BCI 在VE 中控制下肢進行功能性電刺激( functional electric stimulation，FES) 的可能性，2012年又完成了在虛擬環境中通過BCI 控制實現下肢自定步調行走。為進一步擴展其實用性，還希望該系統可以提供更多指令輸出以便與現實世界互動。為此，西安交通大學李葉平等將刺激目標與場景圖像結合，設計了一種高效穩健的場景結合導航方法，顯著減少了目標識別次數，大幅提高了BCI 控制輪椅的導航效率。

技術需要在產品中表現，而產品需要在市場中消化。整體來看，企業級與消費級VR市場將共同發展,相互促進。企業級應用所積累的資金、渠道、技術、人力資源都將在同質化的消費級市場里發揮作用。企業級市場的繁榮,將帶動消費級市場的成熟,兩個市場將有望共同發展。而實驗室級別的交叉技術融合的發展，又將跳出當前VR應用終端是固定還是移動的發展路徑的爭論，為後續發展明確方向。

所以與其擔心巨頭搶佔自己的市場份額，不如先把眼前事做好，努力為VR用戶的每一天帶去更好的東西，將虛擬務實。

推薦閱讀：