Oculus首席科學家深入探討AR/VR未來：光學、顯示、渲染、音頻、輸入、角色、外形、計算機視覺等

03-03

文章相關引用及參考：roadtovr

「VR的未來一片光明。」

（映維網 2018年10月16日）在Oculus Connect 5大會的主題演講中，Oculus首席科學家邁克爾·亞伯拉什重新審視了他在16年OC3對未來五年VR技術的預測。亞伯拉什相信，對於自己經常提及的關鍵預測，儘管有些需要推遲大約一年時間，但「基本上都在朝著正確的方向發展」，而且他「低估了某些領域的進展」。在今天的文章中，映維網將與大家一起回顧亞伯拉什對AR和VR未來的洞察。

1. 光學與顯示

亞伯拉什在OC5大會上重新審視每個技術領域，而他首先討論的是光學與顯示。這位Oculus首席科學家對2021年頭顯功能的預測是單眼4K×4K解析度，140度視場和可變焦深。

「這是我明顯低估的一個領域。」亞伯拉什如是說道，並指出Oculus於今年年初展示的Half Dome原型已經滿足了其中兩個標準（140度視場和可變焦深），而且現在已經出現了能夠滿足其預測解析度的顯示面板。

亞伯拉什強調了變焦顯示領域正在快速發展，他表示藉助可以實時實現「自然注視跟隨模糊」的AI渲染器DeepFocus，他們「在解決這個問題上已經取得了相當大的進步」，而他們會在未來幾個月內發表他們的研究成果。

除了Hald Dome，亞伯拉什簡略提到了針對未來光學的兩個潛在解決方案：Pancake透鏡和波導。跟菲涅爾透鏡一樣，Pancake透鏡不是一項新事物，但「到了現在才真正變得切實可行」。亞伯拉什解釋道，Pancake透鏡可以通過基於偏振的反射將光學路徑摺疊成一個小空間，從而有可能實現視網膜解析度和200度的視場，但你必須在外形尺寸和視場之間進行權衡。由於Pancake的工作方式，「你可以產生一個非常寬的視場或一款非常緊湊的頭顯…但不能同時實現」。

但波導（一種正因AR研發工作而得到加速發展的技術）在理論上沒有解析度或視場的限制，並且只有幾毫米厚，最終可以在任何所需的視場和視網膜解析度下產生非常輕巧的頭顯（但這仍然需要很多年的時間發展）。

2. 注視點渲染

對於圖形，亞伯拉什在2016年的預測是注視點渲染將在五年內成為一項核心技術。他將這個預測延長了一年時間，而渲染方法可能會通過深度學習得到加強。他展示了一張圖像，其中95％的像素被移除，剩餘像素則集中在焦點。圖像的其餘部分通過深度學習演算法進行有效的重建，而最終結果與原始的全解析度版本非常相似，表面上足夠欺騙你的外圍視覺。

注視點渲染與眼動追蹤密切相關，而亞伯拉什認為這是他2016年預測中風險最大的技術。今天，他更有信心可以實現穩定的眼動追蹤（它已經成為Half Dome的一部分），但這個預測同樣需要延長一年時間。

3. 空間音頻

空間音頻是下一個主題。亞伯拉什曾預測個性化的頭相關傳輸函數（HeadRelated Transfer Functions；HRTF）將在五年內成為家用VR設置的標準，而他在本屆OC5大會承認這個預測可能同樣需要延長。但亞伯拉什指出，最近的一次演示體驗令他確信「音頻臨場感是確有其事」。顯然，這項技術已經行得通，但用於演示的個性化HRTF涉及30分鐘的耳朵掃描，並緊接需要「漫長的模擬」，因此它尚不適合用於消費級產品。

4. 控制器與輸入

至於控制器，亞伯拉什認為Touch類型的控制器在不久的將來仍然是主要輸入設備（以及手部追蹤）。在播放了Oculus的一個觸覺手套實驗短片之後，他調整了自己先前的觀點，即用於雙手的觸覺反饋已經不再遙遠，並指出「我們將在十年內以某種形式實現有用的觸覺雙手。」

5. 人體工學與外形尺寸

在談到人體工學時，亞伯拉什提到VR和AR研究之間正日益增加的技術重疊，並指出未來的VR頭顯不僅能夠做到無線，而且可以利用某些AR設備所採用的分體式結構來變得更加輕便，其中重型組件（如電池和計算硬體）可夾在口袋或腰間。他指出，重型組件同時可以與頭顯無線相連，從而實現完全的運動自由。

即便如此，光學限制仍然是阻礙VR頭顯接近滑雪鏡設計的瓶頸，但Pancake透鏡和波導光學系統的進步可以帶來更加輕便的頭顯。

6. 計算機視覺

亞伯拉什接著講到VR和AR設備在未來將會共享的計算機視覺技術。因為兩種類型的硬體都能夠渲染令人信服的混合現實，其中虛擬世界的對象和環境與真實世界融為一體。應對這一挑戰的方法各不相同。亞伯拉什指出，未來的VR頭顯將能夠在虛擬環境中實時掃描和渲染現實世界（他相信這可以在四年內成為現實），而AR眼鏡則將渲染層「疊加』至現實世界，並通過透明顯示屏進行瀏覽感知。

儘管亞伯拉什認為VR將在很長一段時間裡成為「混合現實的最佳（形態）」，但他同時希望這兩種技術最終能共享相同的底層介面，並共享相同的開發環境和工具，以至於應用程序和環境能夠無縫地跨越兩種類型的頭顯。Virtual Humans

7. 虛擬人類

亞伯拉什最後談到了逼真的虛擬人類。在以前，恐怖谷效應看起來似乎都無法克服。亞伯拉什強調了一種名為Codec Avatars的機器學習方法，其能夠在非常精確地重建旁邊一個說話人頭。儘管仍處於早期階段，但他認為這可能會徹底改變虛擬通信和協作。他指出：「我不會打賭在四年內能夠實現令人信服的人類化身。但我同樣不會打賭這不可能在四年內實現。」

他推測道：「四年後，VR將能跳到更高的水平，而那只是一個開始。每個領域都將繼續優化，虛擬人類和潛在的觸覺雙手將在不久之後出現。簡而言之，就我看來，而我可以看得相當遙遠，VR的未來一片光明。」

原文鏈接：https://yivian.com/news/51482.html