VR的迅速發展是因為背後的GPU等技術發生了怎樣的變化?

上世紀7,80年代爆發的人工智慧潮和90年代爆發的虛擬現實潮都不同不夠程度上失敗了。

現在,人工智慧雖然被炒的很熱,但本質上熱的還是ML這樣的廣義AI(think optimally but not think like human)而不是純粹意義上的AI

而虛擬現實卻是實打實的走出了堅實的一步。(雖然還有成像角度,頭暈等問題)

那麼,虛擬現實從失敗到成功是因為背後的GPU等技術經歷了怎樣的質變?以及,現在的這些底層計算技術真的能夠支持虛擬現實計算的複雜度了么?還是說這最終又會變成一次互聯網泡沫下的概念炒作?


主要是看感測器和顯示,然後才是運算單元。


這一波VR熱潮和GPU的發展沒啥關係。

有幾個關鍵點,第一是Palmer Luckey從09年開始做頭顯,做到了2012年碰到了John Carmack和Michael Abrash。John Carmack評價Rift是手機尺寸的屏幕和感測器到了一定的素質和價格,使得Rift的出現成為了可能。也就是說這一波還是因為智能手機的感測器以及手機屏的高解析度導致的。

而接下來就是Michael Abrash在Valve做的Valve"s Room,這個用到GPU了不過GPU並沒有起到決定性作用。但這個促成了扎克伯格對Oculus20億的收購,這是推動整個行業往前的一件大事,風就這麼來了。

乃至2014年9月NV發布的980/970系列宣稱支持VR Direct。不過這也是NV的一貫作風,先紙面發布占坑再說,實際上內部剛剛立項,而且並沒有和Oculus/Valve有任何程度的合作。反倒是AMD已經開始和他們合作且硬體上的非同步計算引擎對VR大有裨益(目前NV的Pascal還是不支持非同步計算,同樣只是在混淆概念)。不過AMD一貫不行的市場策略導致從來技術上的優勢跟沒有一樣。

再到2015年3月的Vive,直接開始讓主流關注到VR,並讓很多媒體體驗到了真正VR的效果,風又更大了。

至於GPU,雖然從28nm一下子到14nm,但是大家還是要慢慢來的,不會一次性給你提升多少性能。GPU在VR上的發展,別太拖後腿就好了。

這是國外

國內的話兩個關鍵點,2015年上半年暴風妖股,下半年習戴上GearVR


這一波VR的發展,首推的是Oculus Rift。那麼就看看它和GPU的關係吧。

硬體

陀螺儀、指南針、加速度計,這些都可以做到非常小的固態晶元。但這些跟GPU沒關係,都是由於手機的發展帶起來。這些sensor提供了輸入的基礎。除此之外,Oculus Rift也就是一塊(解析度一般)的屏幕而已。

軟體

既然手機也有那些硬體,為什麼做不到同樣的精度?Oculus Rift有個sensor fusion演算法,把多個不同sensor的輸入綜合起來,互相校準,得到一個更精確地角度信息。

第二個創新是大神John Carmack發明的Time warpping演算法。VR設備的工作流程都是

1. 獲得輸入

2. 用輸入的角度渲染

3. 顯示到屏幕

這個流程在60FPS的設備上需要大約16ms。而16ms雖然短,但頭部的運動足夠讓人感覺到一定的延遲。所以time warpping演算法會在2和3之間再次獲得輸入,並用image warpping把渲染的結果warp之後顯示到屏幕。這樣出來的延遲就變得幾乎為0了。

(我曾經獨立想出這個演算法,甚至有可能比John還早。但當我還在考慮寫個驗證的時候,他發了個twitter把演算法大意給說了)

有了這些軟硬體,其實不太需要GPU的發展也能打到今天的成就。

和GPU的關係

要說和GPU沒關嗎?那也不是。

解析度

Oculus Rift的解析度並不高,戴上可以很明顯看到像素點。如果提高解析度的話,就要求提高GPU處理能力。目前遊戲的大作,基本都能把GPU折騰得夠嗆。要上VR的話需要更高的性能才行。

性能

於是又到了性能。VR的左右眼看到的東西不同,理想狀況是根據左右眼分別渲染一幀。這樣相當於需要原先2倍的性能才能達到同樣的結果。Vive之所以體驗更好,很大程度上是因為他們的目標是到90FPS,而不是60FPS。算上左右眼的話就是相當於180FPS,比單眼60FPS來說,需要3倍性能才行。

Geforce 10x0系列新增的VR模式,其中的一個改進就是只需要渲染一次,送左右眼兩個matrix,在geometry shader把模型拆到左右眼。(我也獨立想出了這個演算法,並可以用GS輕鬆實現,但如果硬體做了這事,性能必然比弱雞GS快很多)

還有一個改進是根據VR需要的解析度分布,主動調整像素位置,減少周圍無效區域的渲染開銷。具體可以參考 GTX1080 is Here! - Behind the Pixels - 知乎專欄

由於對GPU性能的要求較高等原因,Oculus Rift目前不提供Mac的支持。見 如何評價 Oculus Rift 創始人說蘋果電腦不夠好,因此暫不支持 Mac? - 互聯網

綜上,這次VR的迅速發展和GPU本身沒有直接關係,但有一定的互相影響。


早在1968年計算機圖形學之父Ivan Sutherland已經設計出了第一台VR的原型機,但該機器只存在於實驗室讓幾個研究生使用。這之後直到1980年代隨著幾個關鍵技術的進步(3D圖形工作站、袖珍電視、6自由度的跟蹤系統、廣角鏡片等),一些實驗室(例如NASA,還有高校像UNC)開始製造出了可以商用的VR系統。到了1990年代,Jaron
Lanier領導的Tele-Immersion(遠程沉浸體驗)項目將人們對VR的期待推向了另一個高潮。1993年MIT
Media Lab的Nicholas Negroponte甚至在Wired雜誌上預測「在今後的5年內,會有超過十分之一的人將會在公車、火車、和飛機上佩戴使用頭戴式計算機設備」。然而事實遠沒有當時想像的那麼樂觀,到了2000年代,VR幾乎只存在於學術界和政府機關(作為大型展示的昂貴的設備來使用)。

這次的VR大潮來了,人們普遍會問是不是這一次的大潮跟1990年代的那一次不同。人們普遍認為1990年代VR爆發的幻覺主要是由於技術缺陷導致最終沒能實現。那麼到今天為止是不是我們已經具備了足夠的VR技術,使得我們有足夠的能力去實現VR真正的大爆發呢?如果我們對每一類技術按照A/B/C/D來打分的話,我們大致可以對以下的幾項相關的VR技術的現狀進行這樣的打分:

顯示設備:

VR顯示設備(B+):一直在進步;

AR顯示設備(C-):能夠真正衡量的信息量不多,大多基於Magic Leap和微軟的一些承諾;

圖像生成和渲染(A+):已經隨著計算機圖形學的發展而取得長足進步;

頭部跟蹤(B+):目前還只能在室內添置了設備的空間里;

手部跟蹤(B):一直隨著計算機視覺和感測器的發展而在不斷進步;

場景和模型的獲取(B-):還僅僅局限於靜態空間,但去年CVPR會議里的報告的DynamicFusion卻讓人們看到了獲取動態模型的希望。

基於上述對VR里各項關鍵技術的判斷,我們認為這一波的VR大潮是有可能以幾個爆款應用的方式而真正的走近千家萬戶的。但是我們也想提醒很多被VR熱浪吹進來的創業者,真正的VR技術不在於簡單的會使用Unity3D或者Unreal引擎來編程,或者到深圳去找家代工工廠做個便宜的頭盔,而是在於對上述相關VR技術的長期的學習和積累。也希望中國的VR團隊能夠更加有耐心的在核心技術領域進行一些沉澱,這樣才有可能創造出真正高體驗度的VR應用。


台灣今年再次發生地震,希望他們安好。設想如果地球已經處於地震頻發期,人類不得不考慮火星移民。或著未來人類將 懸浮生活在空中。機器人在環境危險的地面工作,人類在半空的飛船中生活。空中自然沒有地面那麼廣闊的活動範圍,但是有 虛擬現實vr設備,人類的精神活動依然是無限的。太空探索,機器人的發明,虛擬現實,看上去和你的當前生活無關,但它們指向的是人類的未來。


參考前兩年的3d列印.都是和多數人關係不大但是......"嘿,與其讓這些理科宅攢的錢被綠茶婊一波帶走不如我們去騙點吧."


老黃髮現自家的卡能跑4k了

倒是4k電視賣不出去

咋辦?


這一波VR和GPU發展沒什麼關係,這一次的熱(Chao)潮(Zuo)開始於Oculus(現已被Facebook收購),Oculus在實物還沒影的時候就已經在扯概念,把屏幕糊臉上扯出改變人類與計算機交互的革命的程度,並配有炫酷無比的渲染效果。實際情況是Oculus花了幾年時間,出了兩個developer kit,我有幸用DK2開發過一年多的時間(這是我FYP),在此期間順便也用DK2打過一些遊戲。最深刻的感覺果然還是屏幕糊臉上這點,只要把透鏡拆掉就可以看到裡面的屏幕,跟手機屏幕也差不多。。

跑題了,總之Oculus成功把話題炒熱了一點,然後 索尼 (閥門廠+HTC)摻合了進來,造就了現在的三大VR設備。HTC更把VR作為翻盤的主要推動力之一,所以廣告宣傳也很到位;Oculus本來就有東家小扎在宣傳;索尼本來就是遊戲主機大佬,用戶中有最可能購買VR設備的大量核心玩家,這些玩家當然會隨時關注PSVR。

(這裡順便說下三巨頭,微軟摻合了一下,不過是AR,屏幕換為半透明投影+kinect感測器+頭盔自帶運算力+$$$$。蘋果有能力摻合但是沒動作。谷歌出了紙盒子嘲諷了一下Oculus就是屏幕糊臉上加陀螺儀之類的感測器,紙盒子我也有,講道理效果不行,不過便宜就是了)。

PSVR我10月13日當天就拿到了,它比DK2(以及各種手機屏幕)有幾點優勢,首先它刷新率120hz有效降低暈眩,第二它像素之間間隙小晶格感降低,第三佩戴舒適不像DK2重心在鼻子上,第四可以戴眼鏡使用。但是基本設計仍然是屏幕糊臉上加感測器。

又跑題了,不過也可以看出VR炒火的整個過程並不是GPU發展推動的。反而是VR熱潮推動了GPU發展,今年N卡A卡發布都有明確指(chui)出(xu)VR性能的提高以及專門對VR優化等等。


我覺得還是科技以外的領域,電影,文學作品,這些內容對虛擬現實的輸出造成現在的局面

技術的話,30年前就能達到了吧


沒什麼關係。實際上對vr有優化的gpu剛剛才出現(geforce 1080)。


題主所說的走出了堅實的一步指的是資本大量進入的一步嗎?依我來看是離VR真正的騰飛還有不少差距(類似於PC、智能手機的迅速普及的狀態)


聽過了多少這種頭腦發熱的題目,VR連最基本能實用的硬體都沒有(別跟我說HTC的那小兒科,充其量就是看個兩分鐘視頻),光憑這一點,短時間內不可能走進日常生活


推薦閱讀:

英偉達的 Tesla GPU 性能有多強勁,跟普通 GPU 的主要區別是什麼?
GPU的性能參數中的單精度浮點和雙精度浮點計算,各自對應哪些應用?

TAG:圖形處理器GPU | 虛擬現實VR |