VR 頭顯需要多高的解析度才能實現「視網膜」效果？刷新率要多高才能足夠真實？

12-05

結論前置：

對於類似HTC Vive的設備，需要雙目12450*6840或更高的解析度（介於8k和16k之間）才能達到「視網膜」效果。
對於所有VR設備，需要達到150-240fps的刷新率才能讓一般人覺得足夠真實。
如此高的解析度和刷新率需要數十倍於當前PC的硬體性能才能驅動。

「視網膜」效果是一個沒有清晰定義的概念。根據Steve Jobs在發布iPhone 4時的定義，它是指在10-12英寸的距離上，設備的像素密度達到300ppi（每英寸300像素）的水平時的顯示效果[1]。然而實際上人眼在12英寸的距離上的解析度可以超過900ppi[2]。我們在這裡採用Jobs的標準來討論。

12英寸距離上300ppi的像素密度，通常用一個單位為ppd（每度像素數）的參數來表示：

$ppd = 2drtan(0.5^{circ } )$

想像一個頂角為1°的細長的等腰三角形，其高度 d 為眼睛與屏幕的距離，r 即為其底邊覆蓋的像素數量。根據Jobs的定義，要獲得視網膜顯示效果，需要至少57ppd。

對於主流VR頭顯如HTC Vive來說，其單眼橫向FOV為110°，縱向約120°。據此計算，它需要

$(110 imes 57)*(120 imes 57)=6270*6840$

的單眼解析度才能達到視網膜水平，也就是需要一塊至少 12540*6840 的屏幕輸出雙目畫面。按照類似流行的4k、5k、8k 的說法，這樣一塊屏幕差不多是13k；如果維持Vive顯示面板大小不變的話，其像素密度約為2567 ppi（作為對比，Vive的像素密度約為447 ppi）。至於有的朋友提出這樣高的像素密度能否實現，我覺得應該是沒什麼問題的，畢竟Sony早在2013年就造出了2098 ppi的OLED屏幕[3]。

如上圖。目前的主流VR頭顯的像素密度只達到了這一標準的1/6。我們在主流顯示設備的像素密度上翻的前一個6倍，花了二十多年（從DOS時代的320*200到目前主流的1920*1080）。

提高VR設備的像素密度，並不是單純地把高密度顯示面板造出來然後放進頭顯這麼簡單。從2k到4k、4k到8k，每次升級看上去都只是數字翻了一倍，然而像素數量卻是呈平方級上升的，4k是2k的4倍，8k是2k的16倍。視網膜VR級別的解析度，其像素數量是目前Vive的33倍。

為了滿足VR遊戲的需求，目前最頂級的PC的性能都可以被輕易榨乾。3D遊戲的性能是與解析度密切相關的，這意味著如果要提供相匹配視網膜VR的3D遊戲內容，計算機的性能也要相應地提升幾十倍。以摩爾定律計算，這個過程需要近10年。

視頻信號的傳輸也是一個大問題。上圖每個方塊右上角給出了在該解析度下以90 Hz的頻率發送未壓縮的每像素24 bit的視頻信號所需要的帶寬（不含音頻）。作為參考，目前最新的HDMI 2.0標準可以傳輸最大18 Gbps的帶寬——連視網膜VR所需求帶寬的1/10都達不到。為此，我們必須使用更先進的傳輸方式，例如光纖傳輸。尚在襁褓之中的無線傳輸則會面臨更大的挑戰（開個腦洞，近場激光傳輸？）。

很多朋友提到，由於人眼只能清晰地看到聚焦點周圍很小的範圍（2°）[4]，利用這一特性，我們可以通過降低周圍的解析度來降低對像素數量的需求，以及計算機和傳輸性能的要求。

上圖是人類左眼的解析度曲線（CC-BY-SA 3.0授權）。可見只有眼球中央凹（Fovea centralis）附近的區域有較高的解析度，周圍的解析度急轉直下，甚至不及中央十一。

要利用這一特性，我們需要在VR頭顯中植入眼球追蹤設備。它可以通過追蹤眼球中央凹的移動來獲知用戶的眼睛正看向哪個點，然後在這一點周圍使用全清晰度渲染，其他地方使用低清晰度渲染。目前眼球追蹤技術已經非常成熟，但相關產品都還是以頭顯插件的方式存在，比如我們這裡有一隻樣機，可以插入Vive頭顯使用；但由於設備太大，戴眼鏡的用戶就無法使用了；這個設備需要使用USB線連接，走線上也很繁冗。不過相信下一代的VR頭顯就會開始集成此類設備，也就不存在這些問題了。根據nVidia的說法，應用這一技術可以將渲染性能提高2到3倍[5][6]。

不過眼球跟蹤並不能實際降低對頭顯像素數量的需求。有的朋友在此基礎上設想了一種機構，使得顯示面板可以快速根據眼球的位置來移動，這樣就只需要極低的解析度了。我不能否認這種技術在未來出現的可能性，但人眼的轉動速度可以達到900°/s[7]，很難想像有何種設備既能夠提供足夠的扭矩來低延時地跟蹤這樣高速的移動，又能小到能放進頭顯里（開個腦洞，也許使用類似Olympus微單防抖系統那樣的磁懸浮面板？）。

換一種思路，由於目前的VR頭顯都是通過一塊（菲涅爾）透鏡來將矩形（接近正方形）的顯示面板矯正為符合人眼的視野，面板上的某些像素實際上是被浪費掉的。譬如面板上只有內接的近圓形區域里的內容才會被看到，四個角上的像素實際上是完全用不到的，所以根本不需要去渲染。再比如由於透鏡的特性，邊緣的可視像素密度比中心要低，因此也沒有必要使用全解析度渲染。nVidia的Multi-res Shading技術就利用了這一特性，使得渲染性能可以提高33%-50%[8]。

nVidia Multi-res Shading示意圖，邊緣的部分像素密度較低，因此以較低的精度渲染。

儘管這些技術看上去能有效地節約像素數量，但需要注意的是，因為生產難度和成本問題，實際情況下基本上不可能去生產像素密度不均勻的顯示面板。因此這些技術只能用於緩解對計算機性能的要求。

刷新率方面，儘管我們知道24 fps已經能提供連續的畫面、60 fps的遊戲對於絕大多數人來說已經足夠流暢；對於VR來說，為了提供足夠的沉浸感，這些刷新率都遠遠不夠。理論上人眼最大可以感知到1000 fps的畫面（維基百科說的，我也沒有查到引用來源）；對於未經訓練的人來說，150-240 fps的畫面已經顯得足夠真實[9]。因此Vive、Oculus的90 Hz，以及PSVR的120 Hz都還太低。而如果要達到理想的刷新率，VR對機器性能的需求和傳輸帶寬的壓力還會進一步提升一到兩倍。

[1]：Retina Display - Wikipedia
[2]：Why Retina Isn"t Enough [Feature] | Cult of Mac
[3]：Insanely high 2098PPI OLED display from Sony makes your 1080p smartphone weep at night
[4]：Fovea centralis - Wikipedia
[5]：https://research.nvidia.com/sites/default/files/publications/foveated-sig16-etech.pdf
[6]：NVIDIA Says New Foveated Rendering Technique is More Efficient, Virtually Unnoticeable
[7]：Saccade - Wikipedia
[8]：NVIDIA VRWorks?
[9]：Frame rate - Wikipedia

AMD曾經說是單眼8K的解析度能達到視網膜效果
（所以A卡N卡因為虛擬現實簡直笑翻了）

FPS90合格，合格也就意味著基本真實。

是這樣的，去年開始很多公司生產vr頭盔，有連接pc的，有插手機的，配置參數也確實參差不齊。但是為了更清晰的顯示效果，需要vr視頻或vr遊戲支持1080p或更高的解析度，關於vr頭盔內置鏡片，或是插手機的屏幕，解析度起碼要支持1080p，當然若有2K屏或4k屏會更好，但是價格肯定高了。

例舉幾個熱門的vr頭盔，也算是當前最貴最好的了， oculus rift cv1（連接Pc的）FOV視場角是110度，FPS：90Hz；採用三星OLED顯示屏,解析度：2160*1200 （單眼 1080 x 1200）。三星gear vr是要插入手機s6使用的，三星s6的解析度是2560×1440。例如一千多的樂視手機樂1pro的解析度也是2560×1440，支持熱門vr頭盔，靈鏡小白或pico1。

關於fps其實插手機的都不高，oculus聲稱是90hz，看一些評測文章里寫是75hz。
索尼出了vr頭盔，解析度為1080p的oled屏，接ps4遊戲機玩的，號稱達到120hz，其實也是60hz通過倍頻插幀技術，在每秒圖像中插入運動補償幀實現的。所以其它vr頭盔受成本影響，大多數是30-60幀之間，當然是越高越清晰和真實，只是很少有120hz以上設備。FPS」也可以理解為我們常說刷新率，（單位為Hz）」，是指畫面每秒傳輸幀數，通俗來講就是指動畫或視頻的畫面數。常見多媒體的數值如下電影24fps、電視（PAL）25fps、電視（NTSL）30fps，常見設備的液晶顯示器：60Hz，vr頭盔和主流液晶電視是60-120hz。

前兩天手機答，結論：

以單眼中心視力1.0、180fps刷新率為目標，則單位時間所需渲染的像素數不超過4K@60fps下的6倍，帶寬需求不超過DP1.4的3倍，HDMI2.0的5倍，HDMI2.1的2倍。

今天發現算大了一個數量級，簡直可恥……除此之外，在估計曲線數值上也有一定偏差。

對wiki上的視覺敏感度曲線Fovea centralis每隔5~10°採樣並換算到每度對應的最大解析度後，在120*120°範圍內單眼僅需1.1M動態有效像素即可達到常人難以察覺的精細程度。該單眼解析度分布方案示意如下：

@hillin 答案中也提到眼球轉動速度可達900°/s。假設180fps刷新也已實現，則在一幀畫面刷新過程中，最大轉角為900/180 = 5°。即：畫面還沒來得及刷新時，原先觀察5°位置的視網膜將觀察到10°位置，而該處的清晰度由60ppd下降一半到27ppd。

總結一下：
以上圖所示的單眼解析度分布方案，靜態時能達到1.0視力的分辨極限，眼球極快轉動時部分區域精度下降一半。
該條件下雙眼有效解析度僅與1080p相當，180fps下設備單位時間內需渲染的像素數是1080p@60fps的3倍，是2160p@60fps的75%。

這個結論令人驚訝，但實現這種方案需以下前提（假設）：
1. 毫秒級高精度眼球追蹤；
2. 顯示面板仍需做到單眼4k甚至8k以上的物理解析度；
3. 由2，有效解析度到物理解析度的轉換將由頭顯完成，運算壓力很大，但這種功能極固定的模塊做成ASIC並不會有太大開銷；
4. 這種同一圖像上解析度差異極大的渲染方式的計算量與有效像素數基本成比例。

其中4是一個極強的假設，若基本成立，則眼球追蹤頭顯設備出現後，當前主流PC、遊戲主機在圖形性能上都基本能滿足要求。若4與實際情況偏差很大，那就還是得等GPU慢慢擠牙膏了。

-------------------------20170201分割線----------------------

樓上 @hillin 的論據詳實，解析度部分的論述很有價值，但性能相關部分的結論有待討論。

由 @hillin 提供的視覺解析度曲線，偏離視野中心時視力急劇下降，簡單分個段：
中心2°內，1.0視力，對應每度60點，
2~10°，視力減半，每度30點，
10°以外，視力只剩1/10，每度6點。

按110*120°單眼動態視野，有效像素點為
4×4×60×60 + (20×20-4×4)×30×30 + (120×110-20×20)×6×6 = 57600+345600+460800 = 864000
即8M像素，與4K相當。雙眼16M像素。
（錯在這裡，86400是0.8M像素——720p對應的1M像素都比這個更多，上述計算中的數據來自對解析度曲線的估計，存在較大偏差。）

較之於@hillin 的80M像素，只有20%不到，節省性能開銷80%，遠大於n廠目前能做到的33~50%，或許還有不少優化空間。
而且上面只是分了三段，如果更激進地逼近曲線，恐怕單眼2M也能做到不錯的效果。

結合以上假設和VR的180fps幀率要求，性能需求是4K@60fps的6倍，而後者是當前甜點級顯卡在部分遊戲中的表現，換句話說，來四塊GP102，是可能達到上述要求的。

再看帶寬，極限解析度10bit色深下，需求是
16M×30×180 = 86 Gbps，是DP1.4的3倍，HDMI2.0的5倍，HDMI2.1的2倍。

綜上，如果高解析度且具有眼球追蹤功能的VR設備就緒，那麼從當前主流硬體和介面看，需一到兩個世代的發展就能滿足無可挑剔的VR體驗所需的基本性能。

而如果適當降低標準，比如只考慮矯正視力0.8，90fps就能打發的我這種廢柴，那麼當前的旗艦設備配合最新的介面規範即能滿足要求。

看來把信號直接傳進進大腦才是正道。

因為分開的，會在原有解析度減一半

之前不滿意三星S7的2K效果。剛剛買的索尼xzp手機，4K解析度。用頭盔看了下，還是不行，一度懷疑我買到假貨。

可能文不對題但是有點感想。
目前依靠刷新率和晶格像素解析度來滿足人眼的想法，
我覺得就好比是非要用模擬信號來挑戰數字信號一樣
這玩意是條死路
最起碼是條被固有思想局限住的解決方法
彷彿覺得有羽毛才能飛而去按這個樣子製造飛行器的古人

暈3D怎麼解決呢

頭戴VR需要手機屏幕至少500ppi，才能不至於看到滿屏的像素點。所以5寸的手機，基本要4K解析度。

vr解析度和設備的ppi沒啥關係，主要還是受制於片源的解析度。例如：頭戴式vr盒子，看手機上的靜態vr全景風景照片，清晰度完全夠了，看3d視頻，清晰度也是很好的，但是動態的vr視頻，解析度卻一塌糊塗