VR視頻的全景與3D一定是衝突的嗎？

01-13

這個全景指的是可以隨頭部轉動改變觀察方向，但是不一定是360度全景。3D簡單說就是立體感。
即時渲染3D圖像想要實現VR與3D的結合很簡單，因為一切都是即時生成的。而全景視頻在觀察者頭部角度變化後透視也會改變。
同時記錄兩眼的圖像，然後通過特定的演算法，能還原3D的立體視差嗎？如果有的話為什麼現在市面上看不到？

上面的回答基本上都沒有答到點子上。我直接給出結論吧：不衝突，現在已經可以實現。而且如果不考慮演算法的複雜程度的話，使用上還很簡單，甚至用來拍視頻都行。

典型的例子就是google在2015年推出的cardboard camera應用，你只需要拿著手機以自身為圓心轉一圈就能獲得身邊的全景+雙目立體圖像。

上面這幅圖是google自帶的示例圖片，仔細看柱子對沙灘的遮擋，雙目內容是存在視差的。

原理看上去也很簡單。當我們在轉動手機的時候，同一個物體，當它出現在屏幕左邊和屏幕右邊的時候，它所發出的光線以不同方向進入鏡頭，就形成了雙目視差。因此在採集和拼接的過程中，需要對屏幕的左半邊和右半邊圖像分別進行處理。

但是我要拍視頻我總不能轉一圈拍一幀吧？那麼就多花點兒錢唄，用相機陣列好了，這就是高端玩法google jump。

基於類似的原理，CVPR2016上的一篇文章https://www.researchgate.net/publication/305084084_Panoramic_Stereo_Videos_With_a_Single_Camera 以一種巧妙的方式通過一個普通鏡頭+非球面反射面+雙向反射陣列實現了單鏡頭單次拍攝即可獲得3D全景圖，甚至可用移動設備直接拍攝全景3D視頻（當然，與google jump一樣，直接輸出圖像也是不行的，需要後期的演算法拼接，但是加工成本相當親民啊）。

這個反射面就像一朵小菊花——

這是它的光路圖——

使用方法就像這樣——

沒錯左圖下面墊著的是個手機。

然後就能得到像這樣的帶雙目視差的全景圖像（視差用不同顏色區分）——

很巧妙的設計不是嗎？

最近看到一個逆天的視頻，大法做的技術演示《Joshua Bell VR》

不僅是360度全景+3D，而且還允許在場景中自由走動，隨著視角的變化透視關係也會相應變化。實際上就是全息影像。

估計在這個視頻中，所有物體的信息都是獨立記錄的，按照玩家的視角重新編排空間關係，場景內的影子和反光都是獨立的貼圖。
但是單個物體本身的透視變化是如何記錄的就不太清楚了。

Sony#x27;s #x27;Joshua Bell VR Experience#x27; on PSVR is Among the Best VR Video You#x27;ll Find on Any Headset – Road to VR

題主的意思我可以理解，對於預錄製視頻來說，我能想到的完美的解決辦法就是把雙鏡頭攝像機模擬雙眼在每一幀把所有角度都拍一遍，不過想想這個數據量就大得驚人啊，根本不現實啊（把你自己的雙眼想像成攝像機，眨一下眼拍攝一次，然後頭稍微轉一點，再眨眼，就這麼轉一圈，這才一幀）。

現在行業的解決方案就是搞個像雞皮疙瘩一樣的全景攝像機，通過有限的多個鏡頭逐幀記錄360度的畫面，而兩個連接畫面之間的過渡用演算法實現，所以多少肯定是有畸變的。鏡頭越多，效果就會越好，但容量也就越大。現在4K的全景視頻容量勉強還能接受，但可視範圍解析度已經很低了，以後8K,16K甚至32K全景視頻時，這容量我都不敢想了。

貌似VR視頻還是即時演算更實際。反正現實捕捉技術進步很快，以後的真實環境視頻在拍攝時估計也可以全部轉為3D模型後保存。播放時就是個即時演算的CG畫面。

純視頻是做不到的，當然有兩種其他可能一種是視頻帶了深度信息把整個全景視頻置換起來，就可以實現立體效果

另外一種就是本身場景就是三維做實時渲染

octane這方面的技術探索我覺得是走的通的當然得電腦性能有大幅提升

六目拍攝啥的你隨便想想就知道不可能有好的效果

忘了還有一種立體法子也是最實用的多層捲軸類似galgame那樣把前景人物扣出來在引擎播放就能有視差了這是暫時唯一可行的做法

你說的是不是Video Skybox

蟹不邀

二者之間還是沒有太大的衝突，一個是裸眼一個需要藉助VR眼睛，觀看的樣式大大不同，當然體驗也有非常大的差異，不過製作的VR內容可以製作成3D內容，但是3D內容想要轉化成VR還是有比較大的難度。

其實在VR還是3D領域可以快速變現的還是B端的產品，當然最終都是要在C端進行廣泛使用與普及。

謝不邀！

兩者當然不一樣，先別從技術上，從感覺上來看，可以這麼理解，3D是講視頻的「厚度」，突出裡面人物的距離感、不同位置的光線不一樣，讓你置身其中，但你的視野智能放在一部分角度的內容上。而VR視頻則是著重寬度，不但可以看到你前面的內容，轉一下身體，還可以看到你上下左右，以及後面的內容，你方法置身其中。儘管3D也有置身其中的感覺，但他的頭最好不要動，一動就露餡了。所以從分類上，我更願意把這當成是厚度和寬度的區別。

儘管這樣，也不是太準確。但基本可以了解整個輪廓是怎樣的。所以談直接的衝突，我個人認為不存在衝突，只能說是兩種表達方式。在不同的階段，可能使用的量不一樣。在目前而言，肯定是3D比較多，別的不說，電影已經很流行3D，但全景的電影，還是少之又少。

當然，VR視頻，未來也有可能覆蓋3D，也就是說，現在VR視頻已經接近了寬度的問題了，但厚度，就是體驗上，在虛擬的世界裡，也有距離的視覺效果，這個通過空間定位技術，已經可以在虛擬的世界裡走動。相對於3D而言，全景視頻則完全把自己放到哪個世界中。從這個角度，VR是可以囊括3D的。彷彿又有點衝突了。

所以具體還是看使用場景和成本。一把鐵的斧頭和一把金的斧頭，肯定都能砍柴，但每一種都有自己特長的一面，現在兩個都是各有各的用物之地。但長遠看，我個人更看好VR，VR可以說是3D的終極版本。

簡單來說，是衝突的。

基於圖像的全景圖，或者說Panorama，生成時其實是建立在攝像機位置不變的數學假設之上的，換而言之以現在的演算法來說，如果攝像機的位置改變（左眼到右眼），只會讓生成的全景圖產生畸變，而無法產生3D效果——因為這演算法本身就是沒法弄出3D效果的。

當然這裡還有另一個方法，就是通過雙目攝像機直接從每一幀重建3D模型並配合相機運動的追蹤演算法進行坐標轉換，這個重建出來的東西是肯定能夠有3D效果的，畢竟模型都出來了。

但是，出於雙目相機的基線長度限制，能夠重建的範圍相當有限，就算通過廣角相機加大FOV，通常也只有人眼前的幾米範圍內能夠有足夠的精度。換而言之，你看不到一般全景圖中的遠景，甚至中景都不一定能夠很好的復原。

大概就是這麼回事了。

這個話題我理解都有點繞，看題主的意思，是VR視頻不能有3d，是這個意思嗎？如果是，那麼我想我可以專業的回答一下。

首先，我們來明確一個概念，什麼是3d視頻。再往上追溯，人眼為什麼觀察這個世界能有3d效果？答案是：人有兩眼，兩眼看到的畫面是不一樣的，兩個畫面的不一致，才可能根據雙眼的距離（瞳距，簡稱IPD），處理兩幅畫面，然後感受到3d效果。也就是說，如果是單眼，那一定不會有3d效果。

那麼，傳統的3d視頻，裸眼3d之類的，都是怎麼做的呢？最常見的是紅綠過濾。也就是說，屏幕上的畫面，其實是兩幅視頻，只不過左眼的眼睛過濾掉了右眼的視頻，而右眼的眼睛過濾掉了左眼的視頻。

VR視頻能不能有3d？肯定可以有。現在常見的是上下格式，左右格式，都是帶3d的。渲染原理大概是（以左右格式為例）：

畫一個球，把視頻圖片貼上去，UV不能是0，0到1，1之間，而是0，0到0.5，1，用這個球來渲染左眼看到的圖片。再畫一個球，把視頻貼圖貼上去，uv是0.5， 0到1， 1之間，渲染右眼貼圖。

這樣能得到非常真實的3d全景效果。

只有單圖的話，只能做偽3d效果。過程大概是：渲染一個球，貼圖。左眼坐標在球心做一個偏移，左眼鏡頭坐標為（-0.032， 0， 0），右眼坐標是（0.032， 0， 0）.0.032是因為人眼的瞳距大概是60 - 68mm之間，取的中間值64. 這種偽3d，效果達不到真3d。

那麼，全景3d視頻怎麼來？其實很麻煩，3d場景渲染的視頻製作我搞過，這個簡單一些。在場景中渲染全景圖的時候，做兩個鏡頭，偏移跟IPD是一樣的，渲染兩個全景圖，然後拼成單張圖片即可。這個說起來輕描淡寫，其實無數坑，不鋪開來講了。拍攝的話，我能想到的理論製作方法，也是多鏡頭拼接。左眼圖片右眼圖片分別拍攝。這個拼接目前效果比較糟糕，需要大量的人力物力後期調。目前有公司做自動轉換的，大概演算法是DL那套，用DL做大量的訓練，識別出圖片中的深度，摳出來，根據這個計算另外一個眼睛，算出另外的圖片。客觀來講，這個效果大概能到60分到80分之間。真正能到大規模應用的話，我估計還需要時間。

這個不是技術科普貼，有需要了解更深入原理的，可私聊。這裡長篇大論一大堆專業術語的話，估計也是一大把人看不懂。

如果只是要3D + 360°視頻的話，已經有了啊：VR Videos。

如果說想要在視頻場景中自由移動的話，好像還沒有已經正式發布的。

微軟在做的一個叫FlashBack的技術可以做到不進行任何實時渲染就能實現VR視頻，本意是讓低性能設備也能體驗VR。正好也符合要求。

其實原理很簡單，基本就是目前的3D 360°視頻的終極強化版：預先渲染好每一個時間點上每一個位置向每一個方向看到的圖像，存儲下來，然後播放時進行索引，就可以做到真VR了…可以在視頻播放過程中在整個場景中隨意行走並向任意方向觀看。

不過這個應該做不到給實拍視頻使用，除非有外星科技…

不請自來

很多人把360度全景視頻和VR視頻等同起來，這其實是一個概念上的誤解。

全景視頻很好理解，就是有別於傳統視頻單一的觀看視角，讓人們可以360度自由觀看。而VR視頻在此基礎上，還允許人們在視頻里自由移動觀看（提供場景中任意位置的360度自由視角）。

全景視頻可以是3D的也可以不是，可以通過屏幕觀看，也可以帶上眼鏡觀看。而VR視頻必須帶上頭顯觀看，且必須是3D的。

全景視頻是線性播放的，也就是按照時間軸來進行回放的。而VR視頻可以允許用戶在同一時間，站在不同的位置觀看（有點類似科幻電影里時間暫停了，然後觀察者在定格的時間和空間里任意移動，觀看周圍的人物和景物）。

全景視頻和VR視頻有什麼相似之處？

1.都可以是3D的（全景視頻也有2D版）；

2.都能360度上下、左右旋轉觀看；

3.具有視覺沉浸感。

那有什麼不同呢？

最大區別就是VR視頻允許觀看者在場景里自由走動觀察，但全景視頻不行，拍攝機位在哪兒，觀看者就必須在哪兒，頂多只能原地360度觀看。

如果是一部VR電影，那麼傳統的「鏡頭運動、場景切換、Zoom In or Zoom Out」可能都將被取代，由觀眾來決定鏡頭位置。你可以把VR視頻看成是「3D全景視頻+自由移動」。

所以，現在大家所看到的基本都是「偽VR視頻」，各大視頻網站上標稱的VR視頻也基本都是360度全景視頻。而打著「VR相機」口號行銷的其實大部分都是360度全景相機。那麼，我們不禁要問，真正的VR視頻是什麼樣呢？

真正的VR視頻目前只能通過CG實現

如何才能拍攝出真正的VR視頻呢？很遺憾，以現在的技術手段和設備能力還很難實現。所以到目前為止，我們還沒有看到過一部真正意義上的VR視頻是被實際拍攝出來的。因為一台攝像機只能捕捉一個位置的光線，而要實現場景里的自由移動，需要捕捉場景里任意位置的光線，顯然我們無法在場景里安置那麼多攝像機，這是矛盾的。

那未來有沒有可能呢？答案是肯定的。要拍攝真正意義上的VR視頻，我們需要光場攝像機。

什麼是光場攝像機？這絕對是一個黑科技，很難用幾句話表述清楚。大概意思就是通過矩陣式攝像頭（非常非常多的微型攝像頭），捕捉和記錄周圍不同角度射入的光線信號，再利用計算機後期合成出任意位置的圖像。

用引擎渲染成視頻可以的，上下格式，轉頭和景深都可以實現，上半畫面給左眼，下半畫面給右眼，h264 vp8編碼最高支持4k 30fps,h265和VP9編碼可以60fps。

只是計算量比較大，每一幀的渲染需要渲染上千個切片，每個切片都是假定人眼望向某個方向，鼻樑梁正中有景深的那一部分，它們共同構成和分別記錄在左眼和右眼畫面的相同切片位置，所以這些切片構成了「無論你看哪裡，都有景深」的視頻。

Google jump相機由於相機數量有限，切片數量少，所以拼縫就明顯，因為拼縫方向缺了一次切片採樣，而遊戲引擎渲染則可以非常高的採樣，密集的切片，所以拼縫不可見，可以在YouTube參考視頻：

https://youtu.be/1RKOb33tpD4

強氧已經有了，

今年北京廣電設備展上看到過

結構類似以前的三目式VR，把每一目用相隔開的一組3d鏡頭代替，變成了六目結構

不過體驗不是很好，

3d的模糊+全景的畸變

技術還有待發展

如果是真實世界的畫面，拍攝的時候就要記錄景深信息(或者用兩個攝像頭)，但是全景攝像機一般是多個相機組成陣列從而可以同時記錄360°的畫面，所以相機之間不能有視差。這樣就和雙攝像頭拍3D畫面有矛盾了。現在還沒有比較好的硬體解決方案吧。

不矛盾、google JUMP/fb Surround360/fb x24-x6都可以用一組攝像機來拼接生成一個單目360全景球、然後模擬計算出左右眼來生成雙目360球、這種攝像機陣列比較貴

adobe可以用一個廉價的單目360攝像機通過在場內走動、再通過SFM來生成點雲、最後生成雙目360球、即6DoF; intel的freeD則是通過在橄欖球場外預先排列一圈攝像機、來生成場內比賽的點雲; adobe和intel的方案類似、都是通過SFM來生成點雲、再用點雲生成雙目360球

這裡應該是要分成三個概念來講：1、VR視頻；2、全景視頻；3、3D視頻可以有一定的交叉

現在全景視頻也可以做成3D的效果出來，只是3D（景深）效果更加明顯而已，實現的技術可以有左右眼視差和紅藍偏振等，也只是一種視頻的顯示技術應用到全景視頻中。

VR視頻不等於3D全景視頻，可以說VR視頻應該是3D全景視頻的進階版，VR視頻體現的是一個空間的概念，肯定是包含3D的效果，因為是在一個空間中任意移動，具有場景交互等事件。

3D全景視頻可以是現在VR視頻的過度中間產物，全景視頻只是在一個固定的點看到周圍360度的東西而已，在我看來跟全景圖片沒有什麼本質上的差別。

以上是個人對這幾個產品的愚見，有什麼問題可以交流交流，現在也在學習製作3D全景視頻。

VR視頻的全景本質上還是2D的沒有深度信息，現在3D全景已經可以實現全景+三維信息一體化。

可以感受一下：載入模型中...

結論是，有衝突。

起碼目前基於VR攝像機拍攝的全景視頻是無法達到全視角無畸變的3D效果。

簡單的理解就是你只能看到相機拍攝角度的有限無畸變，相機拍攝不到的角度怎麼做後期也無濟於事。

要想達到亂真的臨在感就需要3D掃描重建技術了，但是數據量和精度目前來看還滿足不了需求。

所以說要想體驗真實視覺無畸變的3DVR視頻現階段是不行的。

沒有雙目立體的全景視頻就只是全景視頻。和vr沒有半毛錢關係。

是的，單指視頻格式的話：

1.上下兩個極點的3D視覺(現在一般辦法是靠近上下極點時3D過渡向無限遠也就是2D)

2.歪頭觀看

3.人頭轉動時眼球其實是有位移的

這三個情況暫時都沒看到有辦法解決辦法。

全景視頻從業者，如有新方法可以解決還請指正。

不過題主也不要灰心，畢竟人體不是架測量儀器，上面三個情況不挑刺的情況下效果還是能滿足觀影體驗的。