很多視頻雲平台要做VR直播，那是直接將多路內容直接上傳到雲端進行拼接嗎？

01-15

從技術上看，一個完整的VR直播解決方案一般含有以下幾個板塊：

採集端設備，上傳網路，直播後台，分發網路，以及播放端。這些板塊可以說是環環相扣，

下圖是當初公司決定要做VR時，我一個月內吧國內做VR還叫得上號的廠商走了個遍。之後形成的一個框架概念。歡迎大家共同交流。

環節一：採集端。

設備：

現在市面上的VR設備從幾百到幾千價位不等，質量也是層次不齊。VR攝像頭本身製造的技術含量並不高，很多家就是拿了幾個魚眼攝像頭組成了VR設備。或者是直接將幾個Gopro拼在一起，這種類型的我們俗稱「狗籠」。

處理：

1、但是在攝像頭端完成的不止是採集內容這一步而已。設備裡面一般會配套搭載的軟體和演算法才是重中之重（也有的是直接連在控制台上完成的，那些一般就會需要人工參與，相對的，拼接等質量也會比較好）。在VR直播中，所有的拼接都是直接即刻完成的，例如縫合、映射、美顏、編碼、特效（白平衡，曝光等）。而在設備內部的縫合合成、映射的演算法，目前絕大多數家用的也是開源的演算法，只有極少數的團隊能做到自研。像facebook就將他的transform方案開源了部分代碼。

2.還有一個限制VR直播的問題在於碼流。因為VR視頻內容在映射後，肉眼可視的解析度會下降很多。所以對原始視頻的畫質要求就比較高，一般都要求在4K，甚至有些家能達到8K。4K解析度下，碼流接近20M。假如此處H.265能夠在採集端得到大範圍的推廣，可以大幅降低此處的帶寬壓力。但是H.265受限於專利費，目前看來大幅應用於採集端還有很長的路要走。

環節二：雲端

CDN：CDN加速。

目前國內傳統的 CDN廠商，網宿、藍汛，以及一些較大的雲廠商：金山、阿里、騰訊（也有在自建CDN）都是大家可以選擇的平台。其實後面的價格雲廠商他們的CDN節點也並不是完全自建，一般是自建+傳統廠商。接觸VR早期的時候我還陷入過誤區，以為VR直播內容是放在雲端進行拼接合成。但的確就帶寬層面，以及在雲端進行同步也基本是不可能的（目前一般都是在設備上直接硬同步）。一般廠商是在採集端完成了拼接映射後將VR內容，成一個球形一起傳到雲端。CDN處咱們可喜可賀的是，目前的廠商對上行都是不收費的。不然此處又是一筆天價的費用。

處理：雲端的轉碼、存儲和分發都是直接可以適用VR的。具體技術其實和一般的視頻並無區別。比較大的亮點，就是各家H.265的技術。例如金山的H.265，在H.265生態鏈打通後，H.265和VR結合能夠成為一個很大的優勢點。畢竟在確保畫質更優情況下，帶寬的節省可是實打實的。

環節三：播放端

播放端和採集端對應的是還有一個逆映射的過程。通用的方案一般是Equiretangular，也有採用facebook transform的方案的。有了解到現在商用的VR播放器大多都是在unity引擎基礎上做的。整體的開發技術難度也比較低。從這樣看來，樓主的問題就很簡單了。VR直播的內容都是在採集端完成拼接合成再上傳到雲端。不管後期如何發展，將多路內容上傳到雲端進行合成我個人覺得還是不可能的。尤其是在直播中。

請注意，現在沒有VR直播，只有全景直播。雖然目前來看業界普遍認為全景包括在VR內，但從定義上來看，兩者不能混為一談。

現在一般都是在本地直接拼接了。

16/12/29

從行業內的趨勢來看，現在一般方案都是多路 + pc軟體拼接。

機內拼接的有，但是現在還不主流，而且效果很一般。

___________________________________

拼接在攝像頭內部就完成了。

你可以用一下insta360或者gear360這些設備。

對於伺服器來說，vr直播的視頻部分和普通的直播除了帶寬需求以外沒有任何區別。

VR直播的核心是交互，沒有好的交互VR直播的應用面就註定很小。

VR直播的過程，上面已經有知友講的很清楚了。所以拼接並不在雲端進行。圖像採集完之後通過HDMI傳輸到工作站，在工作站內將採集來的多個畫面進行拼接。VR直播的難點有很多，不僅僅在於拼接，還有傳輸，內容。要做好VR直播，這些問題都需要一一攻克。

首先，VR直播的傳輸是個較常見的問題，對於傳統視頻來說，即使是現在的4K超清的畫面，多數情況下都能順暢的傳輸。大家都知道VR是全景的，這就出現了一個很大的問題，最普通的VR設備其採集畫面也相當於傳統設備的4倍，也就是說在工作站拼接完，帶寬起碼要擴展到現有的4倍才能實現流暢播放，這對直播來說是相當大的挑戰，在同等帶寬的情況下要傳輸4倍量的畫面儼然是VR直播的一大瓶頸。

於是，八面體演算法應運而生，這個獨特演算法帶來的最大好處就是，在入戶帶寬無法控制的情況下，大部分用戶無需放棄清晰度的同時可以節省流量，並且能流暢的觀看更為清晰的VR直播，這就好比一個狹窄的通道硬要擠進一個胖子，胖子的移動速度勢必會變慢，那在不改變環境的基礎上，讓胖子提高顏值成功瘦身，迅速通行就是最終的目標。

任何一項變革到來之前，都需要不斷的優化。在前不久的「王菲演唱會」以及近期的電競VR直播中，就曾嘗試內嵌2D畫面，通過近距離機位拍攝，讓觀眾能夠通過VR設備觀看4K解析度畫面和操作全景視頻。

另外，交互也將是未來VR直播的另一大優化方向，在今年即將製作的幾大體育賽事中，我們將首次嘗試虛擬互動直播系統，這也是觀看方式的一大突破。

以前看視頻只能被動接受視角，不過，這次的變革將把鏡頭切換的主動權交到用戶手上，真正實現了「想看哪裡點哪裡」的互動體驗。

VR直播從業者來答！

服務端拼接我們嘗試過。

唯一的優點是支持更多的設備。

但是缺點卻非常多，架構複雜（多了一層拼接服務）導致直播延遲高。而且每個新設備都需要不斷的調整拼接參數到最優值非常麻煩。

現在的全景拍攝設備都是自帶拼接了，我們早已放棄了服務端拼接的方案。

手機碼字，歡迎有興趣的朋友私信交流。

利益相關：目睹VR直播

我們實現了整套高清VR直播方案，自研HTML5播放器支持jpg，mp4，m3u8，hls的播放。

現在很多家都在推VR雲的概念，但其實VR雲端的內容和普通的視頻傳輸並沒有很大的差別。

金字塔VR是國內唯一一家提供4K VR高清直播服務的公司，我們專有的低帶寬高清技術，可以保證觀眾在普通wifi或4G網路條件下，就可以流暢、低延遲的觀看4K VR高清直播。

我們直播對帶寬的需求比傳統技術低70%-80%。

普通視頻直播會考慮不壓縮直接上傳到服務端嗎？不懂為什麼有這個疑問，單從計算量的分配上也不能這麼分配吧，浪費終端性能。

之前看到暴風有提供VR的SDK，直接調用他們的SDK就能調取全景VR內容。

這樣理解的話應該是在雲端暴風來完成拼接的吧

應該是在本地完成的

大家怎麼看這次王菲演唱會的VR直播？據說最多有9萬人同時在線用VR看直播!

目前是在本地處理的，我理解有兩個主要原因，1多鏡頭拍攝視頻合成效率並沒有太高，所以你發現硬體集成合成功能的小型一體設備沒有，因為需要很強大的顯卡硬體加速2網路帶寬是更主要原因，未合成前的數據量會非常大

VR直播中，將內容傳到雲端進行拼接根本不現實。一般直播現場的網路也無法支撐這麼大文件的上傳。 VR的特殊性也讓他不能夠通過犧牲畫質來完成傳輸

同樣還有一個問題，要將VR內容通過多個流上傳到雲端，還需要將內容進行同步處理。目前的VR場景下，都是直接在硬體內完成同步的。比起在雲端處理，省事的同時，也避免的很多意外狀況導致的問題

VR對視頻清晰度要求很高，清晰度不高的情況下會看吐的。假如要講多路傳到雲端，那對帶寬壓力太大。應該是吃不消的