如何評價 Facebook 推出的虛擬現實設備 「Surround 360」？

Facebook unveils 「Surround 360」 open source VR camera

這個設備在應用上和技術上，都有哪些突破？作為VR視頻拍攝的解決方案，還有哪些地方需要改進？

---

這三天讀了Surround 360在全景圖像拼接方面的源代碼.

首先給兩個網頁, Facebook已經給出了Surround 360所涉及的技術的主要介紹

https://code.facebook.com/posts/1755691291326688/introducing-facebook-surround-360-an-open-high-quality-3d-360-video-capture-system/

https://code.facebook.com/posts/265413023819735/surround-360-is-now-open-source/

主要有幾個收穫:

第一, 能用硬體來做的盡量用硬體來做, 比如相機的同步問題, 以及相機選用了全局快門, 而非滾動快門, 有效地避免了拼接結果當中出現果凍效應, 從而讓演算法研發部門避免陷入不斷調試卻始終無法得到有效方案的坑.

第二, 跟OpenCV使用的基於傳統的論文Automatic Panoramic Image Stitching using Invariant Features或者Construction of Panoramic Image Mosaics with Global and Local Alignment所提出的框架相比, Surround 360使用的拼接方案簡潔明快:

* 邊上14個針孔攝像機進行rectify, 然後計算光流, 拼接成Left Eye Panorama(全景)和Right Eye Panorama, (左右全景圖像均用到了14個相機的圖像, 而非左邊用7個, 右邊用7個.)

* 下面2個魚眼融合成1個, 抹掉三角架的位置的圖像

* 上下2個魚眼圖像分別跟中間的Panorama計算光流, 進行融合

* 得到結果

總的來說, OpenCV採用的是feature based(算H矩陣)的方案, Surround 360採用的是feature(用來做rectify) based + direct(用來做光流) based的方案.

第三, 在檢測feature的時候，AKAZE, ORB, BRISK三個特徵檢測一起上。值得借鑒。

第四，rectify的時候不用外參，直接使用最小二乘法優化，求使得對應特徵點對齊的最好的校正。

第五，做disparity的時候不用stereo matching，而是使用optical flow。

---

看相機排列應該和JUMP用的是類似的計算機圖形學拼接方式

用的point grey的工業相機，所以有全局快門而且應該可以比較輕易做到近乎完美的同步，原片素質比gopro會好不少

開源自然是沒壞處了≡ω≡～

總的來說跟1年前的jump相比看起來沒任何技術上的優越之處。畫質的提高主要來自於用了貴3倍的相機。

---

如果360度視角真的那麼有用，那麼人類的頭早就進化成了馬頭的形狀

---

Surround360 中間一圈14個攝像頭不但是360度成像, 而且是360度 VR 3D成像, 也就是說7個攝像頭一組實現360度, 而與另外7個攝像頭形成角度和位置差, 產生VR 3D效果. 下面的2個魚眼攝像頭也是一樣,實現VR成像. 而頂部的1個魚眼沒有VR 3D效果, 因為場景是天空的話景物太遠, 用2個鏡頭也基本上沒有3D 效果. 所以不需要2個.

Surround360 是真正的360度VR 3D全景相機. 而且由於是7個70度無畸變鏡頭環繞360度, 所以正常直視視角理論上會降低畸變感.

360度相機鏡頭越多, 就會存在一個問題. 不同的鏡頭由於位置差異, 導致單鏡頭拍攝的畫面明暗度會不同, 比如逆光和順光拍攝的畫面曝光時間一定是不同的.此時拍攝視頻會影響圖像合成. 需要更聰明的演算法做畫面處理.

---

Download Limit Exceededciteseerx.ist.psu.edu

https://cdn.iiit.ac.in/cdn/cvit.iiit.ac.in/images/ConferencePapers/2016/Aggarwal_Panoramic_Stereo_Videos_CVPR_2016_paper.pdfcdn.iiit.ac.in

---

推薦閱讀：