在VR時代,我們談論的全景聲到底是個什麼鬼?

大家都知道,隨著VR時代的到來,聲音也備受關注,什麼樣的聲音才能匹配得上VR這種視覺呢?傳說中的全景聲,到底是個什麼鬼?


本質上就是多聲道環繞聲。

類似於全景聲的概念在遊戲中很早就出現了,因為遊戲需要即時生成環繞聲。VR遊戲中玩家的姿態變化更複雜,所以計算量可能大一些,索尼單獨給PSVR配了一台主機處理音響。

由於家庭影院的音響不是對稱的,所以能實現即時環繞聲的就只有耳機了。耳機的方向性還是差了些,最好是人頭錄音那樣的效果。

之前我問過這個問題,據說已經有模型可以即時生成人頭錄音效果了,但是成本很高沒有實用性。


謝邀!

在沒有VR之前,我們談論全景聲,往往是電影院里的杜比全景聲,那是一套嵌入到電影院的系統,使得前來看電影的童鞋可以感受到更好的聲音體驗。當然,在此之前,還有所謂的立體聲,3D聲,等等,都是在原來單一的聲音基礎上,逐漸配合著體驗做出的高級體驗效果。

而到了VR時代,全景視頻的炫酷體驗,促進了真正的全景聲發展,所以到了這個時候,我們談論全景聲,往往是一種你處在聲音的世界裡,能有一種現實體驗感覺的聲音,所以,也有人認為,全景聲是虛擬現實音。

儘管這個說法有點片面,但從側面反映出全景聲的特點:高度模擬現實環境的聽覺體驗,使得即使你處在虛擬的VR世界中,你發現那聲音是那麼的真實。比如你坐在長江邊,面對著遼闊的江面,你閉上眼,能聽到風從遠處吹來運動著的聲音,不同時刻聲音不一樣,你甚至能判斷大概的距離。與此同時,因為你面對的是一個豐富的世界,所以聲音不只是風的聲音,還有水的聲音,波浪拍打著江面的聲音,遠處漁船的聲音,背後行人嘈雜的聲音等等等等。

如果拋開畫面,這個世界只有聲音,那麼全景聲就是盲人的虛擬現實。作為這兩年大火的VR重要構成部分,全景聲是排在720°視覺和空間移動技術後的重要元素,後面還跟著嗅覺、觸覺等等。因此,我們在談論VR時代的全景聲,其實是在談論與VR內容畫面匹配的一種聲音。

前面講過,這種聲音是豐富的,傳統的視頻畫面聲音不一樣。傳統的視頻畫面就主角聲音+背景聲音。兩個元素,非常簡單,根據劇情添加即可。但是全景聲,卻非常複雜,一般是通過在拍攝的時候進行錄製,否則後期添加非常麻煩。

打個比方,牛頓那天在蘋果樹下思考的故事,如果拍成VR視頻。從聲音的角度,雖然我們認為蘋果從書上掉下來,和牛頓發出為什麼蘋果從天上掉下來的聲音是主角音。因為畫面的焦點的確是在這兩個上面。但是,一個VR視頻,一千個人眼裡有一千個哈姆萊特。有些人看這個視頻的時候,他的注意點不一定放在牛頓身上,可能注意在這塊草坪上,他壓根就不想聽牛頓在扯淡,而是像聽草地的蛐蛐聲、風吹以及鳥叫聲。這個完全是看他本人的視角轉到哪裡。

這個時候,我們就發現,全景聲的作用了。它就是把你拉到一個真實的虛擬世界裡,你在這個世界可以感受到任何一種聲音的運動軌跡。還可以選擇去聽任何一種聲音,因為,你處在一個豐富的聲音系統裡面,這個系統是模擬現實的,所以該有的聲音,都會有,而且你處在不同的位置,聲音也不一樣。

那麼問題來了,這個全景聲聽起來很牛逼,但是有什麼用呢?前面說過,跟VR配合,這是最基本的用法,不能說我們談論VR,就用現在的聲音來配,有點虎頭蛇尾了。只有用全景聲來配全景視頻,VR才能算得上真正的虛擬現實。

當然,除了VR之外,全景聲的使用範圍還蠻廣的,比如音樂,我們聽膩了現在這種聲音,有一天我們去聽一首天籟,閉著眼睛,你的心可能走進一個大自然的世界,而大自然的聲音是豐富多彩的。因此這個時候你也可以體驗全景聲的音樂,這樣的體驗才是極致的。

最後說說關於全景聲製作,目前國內外已經在關注該領域,也有不少公司在研發。我們也做了好幾年了,現在也推出了幾款全景聲錄製產品,考慮到目前是比較少人做,如果對這塊感興趣的,歡迎私信交流或者來我司體驗。

個人是一個音樂發燒友,同時也很喜歡VR,所以一直在探索,通過各種設備來捕捉能夠匹配VR的全景聲,如說得不對,還望大家指正。


對於耳機,主要是這些問題:

  • 聲像位置。立體聽覺不光是調節左右聲道的音量,更關鍵的是用濾波器模仿出頭部、耳朵對聲音的遮擋,還有左右相位差。否則不能模擬出前後、上下的區別。實際上如果光調音量,左右的感覺也是非常「假」的。
  • 聲音與場景的相互作用,主要是遮擋、混響、共鳴。這個比較困難,因為相當於要做類似於光線追蹤的事情:雖然投線的密度不用像圖形渲染那樣高,但是投線的方向增加到了接近於整個球向,而不是像圖形渲染那樣僅限於視錐,計算量還是挺大。


小透明首答: 看了問題暫且理解為,像影院一樣的杜比Atmos吧。Atmos是一種音響系統,並不單單指幾個音響,在高端影院里認證的杜比7.1 是整個房間的所有音響以及調配系統,可以模擬環境音效,比如海浪 ,或者戰爭場面里的一切聲音,因為整個房間里的聲音都是由這個系統分配的所以每一個音響都是獨立發生的,所以理論上耳機是無法完成這麼龐大的音域滴,耳機音域太窄了,但是你如果有錢也可以自己造一個全景聲房間,模擬遊戲里的一切環境也不是不可以,

題外話:相比VR全景聲小透明我更期待裸眼全息技術配合全景聲,得酸爽到不敢相信哈,


全景聲真正作為商業運用是在影院中,主要的推廣者為杜比公司,英文名為atmos,術語應該叫做基於對象的聲音圖床處理方式。

其原理是在5.1或7.1的基礎上,將運動物體作為一種錄音對象,單獨錄製其運動軌跡,以達到更加身臨其境的感覺。

VR如今都是可便攜設備,主要利用顱中效應,屬於心理聽覺,技術上和腦中錄音類似,基本不值得一提


全景聲不就是多了天花板聲道嗎。。。


在全景聲時代,Vr沒有12k的解析度宛若一個弱智。

全景聲最大的噱頭是上方音源,所謂的x.x.x。比如5.1.2,7.1.4,9.1.6。有幸拷到一份2014年和2015年的atmos測試原盤,當時有80多個電影的藍光原盤的全景音版本。我用我的天龍推,防外行噴,我就說我宣稱那是玄學。


推薦閱讀:

虛擬現實將如何摧毀並重構現有社會結構?
MR會取代VR在遊戲(比如PSVR生化危機7)的地位嗎?
哪些領域更需要 Real Sense 技術?
為什麼索尼耗時 5 年研發的 VR 設備性能卻不如 Oculus Rift?
VR為何難以普及,瓶頸在哪裡?

TAG:虛擬現實VR | 杜比全景聲 |