聽覺與視覺存在相互干擾嗎？

12-08

如題，聽覺和視覺可以互相干擾嗎？如：聽覺或視覺的突然衝擊會對另一種知覺產生怎樣的影響？

這是個認知心理學中被廣泛研究的問題。已有研究表明，視覺與聽覺是會互相影響或者說交互（audio-visual interaction）的。所謂「交互」就是說聽覺與視覺不一定是要互相干擾，他們相互作用、互為補充，最終的目的是讓我們的知覺更加準確。下面先鏈接一個視頻，著名的McGurk effect，它說明視覺與聽覺共同影響對語言的知覺（speech perception）。
視頻封面

McGurk Effect—在線播放—優酷網，視頻高清在線觀看視頻

視頻中一分二十秒左右，左側人做出「fa」的口型，右側人做出「ba」的口型。如果盯著左側人看就會覺得聽到了fa，如果盯著右側人看就會覺得聽到了ba，雖然其實聽到的聲音是不變的。

另一個我更喜歡的demo，但不確定國內是否能看：
The McGurk Effect
在這個視頻里，女士做出的是「ga」的口型，聲音是「ba」，但如果看著她就會覺得聽到的是「da」或「tha」的音。

除了McGurk effect，還有一些研究更直接地證明了視覺與聽覺會互相影響。比如在Kording等人的實驗中，他們給被試同時呈現一個亮光（視覺刺激）和一個聲音（聽覺刺激）。亮光和聲音可能出現的位置有五個，它們可能出現在相同或不同的位置。如下圖，最左側一列表示的是亮光位置，從左至右共五個，最上面一行是聲音位置，也是五個。被試的任務是判斷亮光和聲音分別出現在哪兒。
藍線和紅線表示的是結果。左側第二列（no audio）表示在沒有聲音的情況下，被試對亮光位置的判斷。第二列第一個圖，藍線在最左邊最高，表明被試判斷亮光在最左邊的概率最高，向右依次降低。比如第二列第四個圖，我們看到藍線在第四個位置達到最高，說明被試更多地判斷亮光在第四個位置。同理，上面第二行的紅線是在沒有亮光時被試對聲音位置的判斷，雖然出現的失誤比判斷亮光時多，但還是相對準確的。
那麼在亮光和聲音同時出現時呢？這裡的結果是說對亮光位置的判斷沒什麼影響，但對聲音位置的判斷有。我們看最右邊一列從下往上第三個圖（亮光在中間，聲音在最右邊），紅線表示被試對聲音位置的判斷，我們可以看出正確率明顯比沒有亮光的情況下低。沒有亮光時（最上面那個只有紅線的圖），被試們更多地認為聲音在最右的位置。但有亮光切亮光在中間時，被試更多地認為聲音出現在第四個位置。這說明對聲音位置的判斷被「拉」向了亮光的位置。不過亮光對聲音的影響也有可能是促進，比如從下往上第二行，從右往左第二個圖，亮光和聲音都出現在左數第四個位置時，被試判斷正確的概率比沒有亮光時更高。這說明與聲音出現在同一位置的亮光促進了對聲音位置的判斷。

那麼，為什麼聲音位置對亮光位置的判斷幾乎沒有影響，而亮光對聲音的判斷則影響比較大？這是說明相對於聽覺來說視覺佔主導嗎？我與老師交流後覺得未必如此，觀察到的「不對等」可能與這個任務有關。在這篇文章里被試判斷的是亮光和聲音的空間位置，對空間位置的知覺上確實視覺比較佔優。比如我們用眼睛對一個物體定位很容易，但用耳朵對一個聲音定位就相對不準確。但對於另外一些任務，比如時間上的定位（temporal localization，如兩個出現時間間隔很小的物體/聲音出現的先後順序），聽覺就比較佔優。所以，視覺能「影響」聽覺可能是因為在聽覺這個維度上信息不確定性比較大。

Heron等人（2004）的實驗就研究了不確定性對視聽覺交互的影響。在他們的實驗里（如下圖），屏幕上一共有三個白色刺激（文中成為blob，可以理解為三個外周模糊的白色圓）。中間的圓（運動圓）可以水平運動，兩邊的圓（靜止圓）靜止。被試眼睛盯著屏幕中央，運動圓每次會隨機出現在一個位置，然後往左或往右運動。當運動到屏幕中間某一個位置時，運動圓就會被彈回去（即往回走）。在圓彈回時或在此之前的20ms或40ms或80ms或160ms，會有個聲音出現。被試要判斷這個被彈回去的點是在靜止圓「連」成的分界線之前還是之後。如果視覺信息會被聽覺信息影響，那麼對彈回點的判斷就會受到聲音出現時間的影響。也就是說，如果聲音出現時間比彈回時刻早，那麼被試判斷出的彈回點就會比實際的彈回點更「早」。

研究者控制的是視覺信息和聽覺信息的相對不確定性（uncertainty）。比如，運動圓有時比較大（不確定性高）有時比較小（不確定性低）**。根據假設，不確定性高時容易被聽覺信息影響。於是，圓比較大時，如果聲音早於彈回點出現，被試知覺到的彈回點就會比實際彈回點早。而圓比較小時不確定性低，受到的影響就比較小，判斷就會比較準確。實驗結果也的確如此。

以上這些實驗給以下觀點提供了證據：
1，視覺與聽覺可以互相影響，且它們進一步影響了其它認知功能（如對語言的知覺）
2，其互相影響的程度可能與信息不確定性有關，如果一個感覺通道獲得的信息比較不確定，那麼人們對於這一感覺通道的知覺更容易被其它感覺通道獲得的信息影響。

我個人覺得，不同的感覺通道是協同工作的，根本目的是讓生物對周圍環境的知覺更為準確。所以這些結果也是情理之中，如果看到的東西比較讓人難以判斷，那麼自然會整合聽到的東西來幫助自己判斷。不過這與因果推斷（causal inference）也是有關的。在上面這個實驗里，聲音與彈回很接近，所以人們才會把兩者關聯起來。想像一下如果聲音很早就出現了，比如在運動圓一出現時就出現了，那人們也不會因此就覺得圓很早就彈回了，因為此時聲音顯得與彈回一點兒關係都沒有。

** 圓的大小與不確定性有關這一點也是有實驗證明的，具體請參考Heron這篇文獻。

參考文獻
Heron, J., Whitaker, D., McGraw, P. V. (2004). Sensory uncertainty governs the extent of audio-visual interaction. Vision research, 44(25), 2875-2884.
K?rding, K. P., Beierholm, U., Ma, W. J., Quartz, S., Tenenbaum, J. B., Shams, L. (2007). Causal inference in multisensory perception. PLoS one, 2(9), e943.

音樂專業的視唱練耳課，就是訓練聽覺和視覺統一的技能。

高度近視表示摘了眼鏡不光看不清東西，連聽也聽不清了。
我覺得我不是一個人。

啥？你說什麼？讓我先戴上眼鏡。。。

四根！

會，玩音游的時候體會一下hh
and對於正常人，睜眼和閉眼時存在腦波轉換是確定的√

之前視力下降的時候，驗光師建議我再用手機看慕課的時候試試光聽不看。
……

算了我這學期重修去了。
QwQ內心悲傷，果然還是有影響的QwQ

1、看恐怖片的時候，把視頻播放器聲音調靜音。

2、打開酷狗，《我在東北玩泥巴》點擊單曲循環

試試看吧！

不戴眼鏡聽不見別人在說什麼

我有一個感覺，看中文電影，他配有中文字幕，可是時間軸對不上，或者是字和說的意思不同，你會發現你完全無法看下去

是有影響的。
我記得之前看過一個關於這個的紀錄片。片子里提供的一個很簡單的實驗方法是這樣的：
首先播放一段可以清晰看到發音者口型的視頻，讓被試猜發音者所發的到底是哪個音；
然後播放同一條視頻，但是這次被試閉上眼單純靠聽覺判斷。
實驗結果是聽覺會受到視覺的影響。因為實驗提供的視頻里，表演者做的口型和他發的音其實不同，而當被試看著視頻時，他的聽覺收到了視覺的干擾，所以對視頻中的聲音產生了錯誤的判斷。

我覺得是存在的，拿我來說，我就無法做到一邊認真看書學習一邊聽歌。

會吧。近視眼不戴眼鏡就會覺得聽不清別人說話....算嗎？

有可能的，特別是那些深度近視的，摘下眼鏡你會感覺聲音都聽不清楚，比如我有時候就是這樣

不知道是習慣還是心理原因還是真的有影響。快400度，但是平時跟人交流中很依賴眼神交流，所以不戴眼鏡老覺得沒安全感。有次跟室友一起去食堂吃飯沒帶眼鏡跟大叔說了要什麼之後，大叔又問我要寬粉還是細粉，我當時真的是知道他在跟我說話但是我又好像完全聽不到他在說什麼，耳邊只有嘈雜的聲音，直到大叔問了三遍，我還是一臉懵比痴呆症：寶寶也很想知道你到底在說什麼但是寶寶真的聽不清啊嗚嗚嗚！感受到大叔又好笑又無奈又奇怪地看著我，我倆默契地同時把頭轉向了我旁邊的室友。室友又轉述了一遍給我我才知道在說什麼。雖然有過這樣的經歷，但是我還是比較偏向於認為是身體的習慣而不是從生物學意義上兩者會產生影響，個人覺得出現這種情況一般是因為身體習慣了同時用眼睛和耳朵其中一個功能突然失常之後，身體還沒有適應新情況，時間稍長一些身體適應之後應該就好了。

當然有啦，人在成長的過程中已經習慣了感官的相互配合。舉個簡單的例子，近視眼在不戴眼鏡聽不清別人說的什麼的時候，戴上眼鏡會發現好多了

不知道題主有沒有近視，作為一個資深近視+散光患者…我摘了眼鏡就覺得聽不清別人說話。原因可能是摘掉眼鏡後，看不清對方說話時的口型動作…

應該有，因為做聽力題的時候把眼睛閉上，效果會出奇的好，雖然不造是為什麼

其實我聽的是八嘎

原來我不是一個人——聽力較差的我

射擊類遊戲，如果耳機左右戴反，會打的不準，為什麼？