人腦可以同時閱讀和聽記不同的信息嗎？

12-01

如果在讀一段文字的同時，聽另一段語音。人腦能否同時記憶兩段資料。有什麼短小的實驗可以證明嗎？

本題已加入知乎圓桌 ? 認知解碼，更多認知科學相關的話題歡迎關注討論。

如果聽覺信息和視覺信息不一致，那麼同時呈現兩個信息，結果肯定是會互相干擾的。因為題主問的是是否能夠同時記憶兩段材料，說明題主想問這兩段材料是否可以同時加工。所以我們就不討論諸如『一邊看新聞，一邊被嘮叨』這種情況了，因為我們可能直接忽略了『嘮叨』的部分。其他的答案已經提到了『注意』等因素的影響，其中有人敏銳地提出了一致和不一致(congruency and incongruency)的問題，順便提到了多通道整合（multimodal integration)。我覺得信息已經非常足了。

其他的答案說了當視覺信息和聽覺信息都需要加工，而且加工還特別費事兒的時候，你基本上沒法同時做兩件事，所以難以同時記住兩個材料。實際上，你有可能記住沒個材料的一部分，但是每一個材料的記憶都會比較差。

這裡，我來補充一個實驗來說明：即使視覺加工和聽覺加工都可以自動化(Automatic)，都非常迅速的時候，如果兩項信息不一致，你的加工仍然會受到嚴重的影響。所以，建議就是，請一心一意做好一件事情。單線程，並不可恥。

太長了；不想讀

1. 人類統計學習(statistical learning)指的是人類可以自動、快速地從感知覺信息中提取出統計結果或者統計規律，比如A總是在B後面出現，C總是在D上方等。
2. 這種統計學習達成的速度很快，大概2-5分鐘之內人就能提取出簡單的統計信息；而且這個學習過程通常是沒有意識的，學習者並不知道自己學習到了；而且這種學習的過程通常不需要任務相關。
3. 但是即使是這樣快速的學習過程，在聽覺信息和視覺信息不一致、互相獨立的時候，人們也無法同時學會兩組信息中的統計結果，要麼兩方信息都會漏掉一些，要麼會完全丟失其中一組信息，比如可能視覺統計結果完全學不會。
4. 不管怎麼說，這是一個注意過程。人呢……還是沒有辦法很好地同時學習、記憶多個通道的信息的。不過，如果視聽信息一致，說不定會事半功倍。

我要說的是人類statistical learning的研究。學計算機的朋友請停下你們的思考，這個statistical learning和你們的statistical learning基本上沒有什麼關係。1996年，對幼兒語言習得感興趣的Saffran, Aslin和Newport發現，給8個月大的小孩聽一串連續的語音流大概5分鐘，隨後小孩能發現這個語音流中暗藏的統計結構，拉開了statistical learning研究的序幕。

等一下，這裡有什麼重要的？為什麼我要在這裡談statistical learning? 客官您不要太著急，聽我娓娓道來，到最後你就知道為什麼我用statistical learning作為一個例子來回答題主的問題了。

前面提到的語音流是這樣一個序列：bi-da-ku-pa-do-ti-go-la-bu-bi-da-ku...這個序列每一個音持續的時間相同，音與音間隔時間相同，也就是說這個連續的語音流並不能簡單地被分割開來——除非你敏銳地發現這個語言流暗藏的統計結構：比如bi-da-ku總是在一起先後出現。實際上，實驗者事先就安排了這樣的三元組：連續三個音，總是先後以固定順序出現。但是不同的三元組之間先後順序隨機。這裡的問題就是，我們能不能通過被動地聽這樣連續語音，就能抓取出三元組這樣的結構呢？

結果Saffran他們發現，8個月大的嬰兒在5分鐘之內就可以抓取出這樣的三元組信息。在5分鐘的播放之後，他們面對兩個不同的三元組，比如bi-da-ku和bi-pa-do，8個月大的嬰兒能夠分辨出bi-da-ku是TA之前聽到過的。這個實驗很有意思，原因是如果你考慮你從小學說話的時候，你聽到的語句不是一個詞一個詞單獨出現的，而是一句話一句話出現的。在單詞之間可能並沒有語流上的停留，但是你從來不會把一句

我今天好高興啊

聽成

我今 - 天好 - 高 - 興啊

而是

我-今天-好-高興-啊

你在學習語言單詞的過程中，可能就是無意間，因為不同的字相鄰出現的概率更大，所以你就學會了由這兩個字組成的詞，由此你學會了分割一個句子，並且理解句子的含義。

當然，這樣的統計學習的能力，不僅僅發生在聽覺系統，視覺系統同樣存在。從Fiser Aslin 2001, 到 Fiser Aslin, 2002, Kirkham, Slemmer, Johnson, 2002, 到 Turk-Browne, Junge, Scholl 2005, Turk-Browne, Isola, Scholl, Treat, 2008, 到Kim, Seitz, Feenstra, Shams, 2009及以後（如果你並不想了解參考文獻，請直接看結論），實驗已經證明統計學習的能力在視覺和聽覺的通道都存在，而且這種統計學習能力極其迅速且自動。觀察者大概只需要被動地暴露在一個信息流（語音流或者序列視覺呈現）大概2-5分鐘，就可以學會其中的統計結構。觀察者通常沒有意識到自己學會了這樣的統計結果，而且觀察者在學習過程中完全在做一個和學習無關的任務（比如就坐著聽，或者看一系列的形狀中有沒有特定的目標形狀）。

這樣一個迅速、自動的學習過程，理論上不怎麼需要注意來引導加工的，所以，題主就可以問：同時呈現一個視覺序列，和一個聽覺序列，每一個序列有自己的簡單的統計結構，觀察者能不能同時學習到這兩個獨立的統計結果？因為統計學習如此迅速自動，似乎有很大的可能兩個統計結果都能學會！

答案是否定的。
即使這樣一個快速自動的學習過程，在聽覺信息和視覺信息的統計結果獨立、無關的時候，人們對於兩個信息中的統計結構的學習就差了很多，正確率顯著下降，甚至降到了隨機水平。Robinson Sloutsky (2013)就做了這樣一個實驗，他們的刺激如下圖，你可以發現所謂的統計結構都是一個個的三元組：或者三個音素、或者三個形狀。在三元組內，元素總是以固定順序出現，我們稱為轉換概率(transitional probability)為1；在不同的三元組之間，轉換概率均勻分布。

(Robinson Sloutsky, 2013; Figure 2)
他們的主要結果是：如果視覺刺激和聽覺刺激單獨呈現，或者他們相關時，觀察者可以同時學會視覺結構和聽覺結構。但是當兩個刺激隨機交錯，互相獨立時，正確率就較低了很多。而且視覺結構基本上就沒有學會（這裡有意思的是，他們發現這種不一致的情境下，聽覺學習並不太受影響，視覺學習受到了嚴重的影響，所以他們說聽覺主導了視覺。具體細節可以參看paper）

這裡就是用這個簡單的實驗說明一下：即使是快速自動的學習能力，也會在聽覺和視覺信息不一致的時候收到嚴重影響，結果你要不學不了視覺信息，要不學不了聽覺信息，要不兩個信息都學得不好。但是，如果兩個信息一致的情況下，說不定你會事半功倍。Reference
Saffran, J. R., Aslin, R. N., Newport, E. L. (1996). Statistical learning by 8-month-old infants. Science, 274(5294), 1926-1928.
Robinson, C. W., Sloutsky, V. M. (2013). When audition dominates vision: Evidence from cross-modal statistical learning. Experimental psychology, 60(2), 113.
Fiser, J., Aslin, R. N. (2001). Unsupervised statistical learning of higher-order spatial structures from visual scenes. Psychological science, 12(6), 499-504.
Fiser, J., Aslin, R. N. (2002). Statistical learning of higher-order temporal structure from visual shape sequences. Journal of Experimental Psychology: Learning, Memory, and Cognition, 28(3), 458.
Kirkham, N. Z., Slemmer, J. A., Johnson, S. P. (2002). Visual statistical learning in infancy: Evidence for a domain general learning mechanism.Cognition, 83(2), B35-B42.
Turk-Browne, N. B., Jungé, J. A., Scholl, B. J. (2005). The automaticity of visual statistical learning. Journal of Experimental Psychology: General, 134(4), 552.
Turk-Browne, N. B., Isola, P. J., Scholl, B. J., Treat, T. A. (2008). Multidimensional visual statistical learning. Journal of Experimental Psychology: Learning, Memory, and Cognition, 34(2), 399.
Kim, R., Seitz, A., Feenstra, H., Shams, L. (2009). Testing assumptions of statistical learning: is it long-term and implicit?. Neuroscience letters, 461(2), 145-149.

那段語音會影響人對閱讀內容的記憶，有語音情況下的記憶效果要比無語音情況下的差5% ~ 11%，這被稱為「無關聲響效應」（Irrelevant sound effect, ISE）

　　這種實驗要簡單可以很簡單，A組人一邊看8個為一組的數字n組，一邊聽著天氣預報； B組人一邊看同樣的8個為一組的數字n組，一邊帶著耳機什麼都不聽。之後對兩組人進行n組數字的記憶再認測試，然後你會發現A組的正確率低於B組。兩組人正確率的差值代表了ISE這個效應的大小
　　有研究者總結了20多個相關的研究，下圖是這些研究當中ISE值的分布；要是做統計你會發現其顯著大於0

　　從那份綜述包含的數據也可以推斷出，不同的背景音其對於閱讀內容記憶的負面作用也是不同的，其中以語言的負面效果最強

　　我看了下題主的資料和提問時間，覺得題主可能是學生會一類的活動想要些材料。這裡倒是有一個和題目不直接相關，但是可能更有趣的現象——帶耳機看下面這個視頻就明白了。題主要是還看得到，又還呆在原來的部門，不妨留著明年用
視頻封面感知覺研究：McGurk視聽聯覺效應視頻
參考
Ellermeier, W., Zimmer, K. (2014). The psychoacoustics of the irrelevant sound effect. Acoustical Science and Technology, 35(1), 10-16.

謝邀。
首先要定義是什麼類型的資料，根據你的問題描述，我推測你是指語義資料(semantic informaiton),即一段話或文字信息，而不是顏色啊音樂啊這些非語義信息。

其次要區分聽到的看到的信息是不是一致的（congruence vs. incongruence),即看到和聽到的是不是同一段文字。

如果是非一致的語義信息，答案是不能。上學期學注意力（attention）這門課時討論過這個問題，記憶力形成的前提是注意力，大腦要處理一個信息必須要分配相應的注意力在上面，這牽涉到一個注意力分配理論（attention filtering theory)。關於大腦如何分配注意力，有兩種說法：一種是在大腦正式處理信息之前，就已經分配了注意力，如果這個信息被大腦判定為干擾物（distractor），大腦就不會分配注意力，這段信息也就不會被處理；另一種理論就是所以信息都先進入大腦進行初步加工，然後經過注意力篩選，不重要的信息被丟棄，重要的留下來形成記憶。至於那種理論更正確還沒有定論，但是不管哪一種，要形成記憶都要通過注意力篩選，而且一次只能分配到一種感官（unimodality)。有些看似一心二用的行為，其實是注意力快速在各種信息源中切換。所以這也牽涉到時間即信息的供應速度，如果文字和語音信息給得非常慢，可能大腦就有足夠的時間通過快速切換注意力來記憶兩種信息。
如果是一致的語義信息，答案是非但可以同時處理，還可以加強記憶。這種現象叫做multimodal integration effects（中文不清楚，也許可以叫跨感官整合效應）。
以上兩種結論可以參考：Suied, C., Bonneel, N., Delmon, I. V. (2008). Integration of auditory and visual information in the recognition
of realistic objects. Springer, 194: 91-102.

至於非語義信息，對注意力沒有那麼高的要求，我手邊暫時沒有資料，不過如果不是特別複雜的信息，應該是可以同時處理的（不過這種「同時」可能也是快速來回切換注意力的結果）。

記憶的前提是注意（no attention, no memory），這一點前面的答案已經說的非常好了，但我還想補充一些，答案在最後可以直接拖到最底。

我們周圍充斥著太多太多的信息，人體各個感官無時無刻不在同時接收大量的刺激，這時候我們就需要注意來幫助我們把有限的心理資源（mental resource）集中在對我們更有意義的信息上面。
而能否同時進行讀和聽這兩種不同通道的認知加工，首先要問，注意的心理資源能否被同時分配給不同的刺激？

這裡牽扯到有關注意的兩種不同理論，一種是注意的滲漏（leakage）理論，一種是注意的滑動（slippage）理論。

leakage理論認為，注意資源可以被平行分配到不同的通道進行信息加工，但slippage理論認為注意資源只能在不同的通道之間轉移切換，而並非這種平行加工的方式。也就是說那些行為看起來好像是在宏觀上平行處理信息，實際上在微觀上仍然是存在先後順序的。

兩種不同理論的支持者們都做了大量的試驗來證明自己的觀點，這裡簡單說一個經典的範式——雙耳分聽實驗。

具體地說，雙耳分聽實驗給就是給被試的兩耳同時呈現兩種材料，讓被試大聲追隨從一個耳朵聽到的材料，然後檢查被試從另一耳所獲得的信息。前者稱為追隨耳，後者稱為非追隨耳。按理說，被試會把全部的注意力都集中在追隨耳上，而忽略掉非追隨耳聽到的信息。但是，結果發現，非追隨耳還是能夠接受到一些信息並且對其進行加工進入記憶。

因此，支持leakage理論的學者認為這種結果就說明注意發生了滲漏，即注意資源從追隨耳滲漏到了非追隨耳，導致了非追隨耳的信息被識別。

這看起來很有道理，但slippage一派爭辯：被試容易分心等問題不可忽視，這些結果也都可以用被試的注意的滑動來來解釋，即被試的注意力在追隨耳和非追隨耳之間進行了切換而已。

於是，有心理學家進行了新的實驗來證明slippage理論。
採用掩蔽啟動範式，通過控制不同位置的關聯或者呈現期望捕獲注意的cue來內源性操控注意……
……
……
（實驗過程比較複雜，有人感興趣的話我再寫好了……）

總之，實驗證明了，沒有注意的滑脫，目標以外的刺激就不可能被注意到，換句話說，不存在注意的leakage，只有注意的slippage，注意只能在不同目標之間轉移而不能同時被分配到兩個目標身上。

綜上，回歸題主的提問，能不能同時進行聽和讀的不同材料的記憶？
可以。
只要注意力不停地在聽和讀之間切換，比如：
第一毫秒聽，第二毫秒讀。
第三毫秒聽，第四毫秒讀。
第五毫秒聽，第六毫秒讀。
第七毫秒聽，第八毫秒讀。
……就可以。

嗯，我在想Sheldon是不是可以。

參考Forty-Five Years After Broadbent_1958_Lachter.Forster.Ruthruff.n1.2004

你試過邊刷知乎邊和身邊人吵嘴嗎？

你對同聲傳譯怎麼看

你見過你女朋友一邊看韓劇一邊跟閨蜜在電話里聊國產劇嗎？

記得我上初中的時候，家裡不讓我晚上看電視，然後電視聲音還賊大，於是，我就練就了一身好武藝，一邊寫作業，一邊聽電視劇，第二天去學校，憑著意淫畫面跟大伙兒吹牛逼

高大上的理論答主不明。
個人實踐：做交傳的時候聽源語-做筆記需要分心，做同傳的時候聽和說需要分心。
有厲害的老師可以滯後幾十秒。
什麼意思呢？
比如我現在在聽發言者的發言，腦袋裡在記憶理解，同時嘴裡在翻譯她幾十秒前說的話。
人腦遠比我們想像的強大，需要的是正確的方法並加以練習。

我感覺人腦是單線程的，好在有分時系統......

女生行，男生不太行

從布羅德本特等人的早期中期晚期加工理論的角度來看，早期是不行的，雙耳分聽都有困難更別說一邊聽一邊讀。而中期加工模型認為過濾器有兩個，一個在感覺前一個在工作記憶之前，如果有哪個感覺通道的某一信息閾限比較低，那那個信息有可能被感知，但加工就很困難了。晚期模型認為過濾器在工作記憶之前，換句話說也就是信息都可以被感知，但是根據信息的不同加工與否要以及加工程度又要視具體情況而定。
另一種理論是加工資源理論，就是說可以用於加工信息的注意資源是有限的，如果一種信息佔用了太多資源那麼另一種信息會因為資源不夠而得不到充分加工，也就是你無法明白那段材料是什麼意思。不過有人提出自動化加工和意識控制的加工兩種加工類型，就是說，如果有一種任務不需要用意識是可以自動進行的話就可以同時進行另外一種需要意識的任務了。
複習實驗心理學時剛好複習到這一塊，可能說的不是太清楚。其實注意是個很複雜的問題，注意的機制到底是怎樣各種理論似乎都有道理，但是有都有缺餡。總之，這個問題還是得分任務的具體情況，大多數理論都認為這是比較困難的

不能，基礎心理學「意識和注意」那一章，注意的定義，兩大特點：指向性和集中性。
一樓提到的理論和實驗與問題無關，認知雙通道的定義不能那樣理解，純屬扯淡！

可以自己一分鐘試出答案的問題，何必要花費別人五分鐘。

先佔坑。喵
結論是一定條件內是可以邊聽邊看的。

認知心理學關於人腦記憶相關的實驗，其中「工作記憶」（working memory）有這樣的能力同時去處理聽到和看到的信息。

根據Baddeley"s model，工作記憶有四個部分。
分別是聽聲音的圈圈（phonological loop），看東西的畫板（visuosptial sketchpad），一個緩衝器（episodic buffer）最後是一個CPU處理器（central executive）。

相互分工是這樣子。

我們人腦記憶分為這麼幾個部分，那麼剩下的就是看條件了。首先是你自己的記憶能力是否充分利用起來。其次看需要處理的信息的複雜程度，需要看多少，需要聽多少，看的速度有多快，聽的速度有多快，都會直接影響最後的信息處理結果。

好。下課。

偶爾嘗試一心多用，喜歡那種感覺

我會戴耳機讀書。

我覺得是可以的，我都一般抄寫材料一邊聽有聲書的…但是無論是聽的效果還是閱讀效果都不如單一的行為有效，除非聽的和看的是同一材料。

人腦的自主意識本來就是「單線程」的，即某一個時刻只能進行一個操作（聽說讀寫等），所謂的同時做幾件事的人其實都是因為大腦在幾個操作間迅速切換，一般是感覺不到的（這就是為什麼同時做很多事的時候會很容易累且出問題）。
回到問題本身，如果聽和讀的材料都不是很難理解的話，其實是可以「同時」記憶的，只不過十分容易出錯，且只能記住大概意思。因為人腦在接受信息時會出現聯想效應，這也和語文閱讀題里的「通過上下文理解句子」一樣，在聽的時候沒讀到的，過了一會兒就會通過之前讀到的和現在讀到的推導回疏漏的內容，反之亦然，可是想要記清每個字可就不行了。

對於那些說同音傳譯的人我也是醉了。同音傳一邊輸入，一邊輸出。人家題主說的貌似是，同時輸入聲音跟圖像信息並儲存和處理