這就是你要的『讀心術』？

作者：@Cohen @EffieLiu

審稿：@南瓜落落

大家還記得去年佔滿各個封面的「大腦語義地圖」嗎？加州大學伯克利分校的Jack Gallant通過記錄人類對語言刺激的反應繪製出了大腦的語義圖譜。研究大概是這樣的：他們請來 7 位受試躺在fMRI（功能性磁共振成像）中傾聽The Moth Radio Hour的故事，在受試聽故事的過程中記錄下他們大腦血氧水平的變化情況及其模式；接著，他們將大腦皮層劃分為幾萬個小區域，將故事文本的辭彙意義與腦部活動數據進行對比，看相關辭彙組如何在這些小區域引發神經反應；接下來，他們建立了計算模型，以此來分析皮層的每個小點所代表的語義信息類型。為了將複雜的語義模型視覺化（見圖1），他們使用了主成分分析（principal components analysis，PCA）的方法，目的是找出數據中最重要的一些組分，同時這些組分還應儘可能多的保留住信息。利用這些較少且重要的組分，將皮層各個小區域所代表的語義信息類型視覺化，繪製出了複雜的語義地圖。

圖1 . 大腦語義地圖。大腦不同區域如何表徵 958 個常見英語辭彙及其含義。這個工作會有 意外的收穫：通過觀察大腦活動，就能知道你在想什麼。

不過這次我們要介紹的是他的「解碼讀心技術」。Jack Gallant實驗室目前正在嘗試著進行「人腦解讀」試驗。在他們實驗室的電腦屏幕上，左側是在大腦掃描期間向受測者展示的一小段電影剪輯片段，右側則是計算機程序根據掃描的大腦活動信息來預測的受測者正在觀看的內容。剪輯片段中出現了正在與 Kate Hudson進行對話的Anne Hathaway的臉，演算法便自信地用大號的「woman」和「talk」來標註它們。當畫面中顯示的是野生動物紀錄片的水下場景時，該程序「使盡渾身解數」來解碼，最終試探性地給出小號的「whale」和「swim」。「這個是海牛，那個是什麼還不知道」，Gallant說，他的程序以前遇到過大量的水生哺乳動物，但海牛還是頭一次見。Gallant團隊向躺在核磁共振儀中的參與者展示一系列圖像和電影片段，根據參與者的大腦活動模式，來對程序進行訓練。

圖2. 根據大腦活動模式重構的視覺影像，國內可看的鏈接：http://www.le.com/ptv/vplay/24016644.html?ch=baidu_s

世界各地的團體正在使用這樣的技術來嘗試解碼腦部掃描，並嘗試破譯人們所看、所聽，以及他們記憶中甚至夢裡的內容。媒體大幅地報道，認為這種技術帶來了從「幻想到現實的讀心能力，可能會影響我們所做的一切」。倫敦的經濟學家推測科學家不久就能通過大腦掃描來實現心靈感應（telepathy），甚至讓讀者警惕這一能讀出你腦中所想的技術。雖然公司開始追求腦解碼技術的應用，如市場研究和謊言檢測，科學家則對使用該技術來研究大腦本身更感興趣。Gallant的小組和其他人正試圖找出這些不同的大腦活動模式到底是如何產生的，並希望找出大腦用來理解周圍的世界的演算法與規則。他們希望這項技術能夠透露給我們大腦進行組織調控的基本原理，以及它是如何編碼記憶、行為和情感的。

Gallant認為視覺是大腦最有趣同時也是最簡單的部分，而且還是他有可能在生前能夠得到完美解決的領域，而對圖片、視頻等視覺刺激以外的活動用該技術解碼則要求巨大的飛躍。這也是目前的研究大都集中於通過視覺刺激來尋求「讀心術」的原因。

圖3. 通過大量特定圖像激活的腦掃描數據來訓練計算機程序。一旦建立了活動模式的資料庫，它就可以對參與者先前不一定見過的圖像進行測試，在測試期間，程序必須根據對類似活動模式的了解，來猜測所看到的對象。換句話說，就是用機器學習的方法分析fMRI數據，如果你問我具體是怎麼分析的，我這個文科生只能呵呵了。

超越所謂的「亮點」生物學

大腦解讀大約在十年前迅速發展，神經科學家意識到他們在使用功能磁共振成像（fMRI）儀進行研究時，產生了很多未加開發和利用的信息，該技術通過識別腦中正在補給含有氧和葡萄糖血液的區域，來測量大腦活動，這些區域在掃描中發出「亮點」。為了分析活動模式，大腦被分割成很多被稱為體素（像素的三維等價物）的小框框，比如在看到一張臉時，研究人員通常會參考對臉部刺激反應最強烈的體素，同時丟棄體素中那些對刺激反應較弱的數據，從而得到腦中哪些領域正在處理面孔的信息。而解碼技術會用到更多的腦掃描信息，包括強反應和弱反應腦區，而不僅是只參考對臉部反應最強烈的腦區，進而得到更細緻的腦活動模式。早期的這類研究也證明了這一點：物體不只是由一個較小的、對刺激反應最活躍的區域編碼，而是由更多的分散式區域來編碼的。

這些收集到的數據被送到「模式分類器」，這是一種計算機演算法，能夠學習每幅圖片、概念與它們對應的腦活動之間的模式。一旦程序測試了足夠多的樣本，它可以開始推斷出某人正在看或想什麼，這就不只是映射心理活動對應的腦中「亮點」。模式的不斷優化不僅讓研究人員得以回答類似於「哪個腦區產生了某某心理活動」這樣簡單的問題，更為探究心理活動的本質提供了可能。一個多年來一直存在爭議的例子便是記憶的強度和分布問題。德克薩斯州奧斯汀分校的fMRI專家Russell Poldrack說，「解碼技術使得研究人員可以檢驗那些關於腦如何執行操作任務的現有心理學理論」。

達特茅斯學院的Jim Haxby 在2001年進行了第一次解碼研究，他們從這些活動模式中成功區分了對象的類別，如剪刀，瓶子和鞋子等[1,2]。不久之後，另外兩個團隊分別獨自使用此類解碼技術來試圖確認人腦組織的基本原則。研究將電極植入猴子和貓腦中的視覺區，這些區域對邊緣的定向有強烈的反應，我們將這些區域稱為「邊緣偏好區域」（edge-loving region），邊緣區域通常是光線強烈變化的地方。在人腦中，由於邊緣偏好區域太小，用傳統的功能磁共振成像技術難以觀察，但通過將解碼方法應用於fMRI數據，UCL的 、日本的Yukiyasu Kamitani與Vanderbilt大學的Frank Tong，在2005年的研究表明了邊緣能夠引發特異的腦活動模式。研究人員向被試展示了各種方位的隨意線條，通過不同的體素馬賽克模式能夠區分他正在看的方位[3,4]。

圖4. Haxby 在2001的解碼實驗對8類對象進行了成功區分，準確度達到96%。

2008年，邊緣圖片則換成更為複雜的圖片，當時Gallant的團隊開發了一個新的解碼器，能夠識別120張圖片中被試者觀看的是哪一張圖片，這比推測一張圖片屬於哪一大類挑戰更大。然後他們進一步開發了一個解碼器，可以根據被試者的大腦活動，對被試者正在觀看的電影產生一個原始版本的電影[5]。從2006年左右開始，研究人員一直在開發用於各種任務下的解碼器：用於視覺圖像，其中參與者想像一個場景; 用於工作記憶中，參與者需要記住一個事實或數字; 用於意圖的預測，猜測被試者對兩個數字進行加法還是減法運算的決定。「對意圖的預測比解碼視覺系統更難」，Haynes說，「有如此多的不同意圖，我們該如何分類？圖片可以按顏色或內容分組，但是怎麼分類意圖卻不容易」。

Gallant的實驗室初步證明了它的難度。通過第一人稱戰鬥主題的視頻遊戲Counterstrike，研究人員嘗試解讀玩家向左、右移動、追逐敵人或開槍的意圖。他們可能只是想要解釋一個移動的意圖，但是玩家在遊戲中被射殺或殺死時，fMRI數據中的其他所有信息會被來自玩家的情緒信號所淹沒，死亡的情緒信號主宰了一切，影響了對意圖精確地推斷。對夢的預測也是這樣。Kamitani和他的團隊今年早些時候在《Science》上發表了他們解夢的研究成果[6]。他們讓參與者在掃描儀中睡覺，然後定期叫醒他們，要求他們回憶起他們在夢中看到的內容。該團隊首先嘗試重建夢中的實際視覺信息，但最終不得不面對詞語分類的問題。他們的程序對人們夢中有哪些類別的對象，如汽車，文字，男人或女人等等，進行預測，達到了60％的精確度。Kamitani說，夢的主觀性質使得進一步提取信息變得很難。「當我想到我的夢內容時，我感覺到我正在看東西，」他說，「但是夢可能不僅僅涉及大腦的視覺區，還涉及到那些更難建立可靠模型的區域」。

圖5.怕你們太枯燥，配張圖，Counterstrike就是以前網吧常玩的《反恐精英》。

反向工程的嘗試

解碼依賴於大腦活動與外部世界之間可以建立相關性的事實。例如，如果您想要做的就是使用大腦的信號來指揮一個機器手，那麼簡單地確定這些相關性就足夠了。但是Gallant和其他人想要做的不僅僅是這些，他們想要追根溯源，找出大腦從最開始是如何組織和存儲信息的，破解大腦使用的複雜代碼。但這並非易事。每個大腦區域都會從其他網路獲取信息，並將其組合起來，這可能會改變其表徵信息的方式。神經科學家必須能夠在事後推斷出在哪個時刻做出了什麼樣的轉變。與其他工程項目不同，大腦不是用對人腦和數學模型有意義的原理拼湊出來的。「我們不是設計大腦，大腦已經造好了，我們得弄清楚它是如何工作的」，Gallant說，「我們沒有數學方法來對這些系統建模，即使收集了足夠的數據，我們也很難有一套好的方程來描述它們的關係以及隨著時間改變大腦又如何變化的過程」。

英國劍橋大學的計算神經科學家Nikolaus Kriegeskorte認為，儘管視覺系統是大腦中我們了解最多的部分，但試圖徹底視覺信息的編碼方式仍然很棘手。「視覺是人工智慧的難題之一，我們認為相比於下棋或證明定理，視覺研究起來更容易」，他說，但仍有很多要探索：神經元集群如何表徵一張臉，這些信息在視覺系統中的各區域間如何流動，以及表徵臉部的神經編碼當臉部變化時編碼又如何改變。「從下到上地、從神經元到神經元地來構建一個模型太複雜了，沒有足夠的資源或時間這樣做」，Kriegeskorte說。所以他的團隊正在對現有的視覺模型與大腦數據進行比較，看看哪些模型與數據擬合地最好。

真實世界的應用

解碼技術通常是在單個大腦基礎上建立起來的，但想要構造出一個能夠跨越個體大腦，或即使是同一大腦的不同時間段的解碼模型，也是很複雜的問題。並且每個人的大腦都有點不一樣，目前有幾個團隊正在努力構建這樣一個適合所有人的模型。

許多有關腦解碼技術的應用都需要考慮一個問題：對這些技術的應用會涉及到讀取某人無意識的想法。雖然這些應用尚不理想，但公司們正在密切關注著。Haynes說他最近被來自戴姆勒汽車公司的代表問到，是否可以藉此解讀市場營銷過程中消費者對物品的潛在偏好。他認為原則上可以，但目前的方法無法解決像是對於30種同類的不同產品認為哪個最好的問題。他說：「營銷人員應該繼續使用現有的營銷手段，我很確定，使用傳統的市場營銷技術會更好。」許多為法律機構提供服務的公司也注意到了這項解碼技術的用武之地。加州聖地亞哥的No Lie MRI正在使用與解碼相關的技術，聲稱可以使用腦掃描來區分謊言和真相。斯坦福大學的法學家Hank Greely寫道，法律制度用這些方法可更好地來檢測謊言，檢查記憶的可靠性，甚至揭露陪審員和法官的偏見。一些倫理學家認為，法律應該保護個人的內心思想和私人願望，而牛津大學的神經病學家Julian Savulescu則認為，使用解碼技術原則上並不存在任何問題。「人們對此有些擔心，但如果以正確的方式使用它，能為我們節省很多時間和精力，腦數據與其他類型的證據沒有什麼不同」，他說，「我不明白為什麼相比人們說出來的話，他們內心的想法就該被視為更高人一等的東西」。

Haynes最近在進行一項研究，讓參與者參觀幾個虛擬現實的房屋，然後在他們選擇參觀其它房屋時掃描他們的大腦。初步結果表明，該團隊可以確定參與者曾經去過哪些房屋。這意味著這樣的技術可能會揭示嫌疑人是否曾經訪問過犯罪現場，可還沒等到研究結果公布，Haynes便迅速指出在執法中使用這種技術可能存在的局限性。「如果一個人曾去過該房子，但不記得了怎麼辦？或者說如果他們在犯罪發生前一天或之後去過該房子，那又該如何判斷？嫌犯也可能騙過掃描儀，而我們卻還不知道該如何採取反欺騙措施」。

通過解碼能可靠地揭露人們隱藏的記憶的想法也遭到了其他科學家的反駁。「即使拋開所有意外和顧慮，你仍需要一個15噸、價值300萬美元的功率磁共振成像儀，一個願意躺在裡面的人，並在腦中積極思考那些隱藏的想法」，Gallant說，「即便如此，信息在某人腦中出現過也並不意味著它是準確的」。當下，心理學家有更可靠、更便捷的方法來得到人們的想法，找出一個人想要做什麼的最好辦法，還是要問這個人他到底想要做什麼。顯然，「讀心技術」還有很長的路要走，但回顧我們走過的路，還是感到驚奇，畢竟這在十幾年前是難以想像的。

參考文獻：

1.J. V. et al. Science 293, 2425–2430 (2001).

2.Cox, D. D. & Savoy, R. L. et al. NeuroImage 19, 261–270 (2003).

3. Haynes, J.-D. & Rees, G. Nature Neurosci. 8, 686–691 (2005).

4. Kamitani, Y. & Tong, F. Nature Neurosci. 8, 679–685 (2005).

5. Nishimoto, S. et al. Curr. Biol. 21, 1641–1646 (2011).

6. Horikawa, T., Tamaki, M., Miyawaki, Y. & Kamitani, Y. Science 340, 639–642(2013).

歡迎大家閱讀本計劃的其他文章:

歡迎大家閱讀本人的其他文章：

成年大腦中的神經元再生會導致記憶丟失

看待格式塔現象的新角度

歡迎大家也關注我們的其他平台：

推薦閱讀：