加州大學 Brian Pasley 關於大腦解讀 (Brain Decoder) 的發現真的有望實現「讀心術」嗎？

01-29

原文：Brain decoder can eavesdrop on your inner voice
國內報道：讀心術or漸凍人的福音？思想解碼器的功能很強大
如何通俗的理解這個發現呢？離實際應用還差多遠？
原理是基於在接受外界信息和自己默讀時相同的聲音頻率在大腦中的解讀位置是一樣的？
那如何實現從大腦到外界反向解讀這一過程呢？

還有對於不同語言的人來說，這個解讀機制能達到普遍適用嗎？

1.研究思路

2.原理

3.個體差異

4.應用

5.動物模型

1.研究思路：

問題：overt speech（開口說話）和covert speech（默念、心裡想）這兩種行為的神經表徵（neural representation，就是認知活動對應神經活動，不僅是涉及的腦區，而是對應關係）機制是否相似，這是個cognitive neuroscience的問題，用的是computational neuroscience的方法（通過數據計算出模型，再用模型和已知信息預測未知信息）。

猜想：overt speech和covert speech有相似的神經表徵。

根據這一猜想得到一個推論：如下圖，從overt speech的認知活動信息和神經活動信息計算得到的模型，能夠用於較準確地重建covert speech（由神經活動信息推知認知活動信息）。

作者通過實驗驗證了這個推論，因此這項研究可以作為支持猜想「overt speech和covert speech有相似的神經表徵」的一個依據。

2.原理：

實際上就是解析coding-uncoding的函數。如下圖，認知活動信息經過腦的處理（coding）產生對應的神經活動（如圖中的電波），而要從神經活動推知認知活動信息（圖中的Reconstruction），就是decoding的過程，其中關鍵就是計算出映射規則（轉換方程，核函數，圖中的Decoding model）。這個問題有現成的演算法和程序，想深入了解可以參考computational neuroscience相關教材和文獻。

3.個體差異：

由於個體使用的模型是通過同一個體經overt speech過訓練後，分析原始數據和重建數據計算得到的，而實驗又說明這個模型可以用於covert speech，所以這個模型可以用於重建該個體的covert speech，群體或個體差異已經在模型差異中體現了。

但這個模型的計算要有overt speech的訓練過程，要用來讀心訓練不太現實，如果個體差異很大的話，不知道在計算模型前將輸入信息標準化能不能解決。

4.應用：

實驗是對進行癲癇手術治療的患者通過植入硬膜下電極陣列（subdural electrode arrays）進行皮層電圖記錄。

對不做這種手術的人植入電極不現實，目前功能核磁共振、腦電波等無創記錄技術獲得的神經活動信息量有限，因而計算出的認知活動的信息量也有限，但隨著獲取信息技術的進步，應用肯定會越來越廣，計算精度也會越來越高。

早在10年就已經有公司在開發記錄腦電波而讓使用者通過想像來操控物體的產品（Tan Le：能讀懂腦電波的耳機）。

5.動物模型：

扯遠一點，在認知神經科學領域，動物模型由於可以進行單細胞甚至更精細的記錄和遺傳操作，機制研究遠遠走在應用前面。

隨著近幾年光遺傳（optogenetics）和其他遺傳操縱技術的應用，可以觀察並操控特定神經元亞群的活動性（當然也可以研究特定基因的作用），已經在記憶、選擇、成癮等行為的細胞、迴路機制研究上取得很多成果，例如小鼠在特定情境記憶中對應的特定神經元被激活並標記，而特異激活這些神經元可以通過喚起該情境記憶引起小鼠的反應，並可以通過在不對應的情境中激活神經元製造出錯誤的記憶（http://www.ncbi.nlm.nih.gov/pubmed/23888038）。

和神經性疾病、腫瘤治療等研究一樣，探索腦/行為/意識/思維/自我等等「終極問題」的認知神經科學的基礎研究正加速向前，至於有價值的應用，時候到了自然會來。

簡單的說，未來是有可能的。

我們利用fMRI這樣粗糙的技術已經可以decoding出：

1.看的圖像（解碼出來比較模糊）

2.模糊的視頻

3.在看什麼Item（例如香蕉）

4.上下左右前後的運動信息

5.各種任務狀態（在心裡默默唱歌還是默默說話）

6.情緒體驗

……

（未完待續，有時間把以上每一項的文獻填上）

但是我們現在缺乏一種高精度的非入侵的神經探測技術。

如果能夠有一種非入侵，又可以精確到單個神經元水平的方法，那麼神經技術將極大的進展，對於Decoding出思維還是很有希望的。

謝邀

類似於在聽覺區做默讀解析，以前也有在初級視覺皮層做夢境解析的研究。這些研究確實是非常有意思的，具體沒細看但是如果是非侵入式的，那解析度離公眾所希望的解析內心的精細程度還差的很遠很遠，所以沒人給你腦子裡埋電極就不用擔心被人讀心，哪怕埋了，讀到的東西也很有限，至少現階段如此。

另外，這種默念也好想像畫面也好的任務，都是高級皮層反向作用初級感覺皮層的，正如有些人做數學題根本不需要在腦子裡默念公式一樣，很多過程並不一定會產生這樣的機制。

最後，不同語言肯定不同，我們實驗室之前有課題組做過研究，對同一個音節不同母語的人聽，初級聽覺皮層的反應就不一致，那麼默讀時的反應，以至於解碼，自然更是不一致了。

原理不是「基於在接受外界信息和自己默讀時相同的聲音頻率在大腦中的解讀位置是一樣的」，這只是一個假設，由前者的一些發現進而去實驗驗證後者。

The team hypothesised that hearing speech and thinking to oneself might spark some of the same neural signatures in the brain.

而原理都是大腦活動模式與聲音之間的映射關係。在這一研究中，大腦活動模式是插在腦中的電極，聲音是頻率。但研究者聲稱：

Frequency isnt the only information you can extract. Other aspects of speech, such as the rhythm of syllables and fluctuations of frequencies are also important for understanding language, says Pasley.

OK，不管他們是怎麼映射的，當然也沒細講，他們通過這一映射，成功地「翻譯」出了幾個被試默想的內容：

the decoder was able to reconstruct which words several of the volunteers were thinking, using neural activity alone.

關鍵是several，這也是所有「讀心」設備的困難。文章的結尾處的敘述很忠實的反映了目前的狀況和問題。

"In theory, yes, says Martin, but it would be extraordinarily complicated. She says you would need a huge amount of data for each thing you are trying to predict."

人腦活動的個體差異較大，而且，影響人腦活動的因素較多，如果想實現預測，要考慮的因素很多，數據量龐大，到目前還沒有確定出來嚴格的大腦活動模式與聲音的某些特徵之間的映射關係。比如這個設備對於我好用，能讀出我說的一些話來，但是給你用就不好用了。又我今天用好使，明天我的情緒不同了，可能又不好使了。

所以，研究中的讀心，只是在試驗控制的條件下，一些初級的發現極其應用。

比如說，我有同學以前做過，你在腦中的意識來控制小車的左右，你想左或者右，實現小車的左轉和右轉。控制設備需要預先進行學習，即你要進行多次想左和右，機器學習對應的大腦活動模式。

還有，我同學講過別的例子。有人做過意識來輸入字元，我說那至少要學習20多種大腦活動模式呢，好牛逼啊。結果，我同學告訴我，他們的實現方法是，要求輸入者心裡默想上下左右，控制鍵盤上的游標進行輸入，那麼這樣按照上、下、左、右、確定等，最多也只需要識別的是5個模式。當然了，我想你在使用這個系統進行意識輸入之前，也需要對系統進行訓練，讓他先了解你這幾種心理活動的模式。這時候，換個人用這個系統，也許就不好使了呢，看，這就是個體差異，大到根本無法不進行訓練就能進行「讀心」。

我本身不是做這方面的，了解的甚少，只能分享點我的聽聞。而且這都是幾年前的事情了。但是，從這篇文章來看，要製造出對任何人都好使的設備（量產為商品的一大條件），仍是漫漫長路，遠得很呢。

不能。還差得很遠，實驗僅僅是發現了一些neuron有某些選擇性，但距離理解大腦怎麼decode信息然後重組還很遠。類似的選擇性的neuron發現的多了，只不過這個研究組腦洞比較大，結合計算機技術想搞點新花樣，難

是這樣的呢。。。

沒仔細看，但前面各位說的很詳細。以我個人觀點來說，這個技術在未來是可能實現，但現在還差的遠。

另外，不同語種的人，思維模式不同，例如《認知心理學》就只能以英文為例，中國人看起來就很費勁。各個國家學習外語的人也共同認為非母語，理解程度就有限。

最後，神經信息處理的水平不同，現在只能模擬水平較高的階段，所以當之前的信息處理步驟產生變化而影響現在水平的變化，這就導致測量不準，所以如樓上所說，搞點新花樣。