腦機介面的研究進展到什麼程度了?
Any sufficiently advanced technology is indistinguishable from magic.
(任何充分發展的科技,都與魔法無異)
------Sir Arthur Charles Clarke
已將回答重新整理並發到知乎專欄,進一步的更新和對評論中問題的解答也會移至這裡,請移步。尤其是回復請回復到知乎專欄,我會在那裡添加由大家的回復衍生出新想法。感謝大家的支持,評論中真的提出了很多好問題。
從定義上說,腦機介面(Brain Machine Interface)就是研究如何用神經信號與外部機械直接交互的技術。就像開高達或者黑客帝國,屬於傳統意義上的黑科技。我從大學本科(07年)至今一直在這個領域。本文將從個人研究經歷,領域現狀(簡略),以及一些常見或有趣的相關問題這三個方面簡述一下腦機介面的研究進展。
第一部分:研究經歷
1:浙江大學時期(07-11)。本科階段我做的研究是在鄭筱祥老師的求是高等研究院,當時是國內頂尖的腦機介面研究機構(之所以說「當時」,並不是表示現在不是頂級,只表示現在我不在國內,不夠了解)。當時的研究方向主要有 a)大鼠壓桿實驗,脫胎於SUNY Downstate的John Chapin實驗(Department of Physiology and Pharmacology),後來我到SUNY的時候他已經不招學生了,這是後話。這也是我本科階段的研究內容,在解碼器前面做了一個分類器,能顯著提高解碼精度。不過這個不重要,大鼠壓桿實驗本身太過簡單,不能體現腦機介面的黑科技之處。b)大鼠攜帶背包電極,無線控制大鼠走迷宮。c)人腦EEG打字2:卡耐基梅隆時期(12-14)。這個時期剛好是Pitts的 Andrew Schwartz搞大新聞的時候,四肢癱瘓病人通過植入式腦機介面控制機械手(https://www.youtube.com/watch?v=Z3a5u6djGnE,相信我,我真的去找了有沒有優酷的相關視頻,但沒有)。當時我的導師就是Schwartz的合作夥伴,不過因為自己是碩士的關係,所以並沒有很參與到研究過程中,只是弄了一個Latent Extended Kalman Filter, 是用來處理運動過程中的隱變數,舉例說就是被試者的心情,動機或者是生理狀態,它們影響神經活動,但跟我們想要的運動控制無關,我就改進了一個模型去濾它們,做了一點微小的貢獻。(PS,匹茲堡真是個好地方,遠遠比紐約好)。3:NYUSUNY時期(14-我也不知道啊能早點兒畢業就好了)。大多數我參與的工作還是未完成的,所以雖然一顆賽艇,但並不能透露。之前有個Duke的學長搞的黑科技倒是很好玩。他測了大鼠在被扎手指時初級感覺皮層的興奮情況,然後通過刺激上級腦區,使得大鼠的初級感覺皮層產生相應的興奮。換言之,通過神經刺激讓大鼠認為自己在被扎手指。如果寫到這裡能夠讓讀者聯想起黑客帝國,就說明我清楚地表達了他的研究。第二部分:領域現狀
首先這只是一個非常簡略的介紹。以我的能力(simple)和學術地位(naive)是遠遠輪不到我來寫review的(笑),我還需要學習好幾個,以下是正文。
腦機介面主要分為植入式和非植入式兩大類。區別在與植入式的更精確,植入式電極相比於頭皮貼片而言精確度高的多,可以編碼更複雜的命令(比如三維運動)。非植入式的更安全,所以接受程度高很多,如果面向健康人類開發產品,這可能是唯一選擇。
各個腦區里研究比較充分的有運動皮層,感覺皮層和視覺皮層。
運動皮層的研究結果相當多。植入式腦機介面在好幾年前已經可以做到(以可接受的精確度)控制機械手的三維運動,手腕方向,手指握力。之所以進展很快的原因有很多,比較明顯的是以下兩點。第一,神經元對運動的編碼相對簡單,或者說,編碼本身可能很複雜,但是我們可以用線性近似來獲得足夠好的結果,所以降低了研究員的智商閾值,畢竟不需要太高深的數學了嘛(笑)。更重要的一點是,運動有直接對應的可量化的輸出(速度,位置等),所以我們能直接那這個輸出與神經信號做對比,來確定二者的對應關係。反例是感覺皮層,我們只能研究神經元本身的發放變化,猴子本身是不會告訴我們它自己的感覺如何的,所以對應起來就很麻煩。所以通常情況下我們假設如果外部刺激一致,感覺就是一致的,這也是上文我的學長搞的黑科技時用到的假設。
視覺皮層的研究也很熱門。但最廣為人知應該是其副產物:卷積神經網路(Convolutional Neural Network,CNN),畢竟經過Alpha Go的大新聞,東亞地區對這個名詞有很高的認知度。我不是該領域的專家,只是跟Tai sing Lee(Dr.. Tai Sing Lee"s Homepage)上過一年的課,所以只是有模糊的認識。只能說一個讓我印象深刻的個例。有一天Taising很興奮地跟我們說他開會發現了一個大新聞,給我們看了一段視頻,內容是醫生用微弱電流直接刺激病人的視覺皮層(據Harold Yue提醒,是面部識別區)。沒錯,我們當時都驚詫了,沒想到真的有人願意這麼干。
視頻內容:醫生一邊調電流一邊問病人:「你感覺怎麼樣,看到的東西有沒有什麼不一樣了?」病人沒有什麼明顯不適,很清楚的說:「感覺你有了一點變化,好像不是Dr.某某了,感覺領帶歪了一點還是怎麼樣,說不上來,(以下是我感覺最科幻的部分),like The Terminator。」
至於困擾腦機介面研究小組的問題。由於是一個交叉學科,很多單一學科的進展都是令我們期待的,比如更精確的電極,更明晰的神經科學認識,更強大的機器學習演算法,更生物友好的材料等等。其中一個跟科學不那麼有關的在於:願意參與植入性實驗的human subjects(求問這個詞應該怎麼翻譯才能不被人罵)太少。所以,假如生活欺騙了你,先別著急自我毀滅,請考慮一下獻身科學的可能性(笑)。
第三部分:相關問題
Q:想以後涉及腦機介面,需要哪方面的知識?
A:既然本身是一個交叉學科,那麼需要的能力也是來自於各個方面,學生的背景材料學,醫學,生物學,計算機,電氣工程,物理等等都有。比較明顯的區分在於實驗室中既有MD+Ph.D,還有我這種純粹的Ph.D。
前者負責大部分動物實驗以及各種我搞不定的部分,這部分要求的技能我並不清楚,很難給出有效建議;後者(我)負責數據處理模型設計等,這部分要求的核心內容就是:你的機器學習理論水平,以及把你的機器學習演算法實現出來的能力。前者在本科階段最好的鍛煉方式之一就是參加數學建模競賽(當然這跟我本人的經歷有關,我上大學時浙大還沒有機器學習這門課)。後者基本上就是coding的能力,建議如果是初學者,從matlab入手是一個很好的選擇,但是膽子大了之後一定要去試一試其他語言,比如python。畢竟所謂腦機介面,「腦」的部分,即如何把神經衝動翻譯成有價值的命令,多數是用matlab完成的,但是「機」的部分,即如何用這些命令控制機械,這裡要用到的語言就五花八門了,沒必要之前就一一掌握,但是要不害怕去學。多說一句,如果是在國內讀的本科,很有可能因為國內工科一開始就要學C並且C的教材過於反智等原因,從而對整個coding產生反感。解決方式如前所述,請從matlab入手,並牢記《銀河系漫遊指南》封面上大而友善的四個字「不要恐慌」。
Q:腦機介面能不能提高智商?
A:有可能,但是只有少數文章證明,還不具備很強的說服力,在去年有一篇review中也提到這種提高在統計意義上不顯著。所以現在的觀點是:為了少量提高智商,而在頭上開個洞埋上電極並不是那麼有必要。還有一點是對於智商本身的檢驗方法也存在很多爭論,現在能被少數文章證明的只是可以提高短時記憶力(因為這個最容易測量)。
Q:快來拿我做實驗吧怎麼樣都行
A:請吃頓好的,然後私信聯繫。這是玩笑,實驗的安全性是可以保證的,畢竟現在植入式的人類實驗也已經開展了好幾年,雖然多數是在癱瘓病人身上,控制的效果如前所述,用機械手完成簡單的移動,抓握動作完全沒有問題,但是太精細的的動作做不到,比如用機械手指剝香蕉撕包裝袋之類的。並不是說我們不能解碼複雜動作,而是這種動作本身對於只有視覺反饋的人而言太困難,可以想像一下如果人沒有觸覺,僅憑視覺去剝香蕉擰開飲料瓶是有多難。市場化的主要障礙主要是是機械手的價格過於貴,無法被醫保覆蓋。這是我導師的觀點,畢竟實驗室的機械手是從NASA批發的,五十萬美元一個,對於普通病人確實過於貴(我還很榮幸的把它弄壞並重新修復過一次)。
Q:弄壞了50萬美元的儀器是一種什麼體驗?
A:回複評論中的問題引發了新的值得回復的評論,這是開始遞歸了嗎。先說結論:感覺好棒好棒的,現在已經有信心去弄壞百萬美元級別的儀器了。具體過程是這樣的。某日,我正在用ROS(Robot Operating System)調式機械手。忽然砰地一聲脆響,好像飛出了什麼東西,機械手彎到了一個非常詭異的角度,停住不動。比較幸運的是當時猴子並沒有在現場做實驗,否則機械手的慘狀可能會對大聖造成不可磨滅的心理陰影。我把機械手複位之後發現有半截鋼纜(cable)鬆脫並暴露在外(沒錯,飛出的是另外半截鋼纜)。當時並沒有恐慌的感覺,只是有點沮喪可能很久不能做實驗了吧,應該要報修等廠家派人過來之類的。於是我就回到主實驗室,找到我的同事兼好友Jack(一個身高180+陽光帥氣執行力強大有男友的男生)吐槽:「機械手纜線斷了好不爽,怎麼報修啊,要跟Joe(我們導師)說一聲吧。」Jack:「告訴Joe幹嘛,你修修不就得了。」我內心活動:(我一個寫演算法的怎麼就讓我修儀器了呢?咱還是另請高明吧。)實際上故作淡定:「等會兒你說啥?」Jack:「修修不就得了,需要幫忙嗎?」
我:「當然,謝」修了一個半下午,順利搞定。我:「我去,我們居然修好了。」Jack:「yeah,want some beer?」我:「Definitely。對了Jack,你本科啥專業來著?」Jack:「Mechanical Engineering」於是直到一切恢復原狀,我們導師才知道這個機械手壞過一次。A: 之所以沒有把這個問題放在腦機介面的視覺皮層研究進展中,是因為二者的研究路徑不一樣。腦機介面是研究接收到一個視覺刺激後,大腦的反應規律是什麼。如何根據大腦的反應規律重構該視覺刺激(visual reconstruction)等等。而解決本問題的方法則是Artificial Visual System(https://www.nidek-intl.com/visual_prosthesis/about/type.html)。原理就是把光轉變為電信號直接刺激視網膜,進而產生視覺。比較重要的是患者需要已經有視覺這一概念,這種人工視覺才能比較順利的產生。換言之,讓盲人看見世界的儀器不知道研發的怎麼樣了。讓盲人重新看見世界的儀器研發的很好。
最後用一句當年我在《科學美國人》上看到的話來結尾:
「我們所想像的一切,都將變為現實。」
原來題主是想從一般人的視角了解一下這個看上去有些科幻的領域進展如何。抱歉,本文很不幸地寫岔了……後來讀了些文獻,又經幾位前輩在評論中提醒,發現本文寫得太不嚴謹。以後有時間和精力的話,我會想辦法重新寫一篇。感謝各位批評指正。
一則亂七八糟的回答能得到這麼多贊,實在是受寵若驚,也受之有愧。———————————————————————————————————————————BCI作為(即將的)碩士方向,半年前開始接觸。本科論文寫了個開頭,感覺到現在多少知道了一點東西,可以來試著答一答題了。不過BCI也是個不小的領域了,沒有進一步的問題補充不曉得該寫到多詳細(專業),很多問題解釋起來比較麻煩。莫非是業內的朋友在釣魚……不會有欽定的感覺嘛?以答主所知儘力一寫,諸位看官閱讀時自去看感興趣的部分就好。
- 寫在前面:
限於答主的層次——國內邊緣學校的強勢專業的邊緣方向,並非BCI相關出身的導師,以及答主本人是個渣渣——僅能從部分期刊、會議,網上資料獲取信息,寫下的答案可能存在較大偏差,還請各位批評指正。
導師兩年前開設BCI方向。從無到有艱難搭建環境開始到現在,追蹤模仿了國內外一些比較成功的實驗,將來希望跟外面合作、做一些實際項目,把已有的技術用到實際操控中去。實驗室只做基於EEG的BCI。
EEG,electroencephalography(至今還沒背過這個單詞……)又叫腦電圖,是一種非侵入式(對人體無損)的腦電採集手段。因其在對人安全、成本相對較低的情況下具有一定的信息傳輸速率,且比較接近理想中簡單、便攜的BCI。其他非侵入式手段如fmRI,成本太高;侵入式快則快矣,但畢竟有安全風險。所以EEG是BCI研究的主流方向之一。EEG做實驗的時候長這樣:(圖片必應自上交機械與動力工程學院)
但EEG的簡便只是相對的,套上電極帽後你仍然需要打導電膏(乾電極受雜訊污染過於嚴重)。頭髮在這裡倒不是特別要緊。雖然有的團隊專門剃光頭來做實驗,不過這邊組裡都不很在意,女生也照做不誤,對結果影響不很明顯。因為導電膏本就可以接觸到頭皮,而且(更悲傷的故事是)EEG信號的雜訊已經夠大了,往往不差這點兒頭髮……
半年裡答主接觸了SSVEP和MI兩類腦機介面。
VEP(visual evoked potential)視覺誘發電位是大腦視覺區對外源刺激的一類應激反應。其下一般分為SSVEP(穩態視覺誘發電位)和TVEP(暫態視覺誘發),現在還有一種CVEP(c for codebook)。除了SSVEP都不太了解。SSVEP簡單來說就是屏幕上一堆方塊以固定頻率(一般8-15Hz)閃爍,受試者「選擇」——將視線集中在這個方塊上,比如以12Hz閃爍的方塊,則視覺區收集到的腦電信號中可以識別出12Hz及其諧波,這樣控制端就知道,受試者就完成了一次選擇。這一「選擇」轉化為命令操控輸出設備,就是BCI的一般用途了。拼寫塊示意圖。[1]MI(motor imagery)運動想像是一種自發性腦電信號。截至目前的研究表明,人的腦電信號存在幾種節律,其中mu和beta節律被認為與人的運動有關。實際運動的時候可以檢測到這兩種節律,但即便只是「想像」著運動一下,運動區也可能會產生這兩種節律——Excited!
因為這回應了最初研發BCI的目的:為無法使用大腦-肌肉通路與外界交流的人提供新的交流通道。巴西世界盃開場時小男孩在「機械盔甲」的幫助下一腳開球,國內報道沒有提技術方面的信息。答主認為就是使用該種範式的成果。- 業界現狀:
老實講,BCI的業界現狀不好說。沒見過最近十年里有大佬們寫的review。而比較新的幾篇,答主並看不懂他們在說什麼……
當然並不是說大家下海賺錢走人了,感覺是繼續撒網,正在努力憋大新聞。比如一四年某期《科學美國人》上提到華盛頓大學某博士和導師做了個BBI腦腦介面:把兩個人連起來,一個人進行腦部活動,檢測出的命令直接發給另一個人;而另一個人什麼都不想,發送的命令直接傳到了肌肉——似乎可以簡化為,一個人的腦子控制了另一個人的軀體,西斯空寂。排第一的前輩答主提到的各類高端技術,限於視野了解不多。答主所知最黑的部分包括米國DARPA資助的個別項目,可參考本題目回答中公眾號「嘯語」的《植入式設備的軍備競賽》等。從答主的學習經歷出發談一下業內比較「大眾化」的成績。
對BCI進行性能評價的幾種標準中,最常用的是ITRs(information transfer rates,信息傳輸速率),可以理解為在特定條件下傳送命令的快慢程度。一二十年前還只能做到幾分鐘傳一個命令——急得收發雙方要憋死——現在則更接近實際應用了。EEG-BCI的幾種範式中,目前最快的是SSVEP,其次是結合了P300等的混合BCI(hybrid BCI)。SSVEP可以快到什麼程度?300+bit/min,每分鐘大概拼寫40個字母[1]。一般人可能不知道,這個速度在我們看來相當可怕,相對之前的數字簡直是跨越式的進步,見下圖[1]。成績雖然突出,SSVEP仍存在很多問題。眼睛盯著閃爍的方塊看極易疲勞,對視力不好的尤甚。答主近視,眼睛易乾澀,有次做實驗前後大概兩個多小時,上百次trial,看到最後只覺得昏天黑地……並且這個300+bit/min幾乎已經榨乾了SSVEP所有的潛力。每次trial的時間為1-1.5s,注視屏幕0.5s/1.0s,休息0.5s/1.0s,想像一下這個強度。雖說實際應用中會有很多餘裕,患者們並不需要特別快的拼寫速度,然而這篇paper的結果實際上在提醒研究者,ITRs到這裡差不多就是極限,腦電幾乎不可能做到更快了。當然SSVEP並非自發腦電。說不定哪天就出現人一動動腦、頭上的設備立刻能知道想法這等神物呢。(手動滑稽然後說說MI。二十多年前,MI勢頭一片大好,當時SSVEP差不多還沒怎麼登上歷史舞台,而MI可以用1.5s的數據以90%+的準確率區分左右手兩類信號了[2]。自發的喲!不需要外源刺激的喲!真正的「意識識別」喲!然後就爆炸了……
研究者們發現,MI在受試者之間的表現差別太大了。有的人(30/80)幾乎不能用這種範式來發命令[3]。此其一。文獻[2]中提出的「共空間模式」(CSP,common spatial pattern)方法成為MI-EEG特徵提取的經典方法,直到今天大量的論文依然是CSP·改。但改來改去,準確率依然難以提升,尤其是在電極數較少(比如個位數)、信號質量不高的情況下。文獻[2]中的結果很難重現。現在經常是採用了複雜度非常高的方法(CSP·改+精巧的分類器——有人為了做個三分類都惦記到CNN/RNN/DBF上去了你敢信),二分類結果才穩定在了90%左右。此其二。最大的問題是,MI能做到的任務數太少了,而隨著任務數增加準確率下降得可怕。由兩分類到三(加腳部活動)、四(加舌頭活動)分類任務,十多年時間過去了,MI方向依然在苦苦掙扎。四分類的準確率目前只有70%左右,這還是用戶訓練+數據優化+高複雜度演算法+長時間調參的結果。而答主本科畢設和接下來的工作就是為實驗室在MI上做一點微小的貢獻。哈利路亞,答主要狗帶啦……- 知名課題組:
國外做侵入式BCI的很多,這方面不太了解。仍然是EEG-BCI,比較著名的研究機構包括:
奧地利Graz技術大學的BCI實驗室,德國柏林工業大學的BBCI、Tübingen大學等是BCI事業的一批先行者,早期做出了一系列開創性的成果,幾次國際會議和國際競賽都由他們承辦;米國的Wadsworth研究中心做BCI在醫療上的研究,開發的開源平台BCI2000在業內首屈一指;加州大學聖地壓狗哦不聖地亞戈分校的SCCN集中了不少該領域的專家,開發了完善、強大的腦電信號分析工具包EEGLAB;紐約大學、華盛頓大學也都有相應課題組。等等。至於國內,首推清華。清華生醫系陣容很強,在BCI上的成績全世界也排得上號。比如文獻[1]的作者陳小剛是清華博士,現在在中國醫學科學院北京協和醫學院;並列一作王毅軍也是清華博士,現在是中科院半導體所博導、SCCN的合作科學家,在清華期間就與同學多次在國際BCI競賽上拿過第一。更別提早些年的業內大佬高上凱、高小榕教授了。
答主認為更重要的是,清華的研究團隊非常完整。BCI是非常前沿的交叉學科,涵蓋信號處理、計算機科學、生物醫學、神經信息學、自動控制、認知科學、心理等等,而只有清北等寥寥幾個學校有實力組建完整的研究團隊。因此這些年積累下來,清華在BCI上的實力答主只能仰望。北大同樣有強大的腦科學研究隊伍,但似乎不怎麼涉及BCI。浙大求是高等研究院。前面說過BCI已經是個很大的領域了,上文之外的大部分內容答主還沒接觸到。浙大的研究似乎以計算機科學為基礎,從AI的角度切入BCI。華南理工自動化學院的李遠清團隊。每年都有論文出,應用居多,可能是國內P300做得最多的實驗室之一。國內的BCI小組其實不少。國防科大、上交、天大、電子科大、北理工、重慶大學都有BCI專項實驗室,東南、華東理工、東北大學、山東大學、西電等也都出過不少學位論文,但規模上相對就小了。一點體會:
BCI是非常前沿的領域,但發展到現在受基礎研究所限(尤其是腦認知科學),短期內很難實用化。如SAO里的潛行設備之類,答主個人保持謹慎樂觀,二十年不敢說,基礎研究沒有突破的情況下,在十年內實現難度非常大。雖說現在相關的商業產品也越來越多,國內似乎不少人想創業搞大新聞(看上去又是想收割一波韭菜……)但真的、真的離大眾所想像的實際應用還有非常遙遠的距離。哦對了,曾偶入X度「腦控」吧,答主當時比連做了一天SSVEP實驗還要懵逼……人的想像力真是一場精彩,答主強烈呼籲全社會關愛精神病患者——「讓我們左手右手一個慢動作……」看答主獻上一個大大的愛心(比至於想做BCI應該學什麼,幾個答案有爭議。
想在該領域深耕,建議讀博,能出國最好,不行去清華也好,原因下面解釋。答主是不行了……讀完碩士自覺當碼農去。答主根據這半年的學習實踐,認為至少應當好好學的有統計學、線性代數(矩陣)、信號處理、機器學習、模式識別等等這幾門學科,代碼能力也要強。
還是舉個栗子。SSVEP近十年來最經典的方法是典型相關分析(canonical correlation analysis,CCA)。CCA與其改進版本可以直接實現特徵提取+識別的過程。要看懂CCA就需要統計和矩陣方面的姿勢。由於理論部分太長和自己太懶,答主至今沒去看原文獻……類似的還有ICA、PCA等。而MI近二十年來最經典的方法就是前面提到的CSP,同樣需要一定的數學功底。其實並不是看不看懂的問題,重要的是這些方法要了解、知道,連了解都談不上怎麼知道問題在哪、應該如何改進?涉及的學科嘛,主要是信號處理、模式識別、機器學習這幾種。更根本的腦科學、神經信息學、認知科學之類,答主覺得還是選修吧,這取決於你將來到底要做什麼。大家做腦電並不都是因為BCI出身,有人原來是做信號分析的,有人是做數據科學的,這樣做BCI只是為了應用(畢設)。答主當然知道神經生理學才是BCI的基礎,但要求人先去學生物,這也是不客觀。- 最後:
一激動寫了近4000字,感覺自己萌萌噠。
答主於BCI所知恐怕連皮毛也算不上,答一個只為拋磚引玉,歡迎業內前輩們批評指正。[1]Chen X, Wang Y, Nakanishi M, et al. High-speed spelling with a noninvasive brain–computer interface[J]. Proceedings of the National Academy of Sciences, 2015, 112(44): E6058-E6067.[2]Ramoser H, Muller-Gerking J, Pfurtscheller G. Optimal spatial filtering of single trial EEG during imagined hand movement[J]. Rehabilitation Engineering, IEEE Transactions on, 2000, 8(4): 441-446.[3]Blankertz B, Sannelli C, Halder S, et al. Neurophysiological predictor of SMR-based BCI performance[J]. Neuroimage, 2010, 51(4): 1303-1309.目前非植入的腦機介面一般使用的是頭皮腦電信號EEG, 主要實現的應用是運動想像和虛擬現實相結合,國內主要做的有清華大學的高上凱團隊,美國明尼蘇達大學的He Bin團隊,他們去年做了一個腦控的直升飛機,可以控制4個方向的運動,其他還有瑞士的Miller團隊主要做的輪椅控制,這種信號的開發比較容易,但是可以控制的運動狀態較少。一般就4種狀態,而且需要前期對計算模型的大量訓練獲得模型參數。
而植入式的腦機介面現在主要是在美國,主要是在人或靈長類動物的大腦皮層植入電極,採集信號做運動控制,但是由於是開顱手術,所以做起來風險較大。這種信號的時空解析度很高,可以控制高維,多自由度的運動,目前最新的實驗可以控制手臂和手的三維運動。 美國匹茲堡的Andrew Schwartz實驗室,和布朗大學的John Donoghoue實驗室都有在做,有美國的Brain Gate計劃資助。==================================================================最近又回到知乎了,來更一下。按照腦機介面電極植入程度來分,主要有非植入式和植入式。因為我主要做的是運動型腦機介面,所以以下說的主要是腦機介面在運動功能重建中的應用。當然在語言,視覺,聽覺中也有腦機介面的應用,但是我不是很了解。。
非植入式的腦機介面大概開創於上世紀70年代,比植入式的早。主要用的是EEG也就是頭皮腦電信號。這種信號的特點是不需要開顱的,直接通過電極採集頭皮的信號,所以比較適用於人,在臨床上可以用於腦電信號監測,判斷大腦是否有異常,比如癲癇等病症。在其他領域比如遊戲,虛擬現實中也有很多的應用。但是由於採集的頭皮腦電,所以信號的精細度不高,信噪比低,信息量少,很挑被試,使用前需要進行大量的訓練。最新的研究表明,這種信號可以實現上肢在三維運動中的軌跡擬合,速度,方向,手勢檢測等。
植入式的腦電信號主要有spike(峰電位), lfp(局部場電位),ecog(皮層腦電信號)。
spike和lfp信號通過針式電極植入皮層採集,信號質量好,運動信息含量大。目前已經有多例人上的成功案例,15年匹茲堡大學實現十個自由度的機械手控制(三維空間中的translation and orientation , 四種hand shaping),但是由於電極植入程度高,容易產生手術感染以及生物排斥反應,還有就是電極尖端的脫落導致信號穩定性差,容易衰減。就比如有興趣的人可以搜Phil Kennedy,這個大牛是第一個做人植入式腦機介面的,因為他無法找到被試採集到數據,所以自己開顱自己植入了一個電極,但是最後由於頭骨裂縫癒合問題導致實驗失敗。
ECoG信號較其他兩種的植入性更小一點,在臨床上主要用於難治性癲癇灶的定位,需要開顱手術將貼片電極放置在硬腦膜上(也有的放在硬腦膜下)。這種信號目前的研究進展為可以實現三維空間中上肢運動參數的重建(位置,速度等),手勢,單手指運動。由於植入程度的關係,這種信號的特點正好介於以上EEG和 spike,lfp之間,包括手術風險,信號質量,覆蓋範圍等。
除了利用腦電信號,還可以用肌電信號來控制假肢。但是對於神經通路不完整的病人來說,比如漸凍人,脊髓損傷病人,或者中風病人來說,肌電信號就有其局限性。
腦機介面要用於臨床應該還有一段路要走,在應用於臨床之前還需要考慮很多東西。比如,病人如何更快更好地學習控制假肢,如何模擬真實運動過程中的本體感覺和觸覺並反饋給用戶,植入電極的安全穩定性,可攜帶型,是否有無線傳輸,其功耗,產熱等相關技術問題, 還有由於神經信號的非穩性,腦機介面的性能是否能長期保持等等問題。
先更到這裡啦,有問題可以留言討論,我的語文是數學老師教的,有些地方如果表述有誤請更正。。。謝邀。
荷蘭一名漸凍症女病人成為了第一個裝配新型大腦植入體的人,這種植入感測器能讓不能說話也不能移動的病人完全使用自己的思想與外界交流!點擊閱讀原文查看論文鏈接。
這種新型植入物是一套腦機介面的一部分,這套介面能夠幫助這位病人拼寫詞語和句子。而且更重要的是,這套介面幾乎可以隨時隨地使用,讓她即使在戶外也能夠與朋友進行交談,而不需要醫療專家在一旁隨時提供幫助。
Hanneke de Bruijne 演示該系統
「這是有史以來的第一例,」荷蘭烏特勒支大學醫學院神經科學家和首席研究員 Nick Ramsay 告訴 CNN,「這是一種可以完全植入的系統,可以在家裡工作,不需要任何專家的協助。」
這位女病人名叫 Hanneke de Bruijne,她在 2008 年被確診患有肌萎縮側索硬化(ALS),不久之後,她的神經細胞就完全萎縮了。
在僅僅不到兩年的時間之內,她就從一個健康人變成了一個沒有呼吸機就不能呼吸的病人,她再也不能移動或說話了。
在 Ramsey 遇到 de Bruijne 之前,她通過一個可以追蹤她眼部移動的系統與外界交流,該系統讓她可以選擇出現在計算機屏幕上的特定詞和字母來組成句子。
但即使這種方法也可能無法長時間使用。正如 New Scientist 曾經報道過的 Jessica Hamzelou 一樣,她是三位因患有 ALS 而失去了運動能力乃至眼動能力的病人中的一個。
Ramsey 想搞清楚如何設計一個完全不用依賴任何形式的物理運動的系統(斯蒂芬·霍金所使用的那個有名的系統依賴於病人對他們的面部肌肉的控制)。
這意味需要打造一種新東西——思想讀取設備。
過去一二十年來,我們已經見過了很多為癱瘓病人或失去肢體的病人裝備的不同類型的大腦植入設備,但這項技術仍然還是一項很新的技術,大部分的研究都是在實驗裡面進展緩慢,很少有能走出實驗室並進入人們的家庭的成果。Ramsey 及其團隊想要打造一款能夠讓用戶在家裡面使用的設備,而不需要醫療專家的持續監管。
「不知怎的,它們從來沒有實現突破而成為臨床應用,」他告訴 CNN,「還沒有人能讓它在家裡面工作。」
該設備是通過外科手術植入大腦之中的,其帶有兩個安裝在大腦皮層運動區的電極,用戶可以通過它們控制運動。
這些電極的確切位置是非常關鍵的——一個必須安裝在大腦中負責右手運動的位置,另一個則會在你想要倒計數時開始工作。
這些電極連接著安裝在 de Bruijne 胸部的起搏器大小的發射器,發射器可以與她面前的計算機屏幕進行無線通信。
當 de Bruijne 注視屏幕時,她會看到虛擬鍵盤上有一個可移動的游標,當游標移動到她想選擇的字母上時,她必須想像右手點擊了那個字母。
腦機介面工作原理示意圖
當然,de Bruijne 無法使用她的右手,但她的大腦仍然可以發出運動的指令,而電極會收集這些信號,傳遞到發射器,然後傳遞到計算機和屏幕上。
僅僅六個月的訓練之後,de Bruijne 已經可以正常使用這套系統了,打字正確率已到 95%。
系統設備示意圖
「使用該設備進行交流是一個緩慢的過程——即使拼出一個單詞也要花上幾分鐘——但隨著訓練的進行,de Bruijne 拼寫的速度越來越快。」Hamzelou 在報告中說道。
「一開始,她需要花上五十多秒才能選中一個字母——現在她只需要花二十多秒時間了。」
雖然有一些對於在病人體內植入機械的質疑聲,但 de Bruijne 認為新系統正讓她變得更加自信,更加樂於與人交流,特別是在自然光照強烈使眼部追蹤設備失靈的情形下。
「現在我已經可以在眼部追蹤計算機不工作的時候出門與人交流了,」她告訴 Hamzelou,「我變得更加自信和獨立。」
當然,迄今為止,這個系統只在一名患者身上得到過測試,儘管這是一項巨大的突破,科研團隊也正在將設備轉移至 Bruijne 的家中,但它在下一個受邀患者身上可能就沒那麼成功了,我們對此只能保持謹慎的樂觀。
Ramsey 的下一個目標是通過增加電極來加快 de Bruijne 的交流速度。他希望在未來能夠將這一系統發展成具有 30 到 60 個電極,可以更快地解碼手語和內部語音。
「那時你就可以拼寫聾啞人的手語了。」他告訴 CNN,「這是我們的目標」。
這項研究已在《New England Journal of Medicine》中發表。
論文:在一個患有肌萎縮側索硬化(ALS)的閉鎖綜合征患者中的完全植入式腦機介面(Fully Implanted Brain–Computer Interface in a Locked-In Patient with ALS)
對於患有嚴重癱瘓而失去了說話能力的病人而言,沒有多少可以與外界進行交流的選擇。我們描述了一種可被患有晚期肌萎縮側索硬化(ALS)的病人用於交流的方法,該方法涉及到一種完全植入式的腦機介面(brain–computer interface),其包含了安裝在大腦皮層運動區的膜下電極(subdural electrodes)和一個安裝在胸部左側皮下的發射器(transmitter)。通過嘗試移動在植入的電極另一側的手,該病人在被植入了電極 28 周之後,已經能夠準確和獨立地控制一個計算機打字程序了,差不多一分鐘可以打出 2 個字母。這個腦機介面提供了一種自動化的通信方法,可以補充甚至有時候可以取代該病人的眼部追蹤設備。
重磅 | 世界首例成功的人類腦機介面實驗:讓全身癱瘓病人可以通過思想進行交流
參考文章:
This World-First Brain Implant Is Letting a "Locked-In" Woman Communicate
Brain implant helps woman with ALS communicateFirst home brain implant lets 『locked-in』 woman communicate
機器接管眼球——人工視網膜 - 寫給萬分之一的創新者 - 知乎專欄
機器接管肌肉——功能性電刺激 - 寫給萬分之一的創新者 - 知乎專欄機器接管觸覺——缸中之人還有多遠(上) - 寫給萬分之一的創新者 - 知乎專欄機器接管觸覺——缸中之人還有多遠(下) - 寫給萬分之一的創新者 - 知乎專欄腦機介面前沿—腦電EEG - 寫給萬分之一的創新者 - 知乎專欄
腦機介面前沿—掃描破解大腦 - 寫給萬分之一的創新者 - 知乎專欄腦機介面前沿—植入式設備的軍備競賽 - 寫給萬分之一的創新者 - 知乎專欄腦機介面前沿—缸中之腦能否實用化 前篇 - 寫給萬分之一的創新者 - 知乎專欄腦機介面前沿—缸中之腦能否實用化 後篇 - 寫給萬分之一的創新者 - 知乎專欄意識上傳三部曲:意識上傳不是科幻 - 寫給萬分之一的創新者 - 知乎專欄漸進永生:實現意識上傳的兩種技術路線 - 寫給萬分之一的創新者 - 知乎專欄目前最具體的意識上傳路線就在這裡 - 寫給萬分之一的創新者 - 知乎專欄第一次回答,研究方向就是腦機介面。腦機介面研究分三個環節,信號採集,特徵提取和設備控制。信號採集就是收集大腦產生的腦電信號送去計算機分析;但採集到的信號是很微弱而且心電肌電的干擾也很大,為了能夠利用這些信號就要進行特徵分析來提取需要的腦電分量;提取到了腦電分量就可以做一系列應用了,但現在能做的基本局限於事先存儲一系列腦電信號,然後與採集到的信號做對比來判別人的意圖。雖然腦機介面前景非常好,但目前能繼續系統性往前推的只有前面所說的對信號的分類,因此個人覺得在人類對大腦和神經有進一步的了解之前這個領域很難有實質性的進步和爆炸性的應用出現。
我就寫一下我知道的情況吧~
#neurogaming 意念遊戲
說到遊戲大家應該都會蠻感興趣的!University of Graz做過腦電控制魔獸世界!他們用的演算法是運動想像,於是想像左手/右手控制可以控制人物左右轉向,想像雙腿運動可以控制人物前進。
#BrainDroneRace 是University of Florida主辦的腦控無人機競速大賽,據說只要想著飄起來就能飄起來,還可以控制無人機的方向。(更新:視頻里他們的腦電頭戴用的是Emotiv)。Neurosky,Emotiv和OpenBCI都分別做過類似的腦控無人機,因為這個idea很酷嘛 =)
Neurosky用他們的晶元推出過名叫Star Wars Force Trainer的玩具,是一個非常成功的營銷案例。隨後他們又推出了Mindflex的漂浮球玩具,只要集中精神,藍色小球就會隨之漂浮到空中,看起來很酷。這個據說靈感來自哈利波特裡面的魁地奇球,只是後來因為版權沒談妥所以改了名字。
2016年5月在San Francisco有一個專門關於神經科學應用和Neurogaming的會議:XTech 2016 - Experiential Technology NeuroGaming Conference and Expo。2016年6月在紐約舉辦了NeuroTech NYC會議,其中提到了關於腦電分析以及神經電刺激治療自閉症等等的應用。2016年Games for change大會在紐約舉行,其中有一個track專門關於Neuroscience。
#紐約
OpenBCI的總部在紐約布魯克林,它致力於腦電設備的低廉化,普通幾萬刀的設備,類似性能成本可以控制在一千刀以下,簡化版晶元甚至到一百刀。很多其他大學的研究所比如做腦腦介面的華盛頓大學對它都很感興趣。有不少創意project是基於OpenBCI實現的。它的headset可以在任何一個地方3d列印,藍牙無線連接,帶加速度感測器。圖中的headset是mark iii supernova。
Community Page: OpenBCI 裡面有不少好玩的project以及相關教程
紐約還有不少類似做neuroscience,甚至ultrasound刺激以及tDCS的小公司。這邊還有很多講座比如最近World Science Festival就有專門關於腦腦介面的講座,來了UW,Harvard,Duke和Weill Cornell Medical College的很多教授。
布魯克林曾經還有大型表演,演員躺著,隨著他放鬆精神,就慢慢從舞台上真的飄起來,類似這樣子。世界上第一個Cyborg(半機械人)Neil Harbisson也曾經來紐約做表演。
#其他腦電產品
市場上比較有名的還有Neurosky, 他們的頭戴仍然只有一個乾電極,但是最近除了concentration還加了meditation演算法,基礎應該是腦電頻域分析,比如alpha, beta波。基於他們的晶元還出過腦電玩具Mindflex以及情緒貓耳Necomimi。
Emotiv也很有名,據說可以training多個分類器,包含提升,下墜,消失等動作的想像,以及大量面部情緒,用來作為控制器。技術基礎猜測是頻域分析和模式識別。沒實際用過。上過TED。
類似的產品還有Muse,主要用途是輔助冥想。
#其他技術
除了頻譜分析和運動想像,BCI常用的技術就是SSVEP了,就是說盯著不同地方看,因為那些地方閃不同頻率的光,所以可以知道你盯著哪裡,然後用來打字。沒聽到什麼動靜。最近倒是有眼動儀做交互,眼睛移動就可以控制翻頁啥的,感覺比這更直接更靠譜,還不容易被閃瞎…
ERP(事件相關電位)倒是常常被用於教育和認知方面的實驗,東南大學交互設計實驗室甚至用它測試界面的可靠性。
腦腦介面是BCI的延伸,除了了解腦,還要控制腦(條件很苛刻,腦控患者請放心…)刺激手段有tDCS,超聲,etc…
了解腦的手段還有fMRI,Harvard Medical School的Seung-Schik Yoo教授說他們可以做real time的fMRI了,搜到了相關文獻,好像沒聽錯?!
Mindset XWave openBCI,我只知道有這麼幾家在做.MAKE雜誌有一期介紹過這個.希望有生之年能玩上SAO.
摘了下Quora上2012關於這個問題的回答,雖然是三年前的答案,但是還是適用於今天再來回答,因為這幾年來腦機介面的突破並不是太大,包括我了解到神念國內公司的腦機介面感測器還是處於一維的測量階段。Emotiv的不是特別了解。客觀的來說,腦機介面技術尤其是腦機介面設備還是處於非常初級的一個階段。市場上真正研究腦機介面的商業公司屈指可數(Emotiv, OCZ以及神念Nerosky是其最終比較有名的三個)。但是現階段對於腦電波控制手段局限性還是非常大的。一般我們常說的BCI是指非入侵式的腦機介面,就像我們常看到的將檢測點擊粘到頭部以檢測腦電波;而BMI則是入侵式的,也就是直接將檢測電極放進你的顱內。可
能說起BMI會覺得特別有意思,但實際上,到目前為止已經有十年到十五年的時間內關於運用在人體上的BMI技術沒有任何有意義的進展。BMI技術研究的主
要方向是用來幫助截癱病人和閉鎖症患者。現在生產用於研究用的BMI設備的公司確實不少,像Plexon, Neuralynx, Rippl,
BlackRock Microsystems, 以及TDT都是其中名氣比較大的。但是除了美國布朗大學研製的BrainGate
II運用到臨床試驗上外,沒有一個公司的產品用於真正意義上的臨床試驗。BrainGate II是針對截癱患者做的試驗,用BMI讓截癱患者控制一個機械手臂成功的喝到了杯子里的水。這是一個不完善的試驗,所以並不不能廣泛應用。因為還有很多關鍵性的問題得不到解決,比如以下三點問題:1.
腦機介面技術需要同時記錄成千上百萬個的神經元的活動,但是目前我們的技術只能達到同時記錄幾百個神經元。目前還沒有一個系統能夠同時記錄那麼多神經元
的活動。這點極大的限制了BMI目前的研究。值得注意的是有些研究人員提出這個問題並沒有想像中的那麼棘手,因為有可能通過找到最關鍵的那幾個神經元就可
以完成腦電波的控制。
體內排斥反應:安裝進腦部的感應電極並不受人體的免疫系統的歡迎,這就可能有潛在性的長期副作用。而且安裝進腦部的檢測感測器也可能會隨著時間而失效。
這個問題的解決方案有將極小的對人體無害的感應電極放進腦內以至於免疫系統沒有發現(暫時還不知道有沒有這種可能),或者是製造一種生物合成感應電極,或
者是一些還沒發現的方法。3. 開顱,安裝腦部感測器的手術非常危險。但是我們知道的是,腦機介面肯定會有在社會上廣泛應用的一天,而且隨著最近幾年科技飛速的發展,誰都不會想到這一天是不是會馬上到來。而且,值得注意的是,其實我們現在每個人都已經擁有自己的意念控制設備——你的雙手。(轉載於:PCBA行業新聞)
昨天看到一個新聞,感覺BCI時代的來臨,可能比我們想像的要早一點。《大腦植入技術讓癱瘓的猴子再次行走》摘要:
通過大腦植入技術使無線信號繞過受損的神經,科學家們終於讓因脊椎受傷而癱瘓的猴子再次學會了行走。這是首次使用植入技術令癱瘓的靈長類動物恢復行動的能力,同時也為脊椎受傷患者的治癒帶來了新的希望。
...這種「腦-椎介面」可以說是高速發展的神經義肢領域最具突破性的進展。該領域的科學家希望通過讀取腦部活動信息,對計算機、機械臂乃至癱瘓的四肢進行控制。......大多數脊椎受傷的患者,其脊椎並沒有完全斷開,只是不能像以前一樣自如地移動四肢。通過「腦-椎介面」,讓剩餘的神經元加強大腦與脊椎間的聯繫,並最終重新獲得對軀體的控制功能。
微信原文:
大腦植入技術讓癱瘓的猴子再次行走沒人知道進展到什麼程度了。最先進重要的的科技永遠都在各國軍事應用方面。。如網際網路最原始的旦生地是軍事應用一樣。。。
等技術發展到一定程度,必然要利用納米機器人,它們可以提供組合鏈接,可控的形變,和智能替換修復,未來屬於納米機器人,可以從分子級構建任意智能形態。。。充滿期待
估計想要控制的更精細。。不動刀不出血,單靠外部數據採集來分辨人的思維,是沒辦法深入的,這個技術只能先供給殘疾人或非常熱熱衷於此控制方式的GEEK用
浙大的學生腦控小白鼠,但仔細看了視頻,轉彎的時候好像是相應的眼睛在眨個不停,不像是用腦電在控制,哪個大神能給解釋一下啊,[挑戰不可能]浙大學生黃麗鵬挑戰腦電波操控小白鼠走迷宮_CCTV節目官網-CCTV-1_央視網(cctv.com)
腦機介面作為一項工程技術,可以劃分為以下幾類:
1、按照測量的空間尺度,有腦電、紅外、皮層外電極和皮層電極;2、按照測量的時間尺度,有代謝信號和神經元放電信號。從兩個尺度上來講,從到右解析度都在升高。解析度的概念是得到有用的、區分精細的信息的量。那麼按照這樣的數量,很明顯知道,用皮層電極,測量神經元放電信號,得到的信息是最有用的,得出來的解碼信息也是最全的。然而,要得到這麼全的信息也要付出巨大的代價——開顱向皮層上方植入皮層。國外的很多大學已經做出了這樣的結果,如匹茲堡、斯坦福、杜克的機械臂。相比於腦電(即腦電帽)信號,能夠精確地控制機械臂的運動,有多精細呢?腦電信號是一個簡單的分類器,而神經元放電則可以精確地解碼運動的意圖。打個比方,比如我想移動一個機械臂,我只要想像我的右手端點(大概是手掌中心的位置)怎麼移動,機械臂就會怎麼移動,而腦電為了完成精確地分類,則要想像一個場景 ——比如大海,機械手臂會向上移動,再想像一個場景——比如雞吃米,機械手臂的運動才會停止。那麼,為什麼要研究運動?因為相對於高級的認知,比如說語言、決策、計算等等,運動是一個簡單而又方便測量的信號,概念需要語言的表達,而對於語言的認知,不光不同語言不一樣,甚至每個個體都存在於一些差異。目前的研究只存在於感覺和運動的部分。要想讓研究快速的進展,還需要測量技術的進一步發展,即開發穩定、能夠長期採集數據的電極,或者不需要侵入,能夠讓廣大群眾大範圍運用的電極。我認為,人工耳蝸,某些神經刺激器都實現腦機介面用。這些方面的技術已經有近50的技術實戰。其安全性被認可。
更新一個最近導師的新聞。通過高密度的ECoG實現了單個手指精度的控制。
- Guy Hotson, David P McMullen, Matthew S Fifer, Matthew S Johannes, Kapil D Katyal, Matthew P Para, Robert Armiger, William S Anderson, Nitish V Thakor, Brock A Wester, Nathan E Crone. Individual finger control of a modular prosthetic limb using high-density electrocorticography in a human subject. Journal of Neural Engineering, 2016; 13 (2): 026017 DOI: 10.1088/1741-2560/13/2/026017
複製本人的專欄文章來回答這個問題。
經過上一篇文章對EEG和腦機介面(BCI)的知識普及,本篇文章將分析以EEG為基礎的BCI技術(EEG Based BCI)在醫學和日常生活場景的應用及挑戰。
目前和近期的將來,EEG Based BCI(非侵入式) 應用於並不限於以下五個領域:
運動輔助/替代(Motor Rehabilitation/ Substitution )
神經功能治療/調節 (Brain function regulation)
溝通互動(Speller)
娛樂/遊戲/VR (Entertainment/gaming)
大腦狀態監控/身份識別-腦紋(Mental State Monitoring/Identifying)
1.運動輔助/替代
運動輔助系統:脊髓損傷、肌萎縮側索硬化(ALS)、腦幹中風的病人,從大腦到肌肉的神經通路被阻斷或損壞,或者肌肉無法正常地完成神經指令-收縮或舒張。因這些病人的大腦神經系統是正常的,那麼就可以通過BCI搭建一個外部的『神經通路』來直接控制外部設備來輔助肢體完成意向的動作,如下圖中的上肢運動輔助系統【1】。
原理:把多電極陣列(一般為電極帽)緊貼運動神經皮層,如上篇文章所述C3、C4、Cz、T3、T4等區域,獲得大腦運動意圖的腦電信號EEG,並對這些信號進行解碼和分類(一般用機器學習-Machine Learning分類,屬於AI 人工智慧的範疇),獲得與意向相匹配的控制指令,從而操控外部運動輔助設備。但是,ERD/ERS(狹義上的EEG)的空間解析度比較差,噪音也比較大,很難僅從ERD/ERS分析獲得精確的控制意圖/指令。那麼就需要結合誘發電位如P300和SSEP等,進行多維組合分析來獲得相對精確的控制意圖/指令。這些指令傳達到外部機電設備後,多通道電動馬達被驅動完成相關動作。
當然,病人需要一定的訓練和反饋來獲得相對精準的控制能力,完成意向的指令動作。至於訓練的周期和控制的精準度,與病人本身的神經狀況、BCI硬體系統、演算法等相關。
運動替代系統主要應用於有肢體殘缺的殘疾人,比如智能義肢和智能輪椅。這類系統往往需要結合EEG和身體其他的生理信號,如EOG(眼電)、EMG(肌電)等,即上篇文章所述的Hybrid System,控制原理如下圖【2】。
結合了肌電信號的BCI系統,因肌電信號強(90mV~-30mV,比腦電信號高兩個數量級),規律性簡單,所以通過信號分析,可獲得很高的控制精度,而且使用者所需的訓練也較少。
以上整套系統還處於臨床實驗階段,市場上還未出現成熟的產品,但可以預計在5~10年內就可以實現商業化(美國FDA已經批准該系統中的一些局部產品,如肌電控制系統,系列第三篇文章詳述BCI相關產品和進程)。
2. 神經功能治療/調節
目前,EEG應用最為廣泛的領域在神經科學,尤其用於神經反饋訓練(Neurofeedback training)等神經功能治療/調節。神經(腦電)生物反饋治療是藉助於腦電閉環反饋系統(如上篇文章所示圖6)採集大腦皮層各區的腦電活動節律,通過腦電分析使用者的神經狀態,並用視覺和聽覺信號刺激進行正反饋訓練(Reward,給用戶帶來心理所期望的結果,一般會產生愉悅感),選擇性強化某一頻段的腦電波以達到預期的治療目的。美國FDA已經認證的二類醫療器械中,有多種產品使用神經反饋訓練來輔助治療多動症(ADHD),神經性紊亂等。
依據神經反饋治療多動症的場景如下圖【3,4】。目前,神經反饋訓練還需要訓練師實時監控調節(如美國FDA要求),而從技術上來說已經實現了自動化的攜帶型的(可穿戴)閉環反饋系統,預計近期市場上會出現一些成熟產品。
另外,基於EEG的神經反饋訓練以後被有望用於治療癲癇(Epilepsy)、自閉症(Autism)、老年痴呆症(AD)等多種神經疾病。
同時,市場上已有應用於非醫療目的的日常使用產品,比如提高注意力,調節情緒,激發神經潛力 - Brain Function Optimization(如提高運動員水平)的電子產品(以後我會專門開闢一個系列講述神經反饋訓練)。
3.溝通互動
喪失與外部環境溝通互動能力的病人,可以使用BCI根據外部環境變化做出及時反應,其中最成功的應用是基於腦電P300波的言語拼寫系統(Speller)。BCI Speller最著名的例子是斯蒂芬霍金使用的言語輔助系統(由intel和swiftkey開發),如下圖【5】。
基於P300波的speller系統原理是使用者所關注的視覺刺激和由此誘發的腦電成嚴格正相關和固定時延(300ms),因此該BCI系統可獲得使用者的意圖或選擇,從而實現自動呈現相關字母和句子的言語功能,如下圖【6】。
電腦屏幕上出現26個字母和10個數字元號,每個符號都對應一個特定的閃爍頻率特徵。如用戶想在電腦上打出字幕『O』, 她會用眼睛盯著這個字母,而這個字母每次的閃爍都會讓用戶產生一個固定時延的P300波。如果『O』被BCI定義為閃爍3次,間隔為0.5S,那麼當BCI捕捉到用戶的這個腦電反饋模式後,即可判斷用戶在選定『O"。如果符號閃爍系統設計合理,用戶的腦電』打字『速度不會比正常人在電腦上手打速度慢。
當然,如上篇文章所述,SSVEP信號也可被用於Speller控制系統。
基於EEG的BCI Speller系統最大的優勢是不需要對用戶進行任何訓練,而且符號識別率非常高,對於肌肉萎縮或肢體殘缺的人群有非常好的應用前景。
4.娛樂/遊戲控制
』腦控『,尤其是結合VR的腦控遊戲概念已經成為近兩年的熱門話題。腦控遊戲的實質是:腦電信號採集和分析系統根據大腦在不同刺激狀態的反應-腦電的頻譜特徵,做出分類邏輯判斷,並對判斷結果賦值,然後對遊戲輸入這些狀態控制值,並轉化為新的視覺和聽覺刺激,遊戲者也從相應的無手控制中(free-hand)獲得成就感和快樂,如下圖【7】。
過程原理如下圖:
這些BCI系統也可以用於實物玩具中,如下圖所示的專註力控制競技與合作的遊戲【8】。
一般,這些BCI娛樂系統會與特定的訓練相結合,不僅給用戶帶來娛樂性,還有相應的神經功能調節作用,如加強注意力等。目前市場上還有一個趨勢:把VR和BCI相結合,增強用戶的軟硬體體驗感。尤其把神經反饋訓練融入VR和BCI,可能會增強訓練效果。
雖然市場上已經有很多基於EEG的BCI遊戲軟硬體系統,但因其非醫療用途,需求剛性低,加上信號採集、分析和穿戴設計等問題,帶來的控制精度比較低,體驗感不強,這也是腦控遊戲概念很火熱,但實際市場並不旺盛的根本原因。
5.大腦狀態監控/身份識別-腦紋
由上一篇文章可知,不同頻段的腦電特徵代表著大腦不同的工作狀態。可穿戴的被動式腦電監測系統(Wearable Passive EEG Monitor)可以被用來實時監測癲癇病人的神經活動,並作出實時分析和狀態預警(癲癇發作前幾秒甚至前十幾分鐘腦電的模式會異常),當這套系統與實時通訊連接起來,這對突發癲癇的患者和整個醫療系統非常有意義,其在移動醫療中有非常可期待的前景,如下圖【9】。
在非醫學領域,監測使用者的精神狀態也是一個有前景的應用,如監測危險工種勞動者的精神狀態,比如疲勞、睏倦、焦躁等。尤其,當EEG結合EOG(眼電)用來監測礦工和司機的疲勞狀態並進行及時的預警和干預是非常有效的。市場上已經出現了監測腦電狀態的安全帽,如下圖所示【10】。
腦紋【11】:據美國《赫芬頓郵報》報道,2016年紐約賓厄姆頓大學科研人員用腦電圖頭套記錄了50名志願者的大腦活動。參與者瀏覽經過篩選以引起獨有反應的500幅圖片,研究人員則在參與者觀看圖片時掃描他們的大腦。研究結果顯示,參與者大腦對每幅圖片的反應都不一樣。由此,研究人員設計的計算機程序能夠繪製出每個人的「腦紋」,識別準確率達百分之百。
研究人員稱,「腦紋」在鑒定身份方面也許比指紋具有一些潛在優勢。比如,如果一個人的指紋遭竊,基本上是無法挽回的。而「腦紋」則具有能被撤銷的可能性。如果發生極個別的情況,黑客真的能夠從授權用戶那裡盜取「腦紋」,授權用戶也能重新設置「腦紋」。
6.基於EEG的BCI應用的技術挑戰
A. 採集的信號質量。由於腦電信號本身很弱,微伏數量級,很容易淹沒在各種雜訊中。腦電信號的質量(信噪比)主要取決於感測器(電極),硬體電路系統(放大器,處理晶元及整體設計等)。
B.信號解析和反饋/控制演算法。腦電信號非常複雜,空間解析度較低,大部分信號規律性不足,邊界模糊,導致信號的解析分類的準確性面臨很大挑戰,尤其是只用狹義上的EEG作為信號源的系統。基於機器學習的人工智慧(AI),如支持向量機SVM等雖能大大提高信號解析的準確性,但因對大量數據的實時性分析等需求對硬體系統的要求變得更高了。
C.人體工程學。目前,基於EEG的BCI系統主要是以電極帽(塗導電膏的濕電極)為採集設備,電腦PC為處理器,多導線連接而成。這種系統不僅無法便攜,需要特定的空間,使用者的舒適度和體驗感都非常差。從機械設計上來說,使用者希望有一種穿戴舒適(利用乾電極),操作輕便和靈敏反應的系統,這不僅對電路、演算法系統提出了很高要求,也對產品形態設計、機械設計、生物材料等一系列人體工程學需求提出了挑戰。
當然,研發和製造成本也是以EEG為基礎的BCI主要挑戰之一。
參考資料
【1】Towards Noninvasive Hybrid Brain–Computer Interfaces: Framework, Practice, Clinical Application, and Beyond. By Gernot Mu¨ller-Putz, Member IEEE, Robert Leeb, Member IEEE,etc
【2】Robotic arm, www.abc.net.au
【3】What"s Neurotherapy? www.stresstherapysolutions.com
【4】How Neurofeedback works? www.braintrainuk.com
【5】IBrain to allow Stephen Hawking to communicate through brainwaves alone www.newatlas.com
【6】Electroencephalography (EEG)-Based Brain- Computer Interfaces, Fabien Lotte, Mauren Clerc etc.
【7】The future of ADHD treatment is drug free BCI based therapy, www.neurogadget.com
【8】NeuralDrift, a collaborative multiplayer BCI game inspired by the move Pacific Rim,www.neurogadget.com
【9】Seizure detection, seizure prediction, and closed-loop warning systems in epliepsy, Sriram Ramgopal, ect.
【10】Smart cap, www.smartcaptech.com
【11】新華網,「腦紋」取代指紋?識別身份更安全-新華網
之前好像是看極客世界,有個人是失明了還是失聰了,頭上植入了一個長得像燈泡魚的燈泡一樣的東西來接受外界信號。
學弱表示感覺研究這個還不如研究怎麼吃硫磺就能活下去。
推薦閱讀:
※如果人類文明被毀滅,現有現代化科技全部消失,只剩下小部分人,他們能依靠智慧恢復到現在的文明水平嗎?
※如果真的存在時間旅行,為什麼沒有未來的人來到現在呢?
※為什麼絕地和西斯不能連續使用原力?
※有沒有考慮過史前文明的存在可能?
※為什麼天空中很少有巨型生物?