浙江大學吳朝暉：腦機融合系統綜述
腦機融合系統綜述
吳朝暉*，俞一鵬，潘 綱，王躍明
(浙江大學計算機科學與技術學院，杭州 310027)
摘要 ：腦機介面是生物腦與電腦或機器之間的一種直接連接通路。腦機融合計算系統是一種基於腦機介面技術，綜合利用生物智能和機器智能的新型智能融合系統，其在醫療康復、生活娛樂和軍事偵查等方面具有巨大的應用開發潛力。本文首先從信息傳輸的角度簡述由腦機介面到腦機融合的發展趨勢 ；其次重點闡述腦機融合系統的概念及其研究所面臨的挑戰，並分三個層次介紹當前若干典型相關工作 ；最後介紹吳朝暉課題組在腦機融合計算系統方面的相關工作。
關鍵詞 ：腦機介面 ；腦到腦 ；腦機融合 ；層次化計算模型
中圖分類號 ： Q983.5 ；TP242 文獻標誌碼 ：A
Brain-machine integrated systems
WU Zhao-Hui*, YU Yi-Peng, PAN Gang, WANG Yue-Ming
(College of Computer Science and Technology, Zhejiang University, Hangzhou 310027, China)
Abstract:Brain-machine interface (BMI) is a direct communication pathway between the brain and an external device. Brain-machine integrated systems are a new kind of computational systems based on BMI, which aims to combine living beings』 intelligence and machines』 intelligence. It has a great potential in many applications, such as clinical rehabilitation, entertainment, and military surveillance. This paper presents the advances, trends, and challenges in brain-machine integrated systems, and introduces our work in this emerging field.
Key words:brain-computer interface; brain to brain; brain-computer integration; hierarchical computation model
腦機融合系統綜述
吳朝暉*，俞一鵬，潘 綱，王躍明
生物智能與機器智能各有所長，具有很強的互補性。機器智能擅長於海量存儲、快速搜索及精確數值計算等，人類智能優於抽象思維、推理、學習等高級智能活動，而動物在環境信息感知、覓食求偶逃生等方面表現出遠勝人類的智能行為，如大鼠的空間記憶和蜜蜂導航過程中的路徑優化等。腦機介面是連接腦與計算機的雙向信息交互通道，通過記錄神經元信號解析大腦意圖，將解析結果映射為指令從而控制外圍設備，同時外圍機器端也可以通過腦機介面通道向生物端輸入刺激命令或者反饋信息，從而達到驅動生物體的目的，以實現更為精細智能的控制。腦機介面技術在最近20年中日趨成熟，從單向、開環的輸出控制模式，發展到雙向閉環的互適應交互模式，並正朝著腦機融合的方向前進，腦機融合的計算系統便是在這種背景下應運而生。腦機融合計算系統是基於腦機介面技術的新型智能融合系統，通過腦對機與機對腦的雙向信息感知、解析與理解，形成腦與機多層次融合的智能模式，以達到機器智能與生物智能的充分互聯。
1
腦機介面
腦機介面(brain-machineinterface,BMI)是指不依賴常規的脊髓/外周神經肌肉系統，在腦與外部環境之間建立一種新型的信息交流與控制通道，實現腦與外部設備之間的直接交互[1]。「腦」一詞意指有機生命形式的腦或神經系統，而並非僅僅是「mind」，「機」意指任何處理或計算的設備。腦機介面涉及信息科學、認知科學、材料科學和生命科學等領域，對智能融合、生物工程和神經科學產生了越來越重要的影響。腦機介面有多種分類方法，本文從信息傳輸方向的角度將其分為四類：由大腦到機器、由機器到大腦、由大腦到大腦，以及腦機融合。
1.1 腦到機
該類腦機介面系統的基本原理是：通過腦信號檢測技術獲取神經系統的活動變化，再對這些信號進行分類識別，分辨出引發腦信號變化的動作意圖，再用計算機把思維活動轉變成命令信號驅動外部設備，從而在沒有肌肉和外圍神經直接參与的情況下，實現大腦對外部環境的直接控制。其信息傳輸方向由大腦到機器。典型應用有：Chapin等[2]用人工神經網路演算法將大鼠運動皮層神經集群電信號轉換為水泵控制指令，首次實現了大腦對外部設備的直接控制；浙江大學的研究團隊成功實現猴子通過腦信號控制機械手完成抓、握、勾、捏四種不同的手部運作[3]；美國四肢癱瘓長達十五年的中風患者Cathy通過意念控制機械手，完成了自己抓取杯子喝水行為[4]。
1.2 機到腦
該類腦機介面系統的基本原理是：通過對生物的大腦或者其他神經系統的特定部位施加精細編碼的外部刺激(如微電刺激、光刺激)，來喚醒或控制生物的某些特定感受和行為。其信息傳輸方向由機器到大腦。根據刺激對象(動物和人)不同，可以將其可以分為兩類：動物機器人和神經康復。動物機器人的典型應用有：大鼠機器人[5]、蟑螂機器人[6]、飛蛾機器人[7]。神經康復的典型應用有：康奈爾大學維爾醫學院採用中部丘腦刺激方法喚醒了一個腦外傷6年而處於最小意識狀態的患者[8]；日本大學醫學本部嘗試採用深部腦刺激治療植物狀態(vegetative state,VS)的患者[9]。
1.3 腦到腦
大腦與大腦之間的網路通信是通過對一個大腦的神經信號進行實時解碼，並將解碼結果重新編碼後直接傳輸到另一個大腦，從而對另一個大腦產生作用。其具有帶寬小、強實時性，以及安全性要求高等特點。大腦與大腦之間的直接通信可作為一種新型的生物體與生物體之間的交互途徑，其對神經康復、腦機協同等方面的研究也具有重要的參考價值。相關研究目前在國際中還比較少見：華盛頓大學的研究者將檢測到的實驗者A想像右手動的頭皮腦電信號轉化為經顱磁刺激，作用於實驗者B大腦的左運動皮質區，令B的右手向上移動[10]；Seung-Schik等[11]將人腦的穩態視覺誘發電位轉化為超聲波聚集刺激，作用於麻醉大鼠腦部的特定運動區域，使大鼠的尾巴移動；Pais-Vieira等[12]則構建了一個鼠腦與鼠腦之間的通信網路。
1.4 腦機融合
腦機融合是腦機介面技術發展的必然趨勢。在腦機融合系統中，大腦與大腦、大腦與機器之間互相傳遞信息。大腦與機器兩者互相適應、協同工作，把生物腦的感認知能力與機器的計算能力完美結合，生物和機器在信息感知、信息處理、決策判斷，甚至記憶、意圖多個層次相互配合。腦機融合的相關研究有：2009年，DiGiovanna等[13]設計了基於強化學習的互適應腦機介面系統，利用獎懲機制調節大腦活動，機器採用強化學習演算法自適應控制機械臂運動，實現了性能更為優化的機械臂運動控制；2010年，Fukayama等[14]通過提取和分析老鼠的運動神經信號來控制一輛機械車；2011年，Nicolelis團隊在Nature雜誌上報道了一種新型的腦-機-腦信息通路的雙向閉環系統，在對猴子大腦神經信息進行解碼的同時將猴子觸覺信息轉化為電刺激信號反饋到大腦，實現了腦與機的相互配合[15]。
2
腦機融合系統：概念與挑戰
腦機融合系統是通過腦機介面技術，以綜合利用生物(包括人類和非人類生物體)和機器能力的計算系統。與傳統計算系統相比，腦機融合計算系統具有三個顯著特徵：(1)對生物體的感知更加全面，包含表觀行為理解與神經信號解碼；(2)生物體也作為系統的感知體、計算體和執行體，且與系統其他部分的信息交互通道為雙向；(3)多層次、多粒度的綜合利用生物體和機器的能力，達到系統智能的極大增強。
2.1 應用前景
腦機融合的計算系統有兩個主要的重大應用：神經康復和動物機器人系統。在神經康復方面，藉助腦機融合計算系統，可以直接建立腦與外部設備之間的信息互動與交互控制，高效地實現殘障人士機能補償與功能重建。面向運動功能重建的腦機融合計算系統將為老年人或殘疾人提供智能與機能增進技術，提高生活質量，減輕家庭和社會的負擔，具有極其重要的社會意義。
在動物機器人系統方面，腦機融合計算系統可以實現對動物運動行為的有效控制以及感知覺功能的合理增強。相比傳統機械機器人，動物機器人在能量供給、運動靈活性、隱蔽性、機動性和適應性方面具有更大優勢，更加適合在軍事重地、核輻射區和災區等危險場地執行複雜環境搜索、空間檢測、反恐偵察等各種任務。以生物智能為主導的腦機融合計算系統，可以巧妙利用傳統機器人的計算能力與動物機器人的感認知和執行能力，這在國防安保等領域具有廣闊的應用前景。
2.2 面臨的挑戰
生物智能的引入也為腦機融合計算系統帶來極大的挑戰。系統構建需要引進多種學科的先進技術，如認知神經科學、材料科學和信息科學等。目前腦機介面技術只能實現簡單的信息讀出和輸入，大腦端和機器端的能力難以做到相互適應、深度融合，主要面臨以下挑戰[16]。
(1)如何獲取穩定的神經信號。在神經信號獲取方面，高通量神經信號的實時獲取和預處理是重要挑戰，目前國內外已研發了各種微電極、光成像系統來克服這一困難。但是，多點記錄問題、信號的長期穩定性，以及對設備的全植入要求依然是很大的難題。
(2)如何有效地對生物的神經系統進行干預。大腦是一個神經元聯接的巨型複雜系統，具有很強的自組織性和自適應性。揭示生物神經系統對客觀世界的感知與認知機制，並藉助神經介面技術干預生物的神經系統以恢復其功能或控制其行為，仍有許多需要解決的問題。
(3)如何設計植入式設備並提高其生物兼容性。設備植入通常導致炎症和生物排異性反應，新興材料和集成微電機系統的發展一定程度降低了植入式設備引起的細胞反應，然而無法解決長期植入帶來的生物兼容性問題。
(4)如何充分融合機器智能與生物智能。機器端的智能可以極大提高腦機融合系統的能力，同樣，生物體的接入也能提高系統的各種能力，如何將兩者融洽連接在一起，並在智能層面形成合力，相互增強，依然是一個難題。
3
腦機融合系統：典型工作綜述
本節將對若干典型的相關工作進行介紹。本課題組最近結合生物與機器感認知方面的相似性，曾提出一個層次化的計算框架[17-18]，如圖1所示。在該框架中，生物端包含記憶與意圖層、決策層和感知與行為層，機器端包含目標層和知識庫、任務規劃層和感知與行為層。機器端三個層次的研究在人工智慧領域已非常多，下面將重點在如何與生物端進行交互方面，對若干典型研究進行介紹。
3.1 記憶與意圖層相關工作
通過對生物的記憶和意圖進行影響，可以使生物主動去完成任務，能最大限度地發揮生物的智能。傳統影響的方法是基於獎懲機制對生物進行反覆的訓練，使其學會某種行為，現在主要通過光遺傳學的技術手段對大鼠的記憶進行操作，如Berger等[19]將大鼠腦部記憶體的部分功能模塊用皮質神經假體替代，以重建和增強大鼠的記憶能力；Ramirez等[20]利用光學及遺傳學操作的組合在小鼠的腦子中植入了虛假的記憶，使這些小鼠在特定的條件下產生回憶；Nabavi等[21]通過光遺傳學刺激抹去了大鼠的一段恐懼記憶，隨後又將其重新激活。
3.2 決策層相關工作
機器端基於對生物行為和神經信號的感知，採用機器學習的方法與生物進行協作。生物端為了得到獎賞，也逐漸學會與機器端協作。Taylor等[22]基於猴子腦部的神經細胞放電的變化，來控制一個假肢在三維空間內移動，以完成特定的任務，猴子完成任務可以得到喝水的獎賞；DiGiovanna等[13]構建了一個共生腦機介面，基於對大鼠腦部的神經信號的變化，採用神經網路和增強學習的方法，讓老鼠和機械臂根據指示燈的提示協作完成某個特定的任務，老鼠完成任務也會得到喝水的獎賞。
3.3 感知與行為層相關工作
生物和機器的感知和執行能力各有優劣，通過綜合利用生物和機器各自較強的執行能力和感知能力，優勢互補，使腦機融合的計算系統具備原來不具備的能力。Thomson等[23]在小鼠頭上佩戴一個紅外探測器，經過訓練，老鼠可以學會探測紅外，從而使老鼠擁有原本不具有的紅外探測的能力；Wang等[24]在大鼠頭上佩戴一個微型攝像頭，微型攝像頭負責感知(比如目標識別)，大鼠機器人則負責執行，從而探索未知環境。
3.4 本課題組的三個系統實例
近幾年本課題組對腦機融合系統進行了深入探索，並建立了若干系統實例。這裡對其中三個實例分別簡介。
3.4.1 意念控制的四旋翼飛行器
意念控制四旋翼無人飛行器系統[25]通過對頭皮腦電信號的解析，識別出三種不同的運動想像動作(想像左、想像右和想像推)和兩種不同的表情動作(眨眼和咬緊牙齒)。藉助於攜帶型無線腦式電採集帽(Emotiv)，用戶可以用意念(結合表情動作)控制飛行器在三維空間內移動，並藉助飛機上的感測器與執行器與周圍環境進行交互。該系統可以作為殘障人士的日常生活小助理，也可以成為普通大眾的娛樂工具。這項工作是腦機融合系統的一個典型實例，系統中人的決策能力與機器的自主決策能力、感知能力和執行能力相互結合。
3.4.2 視覺增強大鼠機器人
生物自身與一般機器人相比，在運動靈活性、平穩性、環境適應性等方面都有著無可比擬的天然優勢。本課題組建立的視覺增強大鼠機器人[24]，以大鼠為主要載體，通過搭載攝像頭，結合計算機視覺技術，加強大鼠機器人的視覺識別能力。視覺增強的大鼠機器人系統主要包括三個部分：植入電極、鼠載背包和計算模塊。鼠載背包上裝有一個針孔攝像頭，實時拍攝大鼠面前的視頻畫面，並通過背包上的無線模塊將視頻傳輸給計算機上的計算模塊分析。根據分析結果，背包上的刺激電路產生刺激電信號傳遞到大鼠相關腦區，大鼠機器人將產生不同的行為(左轉、右轉和前進)，從而導航大鼠探索未知環境。在該腦機融合計算系統中，大鼠自身的空間決策能力和執行能力與機器的決策能力(閉環控制)和感知能力(攝像頭感知)結合在一起。
3.4.3 腦控大鼠機器人
腦控大鼠機器人系統[27]的使用者佩戴腦電信號採集帽，大鼠機器人攜帶微型無線攝像頭。系統使用者通過觀察交互界面上顯示的鼠載攝像頭視頻，做出路徑決策(向左走、向右走、向前走)。該決策通過腦電信號解碼，無線發送給大鼠機器人。大鼠機器人按照接收到的控制指令行走並探索環境。該腦機融合系統綜合利用大鼠機器人在複雜地形的運動能力、微型攝像頭對環境的感知能力、計算機的計算能力，以及人類的決策能力等。
4
總結
腦機介面研究已呈現出從腦機介面、腦機交互到向腦機融合的發展趨勢，以腦機介面為代表的技術突破為直接利用生物智能、構建集成生物智能與機器智能於一體的腦機融合系統提供了基礎手段與可能途徑。腦機融合系統的逐步成熟，將對殘障人士的運動功能修復和動物機器人等研究，產生革命性的進步，在軍事、人工智慧、娛樂等方面也具有廣闊的應用前景。但要基於腦機介面技術，實現腦機融合系統中兩種截然不同的智能體的有效協作及互適應，需要解決機器智能與生物智能的協同感知、認知及執行等問題，需要建立一整套感知和認知的計算新理論與方法。目前腦機融合計算系統的研究還處於初級階段，期待更多的研究學者加入到這個新興的研究方向。
[參 考 文 獻]
[1] Lebedev MA, Nicolelis MA. Brain-machine interfaces: past, present and future. Trends Neurosci, 2006, 29(9): 536-46
[2] Chapin JK, Moxon KA, Markowitz RS, et al. Real-time control of a robot arm using simultaneously recorded neurons in the motor cortex. Nat Neurosci, 1999, 2(7): 664-70
[3] Zhang QS, Zhang SM, Hao YY, et al. Development of an invasive brain-machine interface with a monkey model. Chin Sci Bull, 2012, 57(16): 2036-45
[4] Hochberg LR, van der Smagt P, Donoghue JP, et al. Reach and grasp by people with tetraplegia using a neurally controlled robotic arm. Nature, 2012, 485(7398): 372-5
[5] Talwar SK, Xu S, Hawley ES, et al. Behavioural neuroscience: rat navigation guided by remote control. Nature, 2002, 417(6884): 37-8
[6] Raphael H, Isao S. Locomotion control of a bio-robotic system via electric stimulation. Intelligent Robots and Systems, 1997. IROS』97., Proceedings of the 1997 IEEE/ RSJ International Conference on, 1997, 3: 1514-9
[7] Bozkurt A, F Gilmour JR, Lal A. Balloon-assisted flight of radio- ontrolled insect biobots. IEEE Trans Biomed Eng, 2009, 56(9): 2304-2307
[8] Schiff ND, Giacino JT, Kalmar K, et al. Behavioural improvements with thalamic stimulation after severe traumatic brain injury. Nature, 2007, 448(7153): 600-3
[9] Tsubokawa T, Yamamoto T, Katayama Y, et al. Deep-brain stimulation in a persistent vegetative state: follow-up results and criteria for selection of candidates. Brain Injury, 1990, 4(4): 315-27
[10] Rao RPN, Stocco A. Direct brain-to-brain communication in humans: A pilot study. 2013
[11] Seung-Schik Y, Hyungmin K, Emmanuel F, et al. Non-invasive brain-to-brain interface (BBI): establishing functional links between two brains. PLoS One, 2013, 8(4): e60410
[12] Pais-Vieira M, Lebedev M, Kunicki C, et al. A brain-to-brain interface for real-time sharing of sensorimotor information. Sci Rep, 2013, 3: 1319
[13] DiGiovanna J, Mahmoudi B, Fortes J, et al. Coadaptive brain-machine interface via reinforcement learning. IEEE Trans Biomed Eng, 2009, 56(1): 54-64
[14] Fukuyama O, Suzuki T, Mabuchi K. RatCar: a vehicular neuro-robotic platform for a rat with a sustaining structure of the rat body under the vehicle. Annual International Conference of the IEEE Engineering in Medicine and Biology Society, 2010
[15] O』Doherty JE, Lebedev MA, Ifft PJ, et al. Active tactile exploration using a brain-machine-brain interface. Nature, 2011, 479(7372): 228-31
[16] 王躍明, 潘綱, 吳朝暉. 腦機交互界面. 中國標準化, 2013
[17] 吳朝暉, 鄭能幹. 混合智能: 人工智慧的新方向. CCF, 2012
[18] Wu ZH, Pan G, Zheng NG. Cyborg Intelligence. IEEE Intelligent Systems, 2013, 28(5): 31-3
[19] Berger TW, Hampson RE, Song D, et al. A cortical neural prosthesis for restoring and enhancing memory. J Neural Eng, 2011, 8(4): 046017
[20] Ramirez S, Liu X, Lin PA, et al. Creating a false memory in the hippocampus. Science, 2013, 341(6144): 387-91
[21] Nabavi S, Fox R, Proulx CD, et al. Engineering a memory with LTD and LTP. Nature, 2014 [Epub ahead of print]
[22] Taylor DM, Tillery SIH, Schwartz AB. Direct cortical control of 3D neuroprosthetic devices. Science, 2002, 296(5574): 1829-32
[23] Thomson EE, Carra R, Nicolelis MAL. Perceiving invisible light through a somatosensory cortical prosthesis. Nat Commun, 2013, 4: 1482
[24] Wang YM, Lu ML, Wu ZH, et al. Ratbot: A rat 「understanding」 what humans see. International Workshop on Intelligence Science, in conjunction with IJCAI-2013
[25] Yu YP, He D, Hua WD, et al. FlyingBuddy2: a brain-controlled assistant for the handicapped [c]. Ubicomp, 2012
[26] Wu ZH, Yang YC, Xia BC, et al. Speech interaction with a rat. Chin Sci Bull, 2014
[27] Yu YP, Qian CL, Wu ZH, et al. Mind-controlled ratbot: A brain-to-brain system. PerCom, 2014
推薦閱讀：
※有哪些很 low 的校園文化風氣？
※大學裡「最幸福」的瞬間
※因戀愛糾紛，中南大學慘遭悲劇引人發醒
※復旦大學陳果老師《人生與心智》
※全世界最炫酷的10座大學實驗室