【CCCF特邀編輯點評】神經擬態的類腦計算研究

作者顧宗華 潘綱

【新智元類腦專輯由CCCF授權轉載】2015年10月號中國計算機學會通訊類腦計算專題由浙江大學吳朝暉校長和潘綱教授聯袂編輯，李國傑院士在主編寄語中寫到：不斷積累的腦科學研究成果也可在腦機介面、圖像識別等領域逐步得到應用，未來可能對信息科學技術產生顛覆性的影響。特邀編輯吳朝暉和潘綱也特別指出：我國正在制定的「中國腦計劃」中，類腦計算將是一項重要內容。在這期專題中，他們邀請了多名國內外知名專家撰文介紹類腦計算領域的最新進展，以探討類腦計算中脈衝神經網路軟硬體方面的前沿進展為主。在「中國腦計劃」即將推出之際，這兩位類腦計算專家梳理了幾篇重磅乾貨，實在非讀不可！

CCCF特邀編輯：吳朝暉 潘綱

近年來，類腦計算引起了國內外的廣泛關注。在學術界，歐盟2013年初批准的人腦計劃，將類腦計算研究推向一個新的高度；在工業界，以IBM為代表的類腦晶元的研製拉開了類腦計算產品化的序幕。我國正在制定的「中國腦計劃」中，類腦計算也將是一項重要內容。

類腦計算通常指的是，用軟體和硬體去模仿大腦生物神經系統的結構與工作原理來進行計算。更廣義地說，部分利用大腦神經的工作原理與機制或受其啟發的計算也稱為類腦計算。類腦計算在最近幾年引起關注有多方面的原因。

從計算機體系結構的角度，由於傳統半導體器件的尺寸逐漸接近其物理極限，摩爾定理難以為繼，同時功耗問題也日漸突出，因此，研究人員正尋求新的非傳統的計算機體系結構；

從智能信息處理的角度，人工智慧雖然取得了很大進展，並在許多特定領域得到了廣泛應用，但智能程度依然極為有限，與人的智能依然相差甚遠，理論與方法上亟待出現新思路與新突破。作為自然界幾十億年進化的產物，人腦具備許多特點，例如，與晶元需要一個全局時鐘頻率驅動計算不同，大腦以非同步的、事件驅動的方式進行工作；

傳統計算機的馮·諾伊曼體系結構中，內存與計算是顯式分離的，而大腦的記憶與計算是緊密融合在一起的。這些都促使我們思考，通過對大腦的結構與工作原理進行模仿，是否有可能創造出更省電、更高效、更智能的計算系統？

在本期專題中，我們邀請了多名國內外的知名專家撰文，介紹類腦計算領域的最新進展，討論類腦計算面臨的機遇和挑戰。由於篇幅所限，我們以探討類腦計算中脈衝神經網路(spiking neural networks)軟硬體方面的工作為主。

《神經擬態的類腦計算研究》

浙江大學副教授顧宗華等撰寫的《神經擬態的類腦計算研究》一文從神經擬態的類腦計算的基本思想、發展歷史出發，對脈衝神經元建模、脈衝神經網路的訓練方法、代表性類腦計算項目、類腦感測器、腦機融合等進行了分析，並討論了類腦計算的未來發展態勢。

《基於新型納米器件的類腦計算系統》

類腦計算最終的表現形式是晶元或計算機。如何在硬體上實現生物神經網路是一個極具挑戰性的技術難題。美國匹茲堡大學副教授陳怡然等撰寫的《基於新型納米器件的類腦計算系統》一文以憶阻器為例，介紹了基於新型納米器件的類腦計算系統的實現以及挑戰，包括神經突觸的設計、大規模類腦計算系統的實現，並對類腦計算加速器的途徑、設計與協同工作進行了深入分析與討論。

《神經擬態認知計算》

類腦計算的硬體實現了生物神經系統的結構模擬，但生物神經系統功能的實現則需要相應的神經信息處理演算法。四川大學教授唐華錦和新加坡科技研究局資訊通信研究院研究員胡雋聯合撰寫的《神經擬態認知計算》一文，以學習和記憶為重點介紹了神經擬態的認知演算法，包括神經信息編碼、突觸學習演算法、編碼和學習集成模型等。

《機器學習加速器》

除了神經擬態的類腦計算以外，對傳統的非脈衝類腦智能信息處理硬體進行加速也是當前的研究熱點。中國科學院計算技術研究所研究員陳雲霽課題組撰寫的《機器學習加速器》一文介紹了他們最新的研究成果——機器學習加速器PuDianNao。PuDianNao能夠處理多種常見且有代表性的機器學習技術，包括kNN、k-Means、線性回歸、支持向量機、深度神經網路、樸素貝葉斯和分類樹演算法等。

我們希望能通過本期專題對類腦計算的介紹，吸引更多讀者關注並加入此領域，促進我國類腦計算研究的發展。期待未來5~10年，類腦計算取得更大的突破並得到更廣泛的應用。

作者：

吳朝暉

CCF會士、常務理事、普適計算專委會主任。浙江大學教授。主要研究方向為人工智慧、普適計算與嵌入式系統。

潘綱

CCF高級會員。浙江大學教授。主要研究方向為普適計算、計算機視覺、智能系統等。

來源：《中國計算機學會通訊》2015年第10期《專題》

作者：顧宗華　潘　綱　

基於馮·諾伊曼體系結構的處理器性能隨著摩爾定律的持續而不斷提高。2004~2005年，登納德縮放比例定律(Dennard Scaling)1失效，功耗與散熱等問題使得晶元設計者開始將目光轉向多核和眾核。但現代的大型眾核晶元會出現暗硅(dark silicon)問題，功耗與散熱問題導致眾核晶元上的大部分內核不能全部同時開啟運行。有研究者[1]認為，功耗問題將終結多核的可伸縮性，單個晶元上的內核個數將不再增加。摩爾定律在持續50年後，由於技術與經濟兩方面的原因，被普遍認為將於2020年左右走到盡頭[7]。隨著摩爾定律逐步走向終結，半導體行業在後摩爾定律時代將如何發展？不同領域的研究者有不同的答案。針對這一問題，本文將介紹神經擬態的類腦計算方面的主要思想、現有工作與未來面臨的挑戰。

主要思想與發展歷史

神經擬態的類腦計算的基本思路是將生物神經網路的概念應用於計算機系統設計，針對智能信息處理的特定應用來提高性能與降低功耗。馮·諾伊曼體系結構的基本特徵是內存與計算單元分離，優點是軟體化、可編程，同一硬體平台可以通過存儲不同的軟體來實現不同的功能；缺點是存儲單元與計算單元之間的通信延遲可能成為性能瓶頸，出現「內存牆」問題。而生物神經網路的基本特徵是「內存與計算單元合二為一」。神經元既有計算功能，又有存儲功能，從根本上解決了馮·諾伊曼體系架構的「內存牆」問題。人腦是一部極其高效的「計算機」，其特徵與優勢包括：通過與外界交互自主學習（無須顯式編程）、高度容錯（容忍大量神經元的死亡而不影響其基本功能）、高度並行性（約1011個神經元）、高度連接性（約1015個突觸）、低運算頻率（約100Hz)、低通信速度（每秒鐘幾米）、低功耗2（約20瓦）。有研究者[18]提出了一個用於比較人腦與計算機性能的指標——一個大型隨機圖上「每秒穿越的邊的個數」(Traversed Edges Per Second, TEPS)， 其基本思路是神經元之間通信的一次脈衝(spike)，類似於在圖上穿越一個邊。基於TEPS指標，人腦的運算速度是當今最快的超級計算機的30倍。

類腦計算的願景是實現新一代計算機體系結構，設計出可以與人腦相媲美的、高效節能的通用計算機系統。與電腦相比，人腦在精確數值的計算方面性能較差，但是在智能模糊信息處理方面（例如圖像中的物體識別、視頻音頻理解、自然語言處理等應用）具有獨特的優勢。IBM的深藍電腦早在1997年就擊敗了國際象棋冠軍加里·卡斯帕羅夫(Garry Kasparov)，其工作原理是採用並行處理器的暴力搜索。但是直到今天，電腦也無法與人腦在圍棋上較量，因為圍棋的搜索空間太大，使用暴力搜索不可行，而必須依賴人腦的直覺。隨著大數據的興起，人工智慧（尤其是深度學習技術）在近年來得到了迅猛發展，有了長足的進步。例如，2011年，IBM的沃森(Watson)電腦在問答遊戲「Jeopardy!」中擊敗了上屆冠軍布拉德·魯特(Brad Rutter)與肯·詹寧斯(Ken Jennings)，贏得了100萬美元獎金；2015年，大規模深度神經網路的性能已經可以在ImageNet測試集的分類演算法上超越人腦。這表明電腦在一些特定領域已經可以與人腦相媲美。但是在通用性、自主非監督學習等方面，目前的電腦無法超越人腦。

與經典的人工神經網路(Artificial Neural Network, ANN)不同，生物神經網路屬於脈衝神經網路(Spiking Neural Network, SNN)：一個神經元接受輸入脈衝，導致細胞體(soma)的膜電壓升高，當達到特定閾值時，發出一個輸出脈衝到軸突(axon)，並通過突觸發送神經遞質與後續神經元樹突(dendrite)上的接受體相結合來改變其膜電壓。因此生物神經元之間的通信機制是膜電壓升降的脈衝，而非人工神經網路中的數值運算。機器學習演算法，尤其是人工神經網路硬體加速方面的工作由來已久，最新的研究進展包括中國科學院計算技術研究所的寒武紀系列神經網路處理器[6]，通過硬體體系結構的創新來大幅度提高性能並降低功耗。脈衝神經網路在響應速度、功耗等方面具有的獨特優勢，使其成為未來有潛力的發展方向。

本文首先回顧類腦計算的簡史：

1. 1989年，加州理工學院的卡弗·米德(Carver Mead)提出了「類腦工程」概念，並撰寫了《模擬VLSI與神經系統 》 (Analog VLSI and Neural Systems)一書，採用亞閾值模擬電路來模擬脈衝神經網路，其應用是模擬視網膜。

2. 1990~2003年，摩爾定律持續發展，基於馮·諾伊曼架構的處理器主頻與性能持續增長，而類腦計算則沉寂十餘年。

3. 2004年前後，單核處理器主頻停止增長，設計者開始轉向多核，學術界開始尋求馮·諾伊曼架構的替代技術。類腦計算經過十多年的小眾研究，開始成為熱點。

4. 2004年，斯坦福大學教授誇貝納·波爾漢(Kwabena Boahen)研製出基於模擬電路的類腦晶元Neurogrid。

5. 2005年，英國曼徹斯特大學開始研製基於ARM的多核超級計算機SpiNNaker。

6. 2005年，歐盟啟動FACETS (Fast Analog Computing with Emergent Transient States) 項目，研製基於模擬混合信號(Analog Mixed-Signal, AMS)的類腦晶元。

7. 2005年，美國國防部高級研究計劃署(DARPA)啟動SyNAPSE(Systems of Neuromorphic Adaptive Plastic Scalable Electronics)項目，支持IBM與多家單位聯合研發類腦晶元。瑞士洛桑聯邦理工學院(EPFL)研究者亨利·馬克拉姆(Henry Markram)與IBM合作啟動了藍腦項目，採用IBM Blue Gene/L超級計算機模擬大規模神經網路。

8. 2008年，惠普公司實現憶阻器原型，可作為類腦計算基本元件，並展示了首個憶阻器與硅材料的混合電路。

9. 2011年，歐盟啟動BrainScaleS (Brain-inspired multiscale computation in neuromorphic hybrid systems)項目，作為FACETS的後續項目，研發大規模並行類腦計算機。

10. 2012年，藍腦項目所模擬的最大神經網路包括100萬個神經元與10億個突觸，其規模相當於蜜蜂的大腦，模擬速度是實時速度的1/300。

11. 2013年，歐盟啟動人腦計劃，由亨利·馬克拉姆牽頭，總金額10億歐元，包括神經信息學、醫學信息學、腦模擬、高性能計算、類腦計算與神經機器人6個平台。

12. 2013年，美國啟動BRAIN

(Brain Research through Advancing Innovative Neurotechnologies)倡議，總金額1億美元。BRAIN並不直接涉及類腦計算，但是它將推動對生物腦機理的深入理解，為計算領域的研究者提供大量的實驗數據與相關理論。

13. 2014年，達曼德拉·莫德哈(Dharmendra Modha)領導的IBM SyNAPSE項目推出了TrueNorth晶元，包含54億個晶體管，是IBM迄今為止製作的最大的一款晶元，其功耗只有70mW，是傳統CPU功耗的1/5000（晶體管數量相等情況下）。後來實現的用於視覺顯著性的應用系統[13]，可以實時處理30幀/秒的彩色視頻流，包含300萬個神經元，而其功耗只有200mW。

從1989年沉寂，到2004~2005年悄然復興，類腦計算在近年成為一個研究熱點。主要原因是馮·諾伊曼架構遇到的內存與功耗瓶頸。

從生物精確性最高的Hodgkin-Huxley (HH) 模型到最簡化的Leaky Integrate & Fire(LIF)模型，脈衝神經網路的建模可以有多種抽象層次（如圖1 所示）。越精確的模型運算複雜度越高。

Hodgkin-Huxley(HH)模型

HH模型[9]是一組描述神經元細胞膜的電生理現象的非線性微分方程，由艾倫·勞埃德·霍奇金(Alan Lloyd Hodgkin)與安德魯·赫胥黎(Andrew Huxley)提出，並因此獲得了1952年的諾貝爾生理學或醫學獎。

HH模型所對應的電路圖如圖2所示，其中C代表脂質雙層(lipid bilayer)的電容； RNa, RK, Rl分別代表鈉離子通道、鉀離子通道與漏電通道的電阻（RNa, RK上的斜箭頭表明其為隨時間變化的變數，而Rl則為一個常數）；El, ENa, EK分別代表由於膜內外電離子濃度差別所導致的漏電平衡電壓、鈉離子平衡電壓、鉀離子平衡電壓；膜電壓V代表神經膜內外的電壓差，可以通過HH模型的模擬來得到V隨時間變化的曲線。HH模型可以對一個點狀神經元進行建模，即用一組HH模型公式來描述整個神經元，也可以對多個區間的詳細神經元進行建模，即用一組HH模型公式來描述一個區間。一個完整的神經元由很多區間組成，不同區間有不同的電化學特性。HH模型可以精確地重現不同種類生物神經元的電生理實驗數據，但是運算量較高，難以實現大規模神經網路的高效模擬。基於超級計算的藍腦項目採用的就是HH模型，也並非實時模擬。

HH神經元的膜電壓V隨輸入脈衝變化的示意圖如圖3所示。圖中共有6個輸入脈衝（垂直虛線所示），每個脈衝觸發膜電壓 V的快速上升。如果輸入脈衝之間的時間間隔較長（例如在1ms與22ms到達的2個脈衝之間，由於漏電通道的作用，沒有新的輸入脈衝），膜電壓V就會隨著時間逐漸降低至平衡電壓El。如果有多個輸入脈衝在短時間內連續到達（例如在45~50ms之間的3個脈衝），那麼膜電壓V會上升至發放閾值Vth（紅色水平虛線所示）而觸發一個輸出脈衝。之後V被重置為低於平衡電壓El的Vreset，然後逐漸回升至平衡電壓El。神經元的行為與輸入的時間特性密切相關，一組脈衝如果在短時間內連續到達，可以觸發神經元的脈衝；但是同樣數量的一組脈衝如果在較長時間段內分散到達，那麼膜電壓的漏電效應便不會產生脈衝。此特性可以用來實現基於精確時間的脈衝序列的模式識別，也對生物的一些實時感官功能至關重要。例如穀倉貓頭鷹(barn owl)利用聲音信號的細微時間差來定位聲音來源，時間精度達數百微秒級別。

Leaky Integrate and Fire (LIF) 模型

LIF神經元的建模有多個變種，其中最簡單的是基於電流的LIF模型。LIF 也是類腦計算中最常用的模型。

圖 4描述了一個LIF神經元的膜電壓V隨著輸入脈衝變化的趨勢。每個輸入脈衝通過輸入電流項I觸發膜電壓V的垂直上升。當膜電壓V上升至發放閾值Vth而觸發一個輸出脈衝後，V立刻被重置為Vreset，並且之後有一個無反應期。圖 4是圖 3的一種近似情況，有利於提高運算效率，尤其是在基於數字電路的模擬方面。

AdEx IF 模型

AdEx IF(Adaptive Exponential Integrate and Fire)模型[4]的生物精確性與運算複雜度介於LIF與HH模型之間。當膜電壓升至發放閾值Vth時，會觸發一個脈衝，之後重置V。AdEx IF模型會同時降低膜電壓的響應速度，其結果是在恆定電壓的刺激下，神經元的脈衝頻率會逐漸降低。

Izhikevich模型

Izhikevich模型由研究者Eugene M. Izhikevich提出[21]，其生物精確性接近於HH模型，運算複雜度接近於LIF與AdEx IF模型，如圖 1所示。

神經網路建模所選用的抽象層次應當與具體應用目標密切相關。如果目標是為科學家提供高效模擬工具來進行計算神經科學研究，就應當在運算能力允許的前提下盡量選用生物精確性高的模型，例如HH模型；如果目標是開發出具備強大實時信息處理能力的演算法與產品，用於機器人、自主駕駛等應用領域，就應當盡量選用簡化的模型，如LIF模型。2009年，IBM研究者達曼德拉·莫德哈採用包含14萬7456個處理器的IBM Blue Gene/P超級計算機模擬了16億個基於Izhikevich模型的神經元與1013個突觸，與貓的大腦規模相當，獲得了超級計算領域的戈登·貝爾(Gordon Bell)獎。由亨利·馬克拉姆牽頭的瑞士洛桑聯邦理工學院的藍腦項目則採用HH模型進行生物神經網路模擬，希望為神經科學家提供更快、更大規模的模擬工具，以更好地理解大腦與腦疾病。莫德哈的研究目標與馬克拉姆十分不同，其目的是建造低功耗的智能信息處理系統（這也體現在他後來牽頭研製的基於LIF模型的TrueNorth晶元），因此Izhikevich或LIF模型是其較為合適的選擇。

生物神經網路在樹突脈衝、膠質細胞、神經遞質觸發的蛋白質信號通路、神經遞質觸發的基因調控、電突觸、解釋人腦意識方面具有高度複雜性，因此搭建一個大規模模擬系統來複制生物大腦的所有功能是極其困難的。一些哲學家與未來學家提出了全腦模擬(whole brain emulation)與意識上傳(mind uploading)，即將人腦神經網路所包含的所有信息上傳至一個電腦模擬系統中作為備份，從而可以在一個人的身體死亡之後還能有意識的延續，以此達到永生。這種科幻式的構想真正實現起來恐怕也是遙遙無期的。

脈衝神經網路的訓練與學習演算法可以劃分為以下幾類：

非監督學習　該演算法基於赫布法則(Hebbian Rule)而設。STDP（Spike Timing Dependent Plasticity，脈衝時序相關的可塑性）是赫布法則在脈衝神經網路中的表現，如果輸出神經元A的脈衝總是發生在輸入神經元B的脈衝之前的一個很短的時間窗口內，這就意味著A與B之間存在相關聯的觸發，它們之間的突觸就會被增強，神經元之間的連接權重增大；反之，如果輸出神經元A的脈衝總是發生在輸入神經元B的脈衝之後的一個很短的時間窗口內，它們之間的突觸就會被減弱。STDP是神經科學家通過生物體電生理實驗所發現的學習規則，具有很強的生物學依據。

監督學習　基於人工神經網路中常用的反向傳播訓練演算法的思想，從所犯的錯誤中學習。有研究者提出了多種脈衝神經網路的監督學習訓練演算法，包括SpikeProp[3], Tempotron[19], Remote Supervised Method (ReSuMe)[38], Chronotron[14], Spike Pattern Association Neuron (SPAN)[32], Precise-Spike-Driven Synaptic Plasticity (PSD) [44]等。與STDP不同，這些基於反向傳播的監督學習演算法沒有生物學依據，是研究者設計出來的。

強化學習　在與外界環境的交互過程中，基於獎賞與懲罰來選擇性能較好的參數配置。

演化演算法　保持一個種群，基於自然選擇原理（選擇、交叉與變異）來選出最優的參數配置。

由於脈衝神經網路的訓練演算法不太成熟，一些研究者提出了將傳統的人工神經網路轉化為脈衝神經網路的演算法，利用較為成熟的人工神經網路訓練演算法來訓練基於人工神經網路的深度神經網路，然後通過觸發頻率編碼(firing rate encoding)將其轉化為脈衝神經網路[12]，從而避免了直接訓練脈衝神經網路的困難。這些工作目前局限於前饋神經網路。基於這種轉換機制，美國休斯實驗室(HRL Labs)的研究者[5]將卷積神經網(Convolutional Neural Network, CNN)轉換為Spiking CNN，在常用的物體識別測試集Neovision2與CIFAR-10上的識別準確率接近卷積神經網；瑞士研究者將深度信念網(Deep Belief Network, DBN）轉換為Spiking DBN，在手寫數字識別測試集MNIST上的識別準確率接近深度信念網。目前還沒有人嘗試將脈衝神經網路應用於最具挑戰性的圖像物體識別測試集ImageNet，可能是因為ImageNet需要巨大的深度神經網路，轉換後的脈衝神經網路的軟體模擬所需的運算超出了一般台式機的能力。

還有一種脈衝神經網路架構——液體狀態機(Liquid State Machine, LSM)[29]也可以避免直接訓練脈衝神經網路。液體狀態機與基於人工神經網路的回聲狀態機(Echo State Machine, ESM)類似，神經元之間的連接與權重是隨機產生且固定的，神經網路形成一個「水池」，其作用是將外界輸入映射到一個高維狀態空間以便於分類，因此脈衝神經網路本身不需要訓練，只須訓練一個輸出層分類演算法。只要脈衝神經網路的規模足夠大，理論上就可以完成任意複雜輸入的分類任務。由於液體狀態機屬於回歸神經網路，神經元之間的連接是有反饋的，這使其具有記憶能力，可以有效處理時序信息。紐西蘭研究者尼可拉 ·卡薩博夫(Nikola Kasabov) [25]基於液體狀態機的基本思想提出了NeuCube系統架構，用於處理時序與空間信息，例如腦電圖(ElectroEncephaloGraph, EEG)神經信號的解碼。NeuCube在訓練階段採用STDP、量子啟發的遺傳演算法等來訓練脈衝神經網路；在運行階段，脈衝神經網路與輸出層分類演算法的參數是動態變化的，稱為演化聯結系統(Evolving Connectionist Systems , ECOS)。這賦予了NeuCube系統很強的自適應能力。

國際上代表性類腦計算項目

表1列舉了國際上具有代表性的類腦計算項目（基於一些大規模CPU或GPU集群的模擬系統，例如基於IBM超級計算機的藍腦項目與基於日本的K COMPUTER超級計算機的模擬系統未列入）：

1. 實現技術　基於多核處理器、數字邏輯電路或模擬混合電路。

2. 神經元模型　包括LIF, AdEx IF, Izhikevich, QIF (Quadratic Integrate and Fire)等。

3. 學習演算法　是否支持片上學習演算法，是否可以動態調整突觸的強度。

4. 所支持的神經元與突觸個數　這決定系統所能支持的神經網路規模。大量的突觸，而非神經元，往往是佔用片上硬體資源的主要因素。

由表1我們總結出以下幾點：

1. 線蟲(C Elegans)體內共有302個神經元，約8000個突觸連接，其神經系統的連接組(connectome)已被神經科學家了解透徹，因此對其神經系統的模擬比對哺乳動物更加現實。歐盟第七框架的Si Elegans項目旨在模擬線蟲的神經系統，基於多FPGA（Field Programmable Gate Array，現場可編程門陣列）集群，每個FPGA來模擬單個神經元，提供多種抽象程度的神經元模型庫供研究者選用。

2. 除了曼徹斯特大學的SpiNNaker系統是採用多核ARM平台運行軟體外，其他晶元均是基於硬體電路設計。採用數字電路來模擬，涉及到微分方程的遞歸求解，因此所需的運算能力與功耗較高。而採用模擬混合電路設計，可以利用模擬電路的物理特性來直接模擬神經元的連續性動態行為，其運算效率與功耗遠遠優於數字電路，因此大多數類腦晶元採用了模擬混合電路技術。要想做到超低功耗，則需要採用亞閾值(sub-threshold)模擬混合電路。IBM TrueNorth數字電路晶元之所以能做到超低功耗，應當歸功於採用了非同步電路設計技術來充分利用脈衝神經網路的事件觸發特性，使得只有接受脈衝的神經元才會被激活，而其他神經元則處於睡眠狀態。

3. 大部分晶元是實時運行的，可以與外界進行實時交互，適用於機器人、手持設備等嵌入式系統領域。海德堡大學的HICANN(High Input Count Analog Neural Network)系統的模擬速度是實時速度的1萬倍。其電路設計採用較高電壓（非亞閾值）、比LIF更為精確的AdEx模型，並且通過晶片級集成，將多個晶元集成在一個未經切割的晶片上來實現大規模並行計算，其主要目標是為神經科學家提供用於大規模脈衝神經網路模擬加速的超級計算機，而非低功耗嵌入式系統。

4. 一些晶元沒有片上的在線學習功能（例如IBM TrueNorth），神經元之間的連接權重在運行時是固定不變的，這意味著神經網路的訓練必須離線完成。可以採用基於CPU或GPU的大規模並行計算平台，將訓練好的神經網路拓撲與參數下載到晶元上執行。這個限制大大簡化了晶元設計，但同時也限制了晶元的動態自適應能力，任何改動都需要人工干預或重啟系統。

5. 高通公司的Zeroth神經處理器(Neural Processing Unit, NPU)與CPU、GPU、DSP等處理單元並列作為一個協處理器，目標應用領域是手持移動設備。從2013年尚處於研發階段的媒體報道來看，猜測是採用了AMS實現LIF SNN模型；2015年，高通宣布將Zeroth作為協處理器用於蛟龍處理器產品(Snapdragon 820)中，採用數字電路實現基於人工神經網路的深度卷積神經網，並且未來將引入基於人工神經網路的回歸神經網路。

6. 類腦計算的產業化還處於初步階段。IBM TrueNorth是由美國國防部高級研究計劃署提供資金支持研發的（共計5300萬美元），IBM並沒有投入任何資金。與IBM 的沃森認知計算系統在醫療健康領域已經取得的商業成功相比，TrueNorth的產業化路線尚不明朗。其他項目也尚無成功的產業化案例。

類腦視覺與聽覺感測器

傳統攝像頭基於周期性的視頻幀，幀頻越高，視頻質量越好，但視頻碼流所需的帶寬也就越大。而基於視網膜原理的類腦攝像頭，例如瑞士蘇黎世大學研發的動態視覺感測器(Dynamic Vision Sensor, DVS)[24]，基於事件驅動原理來檢測圖像中像素的亮度變化：當某個像素的亮度變化超過某一閾值時（從亮變暗或從暗變亮），會輸出一個脈衝；如果圖片靜止不動，沒有像素的變化，攝像頭就不會有任何輸出。脈衝的編碼採用地址事件表示(address event representation)，包含發出脈衝的時間戳與像素地址。這種類腦攝像頭的時間解析度可達微秒級，可以實現對高速移動物體的跟蹤，而其所需的碼流帶寬比傳統的高速攝像頭要低很多。由於動態視覺感測器的輸出是一系列脈衝，而不是傳統的基於像素矩陣的圖像幀，所以傳統的信號與圖像處理演算法並不適用，需要設計新的後端處理演算法。很直接的一個思路是採用脈衝神經網路來實現後端處理演算法。動態視覺感測器研究團隊已經與IBM TrueNorth團隊展開合作，將TrueNorth晶元用於動態視覺感測器的後端處理。動態視覺感測器的低帶寬使其在機器人視覺領域具有天然優勢，已應用於自主行走車輛與自主飛行器中。類腦耳蝸[23]是基於類似原理的類腦聽覺感測器，可以用於聲音識別與定位。

類腦嗅覺感測器

歐盟項目NEUROCHEM[27]研發了基於動物嗅覺系統模擬的類腦嗅覺系統，其前端是基於導電聚合物的大規模感測器陣列，後端是基於x86處理器的脈衝神經網路軟體模型，用於模擬昆蟲嗅覺中樞或脊椎動物嗅覺中樞進行氣味識別。台灣研究者[20]研發了一個基於模擬電路的小型專用類腦晶元，作為一個商用電子鼻產品的後端，通過模擬脊椎動物的嗅覺中樞來實現氣味識別。海德堡大學研究者[37]採用類腦晶元Spikey（HiCANN晶元的前身）來模擬昆蟲嗅覺系統。這些類腦嗅覺感測器的主要優點是功耗低，而其靈敏度與傳統電子鼻相比並不具有明顯優勢。

腦機介面技術在生物（人或動物）腦（或者腦細胞的培養物）與外部設備（電腦）之間建立了直接通信通路，在殘疾人康復等領域有著重要應用。閉環腦機介面可以在生物腦與電腦之間建立感知與控制的雙向通信機制，生物腦與電腦之間相互協作，形成一個腦機融合的混合智能系統[43]。類腦晶元的超低功耗特性，使其在腦機介面（尤其是植入式腦機介面）領域，具有廣泛的應用前景。

現有的一些用於採集生物腦電信號的植入式無線感測器，例如加州大學伯克利分校的neural dust[41]與華盛頓大學的neurochip[45]，僅負責數據採集與無線傳輸，並不具備強大的處理能力。如果我們將類腦晶元植入到生物體內，與生物體形成一個閉環腦機介面系統來進行神經解碼與編碼，要面臨很多研究挑戰，包括：晶元要與生物體兼容，必須具備超低功耗與散熱功能；要長期植入而不換電池，最好採用能量收集技術從環境中獲取能量；要實時處理大量電生理數據，需要較高性能。代表性的工作包括：

1. 約翰·霍普金斯大學的研究者研製了一個基於模擬混合信號的低功耗晶元SiCPG，包含10個LIF神經元與190個連接突觸，用於模擬動物脊柱中的中央模式生成器(Central Pattern Generator, CPG)。該晶元可控制一隻癱瘓貓的腿部神經系統，使其自主行走。該項目的最終目標是用來幫助脊柱損傷病人實現自主行走。

2. 斯坦福大學研究者[10]採用滑鐵盧大學克里斯·伊利亞史密斯(Chris Eliasmith)的神經工程框架(Neural Engineering Framework, NEF)， 搭建了一個基於2000個LIF神經元的脈衝神經網路模型，用於取代現有的卡爾曼濾波演算法來解碼猴子運動皮層的電生理數據，用於基於腦機介面的神經假體(neural prosthesis)，用腦電信號來控制外部機械手。其未來工作是基於斯坦福大學的類腦晶元Neurogrid以完成此脈衝神經網路模型。

3. 南加州大學研究者[16]研製了一個基於模擬電路的超低功耗神經信號處理晶元，用於大鼠海馬體的認知假體(cognitive prosthesis)，修復一定程度的記憶功能。其實現是採用經典信號處理演算法來對腦電信號進行函數擬合。我們想像可以採用一個基於脈衝神經網路的類腦晶元來模擬部分腦區的功能，與其他腦區緊密交互，來修補一些缺失或者出故障的腦功能。如果需要模擬的腦區範圍較小、功能較為簡單、神經元個數不多，這也許可行。

儘管類腦計算近年來有了不少進展，但是依然面臨諸多挑戰。

訓練演算法　脈衝神經網路訓練演算法的理論發展還不夠成熟，特別是不能很好地訓練包含多個隱層的深度神經網路。針對工業界常用的標準測試集，例如手寫數字識別測試集MNIST，脈衝神經網路在分類演算法精確度方面的性能通常會略低於基於人工神經網路的深度神經網路。

低功耗運算　類腦計算的主要優勢是功耗低，但是基於人工神經網路的數字電路硬體實現也可以通過體系結構層面的創新來做到低功耗，例如寒武紀系列晶元[6]、用於卷積神經網加速的協處理器NeuFlow[34]與Synopsys公司的視覺處理器系列DesignWare EV等。

編程模型　基於亞閾值的模擬混合信號晶元可以做到超低功耗，但是基於模擬混合信號的應用開發十分困難，需要有經驗模擬電路設計者，並給予高薪待遇，因此在可編程性方面輸給了數字電路技術。IBM TrueNorth晶元提供了一套編程模型corelet，但它是為TrueNorth系統量身定製的，而非通用的類腦計算編程模型。

類腦計算技術離工業界的實際應用還有較大差距。但這些挑戰也為研究者提供了新的研究方向與機遇。我們認為基於脈衝神經網路的類腦計算在未來5~10年內將會是一個重要的研究題目。而其產業化前景是否能夠被工業界廣泛接受，則取決於研究者在此期間是否能夠在某一方面取得突破性進展。

腳註：

1 登納德縮放比例定律，指晶體管的尺寸在不斷縮小的同時其功耗密度大致保持不變。

2 基於馮·諾伊曼體系結構建造一個與人腦複雜程度相當的計算機，需要將近100兆瓦的功耗。

作者：

顧宗華

CCF高級會員。浙江大學副教授。主要研究方向為實時嵌入式系統與軟硬體協同設計。

潘綱

CCF高級會員。浙江大學教授。主要研究方向為普適計算、計算機視覺、智能系統等。

參考文獻請見閱讀原文。