東芝宣布時域神經網路技術：要讓低功率物聯網設備也能深度學習

時域神經網路（Time Domain Neural Network）

為了追求其在物聯網和大數據分析領域的未來，東芝公司正在開發一種時域神經網路（TDNN/Time Domain Neural Network），採用了超低功耗的神經形態半導體電路，可用於執行深度學習的運算。TDNN 由大量使用了東芝自家的模擬技術的微型處理單元構成，這讓它和傳統的數字處理器不一樣。TDNN 在 11 月 8 日的 A-SSCC 2016（2016 年亞洲固態電路會議）上報告了出來——這是由 IEEE 贊助的一個在日本舉辦的國際性半導體電路技術會議。

深度學習需要大量的計算，所以通常需要在高功率的高性能處理上運行。但是，如果要將深度學習和物聯網邊緣設備（IoT edge device）（如感測器和智能手機）結合起來，就需要非常高能效的 IC（集成電路）——它可以執行大量所需的運算，同時僅需消耗極少的能量。

在馮諾依曼型的計算機架構中，大部分能量都消耗在了將數據在片上或片外存儲設備與處理單元之間的傳遞之中。減少數據移動的一種最有效的方式是使用大量處理單元，其中每一個都僅處理與其接近的一個數據。這些數據點在將輸入信號（比如貓的照片）轉換成輸出信號（比如識別照片中有貓）的過程中會有一個權重。數據點離目標輸出越近，其獲得的權重就越高。該權重是自動化引導深度學習過程的一個參數。

生物大腦也有相似的架構。在生物大腦中，神經元之間的耦合強度（權重數據）內建於突觸（處理單元）之中。在大腦裡面，突觸是神經元之間的連接，每一個都有不同的強度。這些強度（權重）決定了通過該連接的信號。突觸可以通過這種方式執行某種形式的計算處理。這種架構被稱作是完全空間展開架構（fully spatially unrolled architecture）；它很有吸引力，但也有一個明顯的缺點——將其複製到晶元上需要大量的算術電路（arithmetic circuits），而且會很快變大到難以承受的程度。

東芝的 TDNN 從 2013 年開始開發，使用了時域的模擬和數字混合的信號處理（TDAMS/time-domain analog and digital mixed signal processing）技術，可以實現處理單元的小型化。在 TDAMS 中，比如加法這樣的算術運算可以通過使用像模擬信號一樣的數字信號通過邏輯門的延遲時間來有效地執行。使用這項技術，用於深度學習的處理單元可以僅有完全空間展開架構的 3 個邏輯門和 1 bit 內存即可。東芝已經製造出了一款用於概念驗證的晶元，其使用了 SRAM（靜態隨機存取存儲器）單元作為內存，並且已經證明能夠用來識別手寫數字。其每條指令的能量消耗是 20.6 fJ，僅有之前一場頂級會議上報道的成績的 1/6.

東芝計劃將 TDNN 開發成一種電阻式隨機存取存儲器（ReRAM/resistive random access memory），以進一步提升能量和數據的效率。其目標是得到一款能夠在邊緣設備上實現高性能深度學習技術的 IC。

原文鏈接：Toshiba advances deep learning with extremely low power neuromorphic processor

選自http://phys.org 機器之心編譯 參與：吳攀