你所不知道的寬度學習系統：一種不需要深度結構的高效增量學習系統

05-02

深層結構神經網路和學習已經在許多領域得到應用，並在大規模數據處理上取得了突破性的成功。目前，最受歡迎的深度網路是深度信任網路（Deep Belief Networks，DBN），深度玻爾茲曼機器（Deep Boltzmann Machines，DBM）和卷積神經網路（Convolutional neural Networks，CNN）等。雖然深度結構網路非常強大，但大多數網路都被極度耗時的訓練過程所困擾。其中最主要的原因是，上述深度網路都結構複雜並且涉及到大量的超參數。另外，這種複雜性使得在理論上分析深層結構變得極其困難。另一方面，為了在應用中獲得更高的精度，深度模型不得不持續地增加網路層數或者調整參數個數。因此近年來，一系列以提高訓練速度為目的的深度網路以及相應的結合方法逐漸引起人們關注。其中，寬度學習系統提供了一種深度學習網路的替代方法，同時，如果網路需要擴展，模型可以通過增量學習高效重建。

單層前饋神經網路（Single layer feedforward neural networks，SLFN）已被廣泛應用於分類和回歸等問題，因為它們可以全局地逼近給定的目標函數。一般來說，基於梯度下降的SLFN的泛化性能對某些參數設置，例如學習率，非常敏感。更重要的是，他們通常在訓練時收斂到局部最小值。為此，由Yoh-Han Pao教授在1990年代提出的隨機向量函數鏈接神經網路（random vector functional link neural network，RVFLNN）提供了不同的學習方法。

RVFLNN有效地消除了訓練過程過長的缺點，同時也保證了函數逼近的泛化能力。因此，RVFLNN已經被用來解決不同領域的問題，包括函數建模和控制等。雖然RVFLNN顯著提高了感知器的性能，但是在處理以大容量和時間多變性為本質特性的大數據時，這種網路並不能勝任。為了對中等大小數據進行建模，C. L. Philip Chen (陳俊龍) 在1990年代末也提出了一種動態逐步更新演算法(增量學習），用於更新RVFLNN中新增加輸入數據和新添加的增強節點的輸出權重。這項工作為調整遇到新的輸入數據的系統鋪平了道路。

另一方面，近年來除了數據量的增長之外，數據的維度也大大增加。假如將原始的「大」數據直接輸入神經網路，系統往往無法再保持其有效性。如何處理高維數據最近成為迫在眉睫的問題。克服這個難題的兩個常見做法是降維和特徵提取。其中，特徵提取目的是尋求從輸入數據到特徵向量的最佳函數變換。易於實現和效率突出的特徵提取常用方法包括，變數排序（variable ranking ），特徵子集選擇（feature subset selection ），懲罰最小二乘法（penalized least squares），隨機特徵提取方法，包括非自適應隨機投影（non-adaptive random projections）和隨機森林（random forest）以及基於卷積的輸入映射等等。

因此，對於特徵提取，可以採用「映射特徵」作為RVFLNN的輸入。本發明中提出的寬度學習系統（Broad Learning System，BLS）是基於將映射特徵作為RVFLNN輸入的思想設計的。此外，BLS可以在新加入的數據以有效和高效的方式更新系統（輸入的增量學習）。BLS的設計思路為：首先，利用輸入數據映射的特徵作為網路的「特徵節點」。其次，映射的特徵被增強為隨機生成權重的「增強節點」。最後，所有映射的特徵和增強節點直接連接到輸出端，對應的輸出係數可以通過快遞的Pseudo偽逆得出。為了在寬度上擴展特徵節點和增強節點，論文中額外設計了對應的寬度學習演算法。同時，如果網路結構需要擴展，論文同時提出了無需完整網路再訓練的快速增量學習演算法。

論文的其餘結構如下。首先介紹RVFLNN，如圖1-3所示。其次，給出了所提出的寬度學習演算法的細節。第三，在MNIST分類和NORB分類中實驗寬度學習系統，同時與其他各種深度神經網路進行比較。最後，給出關於寬度學習系統的結論和討論。

如圖4所示，假設我們提供輸入數據X並利用函數?i(XWei+βei)映射產生第i組映射特徵Zi。其中，Wei是具有適當維度的隨機權重係數。給定記號Zi≡[Z1, . . . , Zi]表示前i組所有映射特徵。同樣的，第j組增強節點ξj(ZiWhj+βhj )被記為Hj，同時前j組所有增強節點被記為Hj≡ [H1,. . . , Hj]。實際上，根據建模任務的複雜性，可以選擇不同的i和j。此外，當i≠k 時，?i 和?k 可以是不同函數。同樣，當j≠r，ξj 與ξr也可以不同。在不失一般性的情況下，本文省略了隨機映射?i和ξj 的下標。圖4表徵了論文提出的寬度學習網路的結構。

論文中還提供了三種不同的增量學習演算法，包括增強節點增量，特徵節點增量和輸入數據增量（圖5）。由於更新輸出層的Pseudo偽逆時，只需要計算新加入的節點的偽逆，增量學習的訓練過程節省了大量的時間。從這個角度分析，寬度學習系統可以高效重建需要在線學習的模型。

在BLS的基礎上，我們提出了一種新的神經-模糊模型，我們稱之為模糊BLS。該模糊BLS保持了BLS的基本結構，將BLS的feature nodes部分替換為Takagi-Sugeno型模糊子系統，同時去掉了原來的sparse autoencoder（如圖6-7所示）。輸入數據會送入每一個模糊子系統進行處理，然後將每個模糊子系統的輸出作為enhancement節點的輸入。在模糊BLS中，我們也只需要通過偽逆來計算頂層權重，而模糊子系統部分的參數將通過聚類和隨機產生的數據來決定。這樣我們可以減少模糊規則數，大大加快模糊子系統部分計算速度。在函數逼近和分類問題上，與經典的和目前主流的神經-模糊模型相比，模糊BLS在精度和訓練時間上都表現出極大的優勢。關於模糊BLS的論文目前正在審稿中，之後我們會提供更詳細的描述。

如果在特徵節點內，增強節點內，以及特徵節點和增強節點之間建立不同的權重連接，寬度學習網路可以產生不同的變體。其中一種典型的結構如圖8，圖9所示。對應的數學模型以及增量學習模型可以在即將發表的論文中查看。

另一種變形的把寬度學習結構里的串聯增強節點，這樣就可以成為寬深學習網路，如圖10，圖11所示。寬深網路數學模型以及增量學習模型也可以在即將發表的論文中查看。

最後，相關實驗結果被給出以驗證所提出的寬度學習系統。為了確定提出的系統的有效性，論文測試了寬度學習系統在MNIST數據下的分類表現。同時，為了證明BLS的有效性，我們將與現有「主流」方法的分類能力進行比較，包括堆疊自動編碼器（Stacked Auto Encoders，SAE），另一個版本的堆疊自動編碼器（another version of stacked autoencoder，SDA），深度信念網路（Deep Belief Networks，DBN），基於多層感知器的方法（Multilayer Perceptron based methods，MLP）深玻爾茲曼機（Deep Boltzmann Machines，DBM），兩種的基於ELM的多層結構，分別表示為MLELM和HELM。在我們的實驗中，網路由10×10特徵節點和1×11000增強節點構成。相關的權重均為隨機生成。BLS的測試精度以及其他所提到的深度演算法測試精度如表格1所示。雖然98.74%不是最優秀的（事實上，深度學習的表現仍然比SAE 和MLP好），BLS在伺服器上的訓練時間被壓縮到了29.6968秒。此外，應該注意的是，MNIST數據特徵的數量減少到100。這個結果符合學者在大數據學習中的直覺，也就是現實應用中的數據信息通常是冗餘的。表格2是BLS在NORB資料庫上的分類表現以及和其他模型的比較，最後兩行BL是「寬度學」的結果，其它都是深度學習演算法的結果，表明寬度學習演算法是又快又准。

另外，我們還對增加的輸入測試增量寬度學習演算法。測試結果如表格3所示，表明設計的演算法高效並且有效。從而，我們進一步得出結論，本文所提出的寬度學習演算法，可以逐步更新建模系統，而無需從一開始重新訓練整個系統。尤其當系統收集到新輸入數據時，現有網路結構迫切需要更新以反映系統的真實性和完整性。這一功能完全適用於大數據時代。基於上述實驗，寬度學習系統在訓練速度方面明顯優於現有的深度結構神經網路。此外，與其他MLP訓練方法相比，寬度學習系統在分類準確性和學習速度都有長足的表現。與數百個迭代的高性能電腦下幾十小時或幾天的訓練相比，寬度學習系統可以在幾十秒或幾分鐘內輕鬆構建，即使在普通PC中也是如此。

我們對20萬的數據，每個數據維度從一萬維度到三萬維度，做測試，在3分鐘到50分鐘之內，寬度學習都很快的找到神經網路的權重。另外在函數逼近和回歸問題上，BLS和模糊BLS都表現出較高的精度，具體參數設置和結果見表格4和5。

綜上所述，我們認為BLS以及它的各種變體和擴展結構具有良好的發展潛力，在實際應用中表現出其快速且高精度的優秀性能。

（非原創，中文翻譯轉自微信公眾號-德先生，原文來源-http://ieeexplore.ieee.org/document/7987745/，作者：陳俊龍（C. L. Philip Chen—Department of Computer and Information Science, Faculty of Science and Technology, University of Macau, Macau, China）、劉竹林（Zhulin Liu—Department of Computer and Information Science, Faculty of Science and Technology, University of Macau, Macau, China））