通用近似定理

來自專欄深度學習

在人工神經網路領域的數學觀點中，「通用近似定理 (Universal approximation theorem，一譯萬能逼近定理)」指的是：如果一個前饋神經網路具有線性輸出層和至少一層隱藏層，只要給予網路足夠數量的神經元，便可以實現以足夠高精度來逼近任意一個在 ?n 的緊子集 (Compact subset) 上的連續函數。

這一定理表明，只要給予了適當的參數，我們便可以通過簡單的神經網路架構去擬合一些現實中非常有趣、複雜的函數。這一擬合能力也是神經網路架構能夠完成現實世界中複雜任務的原因。儘管如此，此定理並沒有涉及到這些參數的演算法可學性 (Algorithmic learnablity)。

通用近似定理用數學語言描述如下：

令 φ 為一單調遞增、有界的非常數連續函數。記 m 維單元超立方體 (Unit hypercube) [0,1]m為 Im，並記在 Im 上的連續函數的值域為 C(Im)。則對任意實數 ?>0 與函數 f∈C(Im)，存在整數 N、常數 vi,bi∈? 與向量 wi∈?m(i=1,…,n)，使得我們可以定義：F(x)=∑i=1Nviφ(wTix+bi)

為 f 的目標擬合實現。在這裡， f 與 φ 無關，亦即對任意 x∈Im，有：|F(x)–f(x)|<?

因此，形為 F(x) 這樣的函數在 C(Im) 里是稠密的。替換上述 Im 為 ?m 的任意緊子集，結論依然成立。

在 1989 年，George Cybenko 最早提出並證明了這一定理在激活函數為 Sigmoid 函數時的特殊情況。那時，這一定理被看作是 Sigmoid 函數的特殊性質。但兩年之後，Kurt Hornik 研究發現，造就「通用擬合」這一特性的根源並非 Sigmoid 函數，而是多層前饋神經網路這一架構本身。當然，所用的激活函數仍然必須滿足一定的弱條件假設，常數函數便是顯然無法實現的。

推薦閱讀：