[深度學習之美08】神經網路底層模型：M-P的機理是什麼？

來自專欄深度學習之美12 人贊了文章

6.1 「道法自然」與人工神經網路

我們知道，深度學習網路，實質上就是層數較多的神經網路。追根溯源，那什麼是神經網路呢？簡單來說，它是一種模仿動物神經網路行為特徵，進行分散式並行處理信息的演算法模型。

人，無疑是有智能的。如果想讓「人造物」具備智能，模仿人類是最樸素不過的方法論了。早在春秋時期，老子便在《道德經》中給出了自己的睿智判斷：

「人法地，地法天，天法道，道法自然。」

這裡所謂的「法」，作為動詞，為「效法、模仿、學習」之意。特別是「道法自然」的含義，意味悠長。的確，大道運化天地萬物，無不是遵循自然法則的規律。人們從「自然」中學習和尋求規律，在很多時候，的確比自己苦思冥想更加可行和高效。

比如，人們從研究蝙蝠中獲得發明雷達的靈感，從研究魚鰾中獲得發明潛水艇的啟迪。很自然的，人們同樣期望研究生物的大腦神經網路，然後效仿之，從而獲得智能。

人工神經網路（Artificial Neural Network，ANN）便是其中的研究成果之一。

6.2 人工神經網路是何物？

ANN的性能好壞，高度依賴神經系統的複雜程度，它通過調整內部大量「簡單單元」之間的互連權重，從而達到處理信息的目的，並具有自學習和自適應的能力。

在上述定義中，提及的「簡單單元」，就是神經網路中的最基本元素—神經元（Neuron）模型。在生物神經網路中，每個神經元與其他神經元通過突觸進行連接。神經元之間的信息傳遞，屬於化學物質的傳遞。當它「興奮」時，就會向與它相連的神經元發送化學物質（神經遞質，Neurotransmitter），從而改變這些神經元的電位。如果某些神經元的電位超過了一個閾值，那麼，它就會被「激活」，也就是「興奮」起來，接著向其他神經元發送化學物質，猶如漣漪，就這樣一層接著一層傳播，如圖6-1所示。

在人工智慧領域，有一個有意思的派別，名曰「鳥飛派」。說的是，如果我們想要學飛翔，就得向飛鳥來學習。簡單來說，「鳥飛派」就是「仿生派」，即把進化了幾百萬年的生物作為模仿對象，搞清楚原理後，再復現這些對象的輸出屬性。

其實，現在我們所講的神經網路包括深度學習，在某種程度上也可歸屬於「鳥飛派」—它們在模擬大腦神經元的工作機理。追根溯源，模仿大腦神經元的最早示例，就是20世紀40年代提出但一直沿用至今的「M-P神經元模型」。

6.3 M-P神經元模型

其實，現在所講的神經網路包括深度學習，都在某種程度上，也可歸屬於「鳥飛派」——它們在模擬大腦神經元的工作機理。追根溯源，模仿大腦神經元的「飛鳥」實例，就是上世紀40年代提出但一直沿用至今的「M-P神經元模型」。

在這個模型中（如圖6-2所示），神經元接收來自n個其它神經元傳遞過來的輸入信號。這些信號的表達，通常通過神經元之間連接的權重（weight）大小來表示，神經元將接收到的輸入值按照某種權重疊加起來。疊加起來的刺激強度S可用公式（6-1）表示。

（6-1）

從公式（6-1）可以看出，當前神經元按照某種「輕重有別」的方式，彙集了所有其他外聯神經元的輸入，並將其作為一個結果輸出。

但這種輸出並非「赤裸裸」地直接輸出，而是並將當前神經元的閾值進行比較，然後通過「激活函數（activation function）」向外表達輸出，這在概念上就叫感知機（perceptron），其模型可用公式（6-2）表示。

（6-2）

在這裡，就是所謂的「閾值（Threshold）」，f就是激活函數（後面會詳細介紹這個概念）。y就是最終的輸出。

簡單吧？簡單！

可這麼簡單的道理，你咋能就這麼輕易知道咧？

事實上，我們知道，對未知世界（比如說人類大腦）的每一點新認識，其實都是因為有大牛曾經艱辛地為我們站過台。

現在看起來的「顯而易見」，在當年卻是「困難重重」。因為科學前進的每一步，都要經過嚴格的論證，只有如此，才能以此為基礎，邁向下一步的工作。

前面提到的「M-P神經元模型」，亦是如此。

本文部分節選自《深度學習之美：AI時代的數據處理與最佳實踐》（張玉宏著，電子工業出版社，2018年7月出版）。更多理論推導及實戰環節，請參閱該書。

（連載待續）

推薦閱讀：