標籤：

模式識別深度學習DeepLearning 神經網路

深度神經網路(DNN)前向傳播

04-05

這篇文章是我的所有關於深度神經網路，卷積神經網路內容的入口。內容通俗易懂、老少皆宜，各位只要耐心讀下去，應該會對這部分內容有一個很好的理解。

一、神經與神經的連接

這是神經與神經在神經網路中最最基本的關係，給一個神經賦值後相應的會在另一個神經元有輸出。輸入輸出之間有函數關係 $f(x)$ 。例如我們取 $f(x) = wcdot x+b$ ，則輸入 $x=1$ 有輸出 $f(x=1)=w+b$ 。

二、神經網路

我們像搭積木一樣把這一根根神經連接起來，就形成了神經網路。

神經網路簡化模型

深度神經網路無非就是層數多一點，節點多一點。但無論怎樣，最左面的就叫輸入層，最右面的叫輸出層，中間的不管多少層，都叫隱藏層。不同層的節點之間，可能擁有不同的 $f(cdot)$ 關係，具體 $f(cdot)$ 有哪些我們後面慢慢說，但至少 $f(cdot)$ 是已知的。

三、DNN前向傳播

一個簡單地神經網路

令 $f^{1}(x)=w_{ij}x_j+b_{ij}$ ， $(i=1,2,3,4;j=1,2,3)$ 則

$a_1=w_{11}{cdot}x_1+w_{12}{cdot}x_2+w_{13}{cdot}x_3+b_1$

$a_2=w_{21}{cdot}x_1+w_{22}{cdot}x_2+w_{23}{cdot}x_3+b_2$

$a_3=w_{31}{cdot}x_1+w_{32}{cdot}x_2+w_{33}{cdot}x_3+b_3$

$a_4=w_{41}{cdot}x_1+w_{42}{cdot}x_2+w_{43}{cdot}x_3+b_4$

用矩陣的方式表達上面的式子，為 $a=WX+b$ 。

其中 $W in R^{4 imes3}$ , $X_{3 imes 1}=(x_1,x_2,x_3)^{T}$ , $b_{i}=sum_{j=1}^{3}{b_{ij}}$ , $b_{4 imes 1}=(b_1,b_2,b_3,b_4)$ 。

網路的輸出 $y$ 與 $f^2(cdot)$ 有關，但 $f^2(cdot)$ 已知，慢慢去算就好了。（ $f^l(cdot)$ 代表第L層的傳遞函數。）

那麼到現在為止，我們可以通過設定輸入x，扔進一個結構已知的神經網路中，然後得到一個我們希望看到的輸出y。如果有一個牛人已經告訴你這個滿足你要求的神經網路中的 $f^l(cdot)$ 以及節點的個數，你完全可以根據網路結構，推導出網路的輸出。以滿足日常的使用要求。

DNN的前向傳遞到此為止，下一節我們聊一下如何得到能按照我們期望的輸入輸出工作的神經網路，即DNN反向傳播與網路參數的確定。

推薦閱讀：

TAG:模式識別 | 神經網路 | 深度學習DeepLearning |