CNN的反向傳播

來自專欄人工智慧圖像識別技術與計算機視覺(CV)5 人贊了文章

漫長的道路盡頭

是豁然開朗，還是危機重重

原來我的誤差

只決定了我們離別的可能

——題記

日常題（sāo）記（huà）……

再談交叉熵

我們在「基於DNN的圖像識別」這一篇中提到了交叉熵公式，在那裡我們直接給出了公式最簡形式：

。

事實上，這個公式能夠解決問題，但是並不能很明顯地表徵出交叉熵的意義。

接下來我將介紹一下交叉熵的真正意義。其實如果不了解交叉熵，對學習計算機視覺方面的影響不大，所以不願意學數學的朋友可以選擇跳過「再談交叉熵」標題下的內容。

熵，就是不確定度，也是衡量一個概率分布是否接近真實分布的標準。

先說不確定度，A、B、C三名學生：

A喜歡上網，天天熬夜打遊戲，退學的概率為30%，延畢的概率為60%，順利畢業的概率為10%；

B熱愛學習，經常出沒於圖書館和自習室，退學的概率為10%，延畢的概率為10%，順利畢業的概率為80%；

C恃才放曠，成天翹課泡在機房準備ACM，退學的概率為20%，延畢的概率為40%，順利畢業的概率為40%。

那麼，如何衡量他們未來的不確定性呢？

我們引入熵的公式： 。於是對於A、B、C三位同學的未來，熵值分別是：

，

，

。

我們發現，C同學的未來不確定性是最高的，其次是A，B的不確定性最低。

所以，好好學習，天天向上，珍愛生命，遠離ACM。

啊不，並不是這樣，ACM該打還是要打一打的，萬一拼上保研了呢……這不是關鍵。

關鍵在於，對於B同學這樣品學兼優的好學生，A和C誰更接近一點呢？當然，誰都知道肯定不是A，那就只能是C了，但是如何度量呢？

於是我們引入交叉熵的公式： ，其中M為原概率分布，N為待估計概率分布。於是，B同學與A、C的接近程度為：

，

。

所以，差生A與優生B的差距就比較大了，而競賽狂魔C與優生B的差距就小了一點。但是，這個差距的最小值，就是 ，因為原概率是最接近正確概率的，有興趣的朋友可以證明一下。

但是，這只是交叉熵在概率方面的應用，如何應用在CNN求誤差中呢？

Softmax層——將輸出轉化為概率

由於我們的輸出，往往是n個實數 ，我們期望這些實數都是[0, 1]區間內的實數，並且它們的和為1，這樣就能將輸出轉化為概率。但是我們應該如何轉化呢？

於是我們引入Softmax層：對於n個輸出 ，標籤為i的概率值為 。這樣，對於每一次訓練，前向傳播之後，我們用Softmax層求出概率，下一步就是最大化正確標籤的概率、最小化所以錯誤標籤概率就行了。

如何最小化呢？這裡就用到了交叉熵。我們期望的Softmax的輸出值，除了 之外， （其中 ），所以誤差就是 。

於是我們求出每一個輸出層神經元分攤的誤差：

當 時， ；

當 時， 。

我是不會告訴你這個公式是我從「基於DNN的圖像識別」那一篇複製過來的……

當然，往往輸出層不激活的效果要好於激活，即輸出層的激活函數往往採用 ，而導函數就是 了。

這樣，通過Softmax和交叉熵，我們得到了網路的誤差。我們發現，網路的訓練就是提高正確標籤對應的輸出層神經元對圖像的敏感程度，抑制其它標籤對應的輸出層神經元對圖像的敏感程度。下面，我們將進行反向傳播。

全連接層的反向傳播——當作DNN處理

全連接層之所以叫做全連接層，是因為它相鄰兩層的神經元之間是全連接的，而每層的神經元之間沒有連接。即相鄰兩層的神經元之間呈二分圖的拓撲結構，這就有點像RBM——受限玻爾茲曼機。於是，全連接層的反向傳播可以當作DNN處理，傳遞到第一層全連接層。

全連接層 - 卷積層的反向傳播——DNN穿上了馬甲

末層卷積層-全連接層其實和DNN的結構也差不多，就是多了共用的權值。其實權值的共用並不影響偏微分的求解。對於下左圖卷積層-全連接層的結構，我們可以拆分成右圖（注意連邊的顏色）：

因為全連接層每一個神經元的接收值都是通過如下公式求得：

。

根據偏微分的性質，誤差傳遞到末層卷積層時：

。

由於我們已經求過 ，所以原公式可以寫成：

。

卷積層 - 匯合層的反向傳播——騷操作

現在我們已經成功地將誤差傳到了末層卷積層，下一步就是傳遞到它前面的匯合層了。但是，由於匯合層的池化方式有兩種，我們需要分情況討論。

如果我們使用max_pooling（最大池化），那麼就在前一層找到每一個池化區域中最大值的位置 ，該處的誤差就是：

。

而如果我們使用average_pooling（均值池化），那麼上一層匯合層每一個池化區域內所有神經元都要分攤下一層卷積層該位置神經元的誤差，即：

。

匯合層/卷積層 - 卷積層的反向傳播——DNN穿上了皮衣

此時誤差傳到了匯合層。當然，卷積神經網路不一定是卷積層、匯合層交替連接，有時也會捨棄幾層匯合層，來保留更多的信息。當然我們也可以假想存在一個匯合層，其池化區域大小為 。

下面就是將匯合層的誤差繼續傳遞到上一層卷積層。由於權值共用，我們似乎不能非常明顯地看出哪些卷積層神經元的誤差和卷積核權值之積對匯合層某一神經元的誤差產生了貢獻。

沒關係。對於前向傳播是捨棄不存在元素的卷積，我們可以參考下面這張圖：

於是我們發現，對於前向傳播是捨棄不存在元素的卷積，當誤差反向傳播到卷積層時，我們的操作方法依然是一個卷積，只不過要把卷積核翻過來（旋轉180°），然後在周圍補0，如圖所示：

顯然，如果前向傳播是補零的卷積，那麼反向傳播就是捨棄不存在元素的卷積，不過依舊要將卷積核翻過來。

這樣，整個網路分攤的誤差我們就已經求出了，下面我們將求出各個待學習參數的梯度。

卷積層求權值與偏置量的梯度

由於匯合層沒有需要學習的參數，所有待學習的參數都在卷積層和全連接層。

對於末層卷積層，偏置量的梯度比較容易求出，只要找到對應神經元的誤差，求和就行了：

。

對於其它卷積層，偏置量的梯度則等於下一層對應單位厚度神經元的誤差之和：

。

而權值的梯度，對於末層全連接層，只需要求出對應神經元的誤差與末層卷積層輸出值的乘積即可：

。

對於其它卷積層，則是另一個卷積：將卷積層的輸出值翻過來（旋轉180°），然後求下一層的誤差與翻過來的輸出值的卷積，得到的就是這些卷積層的權值的梯度。同時需要注意的就是，前向傳播的卷積如果是補零的，反向傳播的這個卷積則是捨棄不存在元素的；前向傳播的卷積如果是捨棄不存在元素的，反向傳播的這個卷積則是補零的。

全連接層求權值與偏置量的梯度

當成DNN處理就可以了，再此不贅述了。忘記的朋友可以回頭看一下我原來的文章：