【技術綜述】一文道盡softmax loss及其變種

今天來說說softmax loss以及它的變種

更多請移步微信公眾號《與有三學AI》

為了壓榨CNN模型,這幾年大家都幹了什麼mp.weixin.qq.com圖標

1 softmax loss

softmax loss是我們最熟悉的loss之一了,分類任務中使用它,分割任務中依然使用它。softmax loss實際上是由softmax和cross-entropy loss組合而成,兩者放一起數值計算更加穩定。這裡我們將其數學推導一起回顧一遍。

令z是softmax層的輸入,f(z)是softmax的輸出,則

f(z_k )=e^{z_k }/(∑_je^{z_j })

單個像素i的softmax loss等於cross-entropy error如下:

l(y,z)=-∑_{k=0}^Cy_c log(f(z_c))

展開上式:

l(y,z)=log∑_je^{z_j } -loge^{z_y }

在caffe實現中,z即bottom blob,l(y,z)是top blob,反向傳播時,就是要根據top blob diff得到bottom blob diff,所以要得到 ?l(y,z)/?z

下面求loss對z的第k個節點的梯度

?l(y,z)/?{z_k}=f(z_y )-1當y=k時;f(z_k ) else

可見,傳給groundtruth label節點和非groundtruth label節點的梯度是不一樣的。

我們看看caffe中Backward的代碼。

Dtype* bottom_diff =bottom[0]->mutable_cpu_diff();const Dtype* prob_data = prob_.cpu_data();caffe_copy(prob_.count(), prob_data,bottom_diff);const Dtype* label =bottom[1]->cpu_data();int dim = prob_.count() / outer_num_;int count = 0;for (int i = 0; i < outer_num_; ++i) {for (int j = 0; j < inner_num_; ++j) {const int label_value =static_cast<int>(label[i * inner_num_ + j]);if (has_ignore_label_ &&label_value == ignore_label_) {for (int c = 0; c <bottom[0]->shape(softmax_axis_); ++c) {bottom_diff[i * dim + c *inner_num_ + j] = 0;}} else {bottom_diff[i * dim + label_value *inner_num_ + j] -= 1;++count;}}}

作為loss層,很有必要測試一下,測試分兩塊,forward和backward,我們看看caffe中的代碼。

Test_softmax_with_loss_layer.cpp

Forward測試是這樣的,定義了個bottom blob data和bottom blob label,給data塞入高斯分布數據,給label塞入0~4。

blob_bottom_data_(new Blob<Dtype>(10, 5, 2, 3))blob_bottom_label_(new Blob<Dtype>(10, 1, 2, 3))

然後分別ingore其中的一個label做5次,最後比較,代碼如下。

Dtype accum_loss = 0;for (int label = 0; label < 5; ++label) {layer_param.mutable_loss_param()->set_ignore_label(label);layer.reset(newSoftmaxWithLossLayer<Dtype>(layer_param));layer->SetUp(this->blob_bottom_vec_,this->blob_top_vec_);layer->Forward(this->blob_bottom_vec_, this->blob_top_vec_);accum_loss +=this->blob_top_loss_->cpu_data()[0];}// Check that each label was included all butonce.EXPECT_NEAR(4 * full_loss, accum_loss, 1e-4);

至於backwards,直接套用checker.CheckGradientExhaustive就行,它自己會利用數值微分的方法和你寫的backwards來比較精度。

TYPED_TEST(SoftmaxWithLossLayerTest,TestGradientIgnoreLabel) {typedef typename TypeParam::Dtype Dtype;LayerParameter layer_param;//labels are in {0, ..., 4}, so well ignore about a fifth of themlayer_param.mutable_loss_param()->set_ignore_label(0);SoftmaxWithLossLayer<Dtype> layer(layer_param);GradientChecker<Dtype> checker(1e-2, 1e-2, 1701);checker.CheckGradientExhaustive(&layer, this->blob_bottom_vec_,this->blob_top_vec_, 0);}

原始的softmax loss非常優雅,簡潔,被廣泛用於分類問題。它的特點就是優化類間的距離非常棒,但是優化類內距離時比較弱

鑒於此,就有了很多對softmax loss的改進,下面一一道來。

2 weighted softmax loss【1】

這第一個改進就是weighted,怎麼說?假如我們是一個分類問題,只有兩類,但是兩類的樣本數目差距非常之大。比如邊緣檢測問題,這個時候,明顯邊緣像素的重要性是比非邊緣像素大的,此時可以針對性的對樣本進行加權。

l(y,z)=-∑_{k=0}^Cw_c y_c log(f(z_c))

wc就是這個權重,像剛才所說,c=0代表邊緣像素,c=1代表非邊緣像素,則我們可以令w0=1,w1=0.001,即加大邊緣像素的權重。

當然,這個權重,我們還可以動態地計算讓其自適應。

具體的反向公式推導,就跟上面差不多不再贅述,詳細的實現我會在git中給出代碼。【1】中用了weighted sigmoid_cross_entropy_loss,原理類似。

固定權重的fixed softmax loss和自適應權重的adapted softmax loss大家可以去git中自行查看。

3 soft softmax loss【2】

首先我們看下面的式子。

f(z_k )=e^{z_k/T}/(∑_je^{z_j/T})

當T=1時,就是softmax的定義,當T>1,就稱之為soft softmax,T越大,因為Zk產生的概率差異就會越小。文【2】中提出這個是為了遷移學習,生成軟標籤,然後將軟標籤和硬標籤同時用於新網路的學習。

為什麼要想到這麼用,這是因為當訓練好一個模型之後,模型為所有的誤標籤都分配了很小的概率;然而實際上對於不同的錯誤標籤,其被分配的概率仍然可能存在數個量級的懸殊差距。這個差距,在softmax中直接就被忽略了,但這其實是一部分有用的信息。

文章的做法是先利用softmaxloss訓練獲得一個大模型,然後基於大模型的softmax輸出結果獲取每一類的概率,將這個概率,作為小模型訓練時soft target的label。

4 Large-Margin Softmax Loss【3】

這是文【3】中提出的loss,被稱為L-Softmax loss。我們先從一張圖來理解下softmax loss,這張圖顯示的是不同softmax loss和L-Softmax loss學習到的cnn特徵分布。第一列就是softmax,第2列是L-Softmax loss在參數m取不同值時的分布。通過可視化特徵可知學習到的類間的特徵是比較明顯的,但是類內比較散。而large-margin softmax loss則類內更加緊湊,怎麼做到的呢?

先看一下loss的定義形式如下。

L_i=-log(e^{||W{y_i}||cdot||x_i||cos(	heta{y_i})}/Sigma_je^{||W{y_i}||cdot ||x_i|| cos(	heta_j)}) where 0leq	heta_jleqpi

由於 z_k 是全連接層的輸出,所以它可以寫成 z_k=W{z_k}X_k 的形式,將內積更具體的表現出來,就是 z_k=||W{z_k}||cdot||X_k||	heta

我們看二分類的情況,對於屬於第1類的樣本,我們希望 ||W_1||cdot||X_k||cos{	heta_1}>||W_2||cdot||X_k||cos{	heta_2}

如果我們對它提出更高的要求呢?由於cos函數在0~PI區間是遞減函數,我們將要求改為

||W_1||cdot||X_k||cos{m	heta_1}>||W_2||cdot||X_k||cos{	heta_2}

其中m>=1, 0leq	heta_jleqpi/m

在這個條件下,原始的softmax條件仍然得到滿足。

我們看下圖,如果W1=W2,那麼滿足條件2,顯然需要θ1與θ2之間的差距變得更大,原來的softmax的decision boundary只有一個,而現在類別1和類別2的decision boundary不相同,這樣類間的距離進一步增加,類內更近緊湊。

更具體的定義如下:

L-Softmax loss中,m是一個控制距離的變數,它越大訓練會變得越困難,因為類內不可能無限緊湊。

作者的實現是通過一個LargeMargin全連接層+softmax loss來共同實現,可參考代碼。

5 angular softmax loss【4】

也稱A-softmax loss。它就是在large margin softmax loss的基礎上添加了兩個限制條件||W||=1和b=0,使得預測僅取決於W和x之間的角度θ。

上圖分別比較了原softmax loss,原softmax loss添加||w||=1約束,以及在L-softmax loss基礎上添加||w||=1約束的結果。

為什麼要添加|w|=1的約束呢? 作者做了兩方面的解釋,一個是softmax loss學習到的特徵,本來就依據角度有很強的區分度,另一方面,人臉是一個流形,將其特徵映射到超平面表面,也可以解釋。

6 L2-constrained softmax loss【5】

將學習的特徵x歸一化。作者觀測到好的正面的臉,特徵的L2-norm大,而特徵不明顯的臉,其對應的特徵L2-norm小,因此提出這樣的約束來增強特徵的區分度。

上面式就是將其歸一化到固定值α。實際訓練的時候都不需要修改代碼,只需要添加L2-norm層與scale層,如下圖。

為什麼要加這個scale層?NormFace【6】中作出了解釋。

該文章指出了直接歸一化權重和特徵,會導致loss不能下降。因為就算是極端情況下,多類樣本,令正樣本|wx|=1取最大值,負樣本|wx|=-1取最小值,這時候分類概率也是

e^1/(e^1+(n-1)e^{-1})

當類別數n=10,p=0.45;n=1000,p=0.007。當類別數增加到1000類時,正樣本最大的概率還不足0.01,而反向求導的時候,梯度=1-p,會導致一直傳回去很大的loss。

所以,有必要在後面加上scale層,作者還計算出了該值的下界,具體可自行參考。

7 additive margin softmax loss【7】

定義如下

看明白了吧,就是把L-Softmax的乘法改成了減法,同時加上了尺度因子s。作者這樣改變之後前向後向傳播變得更加簡單。其中W和f都是歸一化過的,作者在論文中將m設為0.35。

值得注意的是,normalization是收斂到好的點的保證,同時,必須加上scale層,scale的尺度在文中被固定設置為30。

那到底什麼時候需要normalization什麼時候又不需要呢?這實際上依賴於圖片的質量。

我們看一個公式如下

其中α就是向量x的模,它說明模值比較小的,會有更大的梯度反向傳播誤差係數,這實際上就相當於難樣本挖掘了。不過,也要注意那些質量非常差的,模值太小可能會造成梯度爆炸的問題。

8 argface additive angular margin【8】

定義如下:

在定義這個loss的時候,作者乾脆做了一個表把現有基於softmax loss及其改進的loss的二分類決策邊界條件都列了出來。

說累了,一句話,有效。。。

到此可以說為了改進softmax loss用盡了手段了,至於有沒有用,具體效果大家去嘗試吧,附上未完整的GitHub鏈接。

先寫到這裡,後續再充實實驗結果和更多原理。

longpeng2008/Caffe_Longgithub.com圖標

更多請移步

1,我的gitchat達人課

龍鵬的達人課gitbook.cn圖標

2,AI技術公眾號,《與有三學AI》

一文說說這十多年來計算機玩攝影的歷史mp.weixin.qq.com圖標

3,以及攝影號,《有三工作室》

馮小剛說,「他懂我」mp.weixin.qq.com圖標

【1】Xie S, Tu Z.Holistically-nested edge detection[C]//Proceedings of the IEEE international conference on computer vision. 2015: 1395-1403.

【2】Hinton G,Vinyals O, Dean J. Distilling the knowledge in a neural network[J]. arXiv

preprint arXiv:1503.02531, 2015.

【3】Liu W, Wen Y,Yu Z, et al. Large-Margin Softmax Loss for Convolutional Neural

Networks[C]//ICML. 2016: 507-516.

【4】Liu W, Wen Y,Yu Z, et al. Sphereface: Deep hypersphere embedding for face

recognition[C]//The IEEE Conference on Computer Vision and Pattern Recognition

(CVPR). 2017, 1.

【5】Ranjan R, Castillo C D, Chellappa R. L2-constrained softmax loss for discriminative face verification[J]. arXiv preprint arXiv:1703.09507, 2017.

【6】Wang F, Xiang X, Cheng J, et al. NormFace: $ L_2 $ Hypersphere Embedding for Face Verification[J]. arXiv preprint arXiv:1704.06369, 2017.

【7】Wang F, Liu W,Liu H, et al. Additive Margin Softmax for Face Verification[J]. arXiv preprint arXiv:1801.05599, 2018.

【8】Deng J, Guo J, Zafeiriou S. ArcFace: Additive Angular Margin Loss for Deep Face

Recognition[J]. arXiv preprint arXiv:1801.07698, 2018.


推薦閱讀:

麻省理工媒體實驗室:面部識別軟體「更喜歡」白人男性用戶
深度解密換臉應用Deepfake
人臉辨識技術也存在膚色和性別歧視?
一門跟四億人相關的生意
人臉識別出手!讓號販子再無可趁之機!

TAG:Caffe深度學習框架 | 深度學習DeepLearning | 人臉識別 |