Improved Deep Metric Learning with Multi-class N-pair Loss Objective（NIPS,2016）

1.簡介：

這是一篇NIPS2016的論文，文章針對傳統的pairwise（成對樣本），triplet（三元組）出現的收斂慢同時經常收斂到較差的值的問題 做出改進，傳統的上述兩種元組構建的損失函數每次更新只使用了一個負樣本，希望能通過多次隨機採樣得到的元祖的更新使得我們最終得到的距離度量可以正確地平衡，但是單個元組的更新不僅慢而且不穩定。後續有些工作通過hard negative data mining來改善原始的三元組損失函數的問題，但是在擁有大量的輸出類中，hard negative data mining的代價將會很大，所以本文尋找一種替代方法。

2.演算法的motivation

下圖是本文的核心思想，由三元組變為N元祖（注意與Deep Metric Learning via Lifted Structured Feature Embedding（CVPR,2016）一文的區別，N-pair batch construction can be seen as a special case of lifted structure where the batch includes only positive pairs that are from disjoint classes）。

3.本文核心演算法部分分解：

①針對原始Contrastive/Triplet的收斂慢，效果不好的問題，考慮使用N元組而不是原來的三元組或三元組，在每次更新中使用更多的負樣本（思路如上圖）。

②因為是N元祖的形式，在batch的個數較大同時output classes較大的時候內存會出現問題，所以相應的提出了新的batch construction的方式；

③受hard negative data mining的啟發，也提出了本文的hard Negative class mining方法；因為在構造的損失函數中，涉及到向量的相乘（方向+範數值）的問題，此處採用L2範數正則。

4.參考鏈接

做的ppt鏈接：https://pan.baidu.com/s/1qX9vJT6

推薦閱讀：