標籤:

AlignedReID 論文筆記

一. 論文背景

論文:AlignedReID: Surpassing Human-Level Performance inPerson Re-Identification 【點擊下載】

Caffe代碼:【Github】

首先通過下圖來看ReID面臨的問題:

由於檢測框不準確(a-b),姿態變化(c-d),遮擋(e-f)和 近似外觀(g-h)。

為了解決以上問題,一些研究將重心放在part-based learning,在整體特徵無法準確描述的情況下,利用局部特徵來強調差異。

局部特徵有很多方法,最常用的 水平劃分,PAR(基於FCN),AttentionModel,RPP 等。

演算法提到了兩個創新點,動態對齊(Dynamic Alignment)和 協同學習(Mutual Learning),演算法在Market1501和CUHK03上的Rank-1達到了94.0%和96.1%,首次在行人再識別問題上超越了人類表現。

二. 演算法描述

最關鍵的 Aligned ReID 框架圖,下圖是不包含 Mutual Learning 的情況:

這裡面 N 為一個Batch(論文中N=128),通過一個共享的特徵提取層後,分別提取局部特徵和全局特徵,通過N*N的距離矩陣描述,計算triplet loss。

在一個min-batch中,通過global distance計算距離,選擇 相同標籤差異最大、不同標籤差異最小的input構造hard samples。實驗中Triplet margin設為0.3。

2.1 動態規劃

動態規劃實際是為了解決兩幅圖像之間的 Part對齊問題,如圖 [part1]<->[part4]

1)Part model能夠對目標特徵進行細粒度刻畫,是非常必要的

2)最短路徑包含非相關特徵(如part1<->part1),這非但不會對結果造成影響,而且還會對維護垂直方向對齊的次序起著至關重要的作用。

路徑規劃本身隱含了自上而下的順序

註:非相關特徵距離d比較大,其梯度接近於0,因此對於最短路徑的貢獻是比較小的。

有興趣的同學可以參考下面的公式證明一下。

3)路徑規划過程

先來看part距離公式(H表示水平劃分,文中已驗證最好的H=6):

規劃從(1,1)到(H,H)的最短路徑,參考公式:

規劃得到的SH,H最短路徑即是兩幅圖像最佳的Local 匹配。

2.2 協同學習

協同學習的框架:

1) 通過兩個網路(上圖θ1和θ2)實現 Mutual Learning

每個網路又包含 Classification Learning和 Metric Learning,用於分類和距離度量。

通過 Classification Mutual Loss 和 Metric Mutual Loss 實現協同學習。

註:兩個網路相互學習,沒有主次之分。

2)預測階段,只用到了全局特徵,沒有採用局部特徵

原因在於,通過協同學習,提取的全局特徵在局部特徵影響下,已經能夠準確描述圖像,和局部特徵並無區別,作者通過實驗驗證(僅在小gallery上Rank-1有所提升,0.3-0.5%)。

當然還有一個原因,就是全局特徵的提取更快,一致性描述更強。

3)Batch解構

對於一個Batch內N幅圖像,通過global distance計算兩兩之間的距離,得到N*N的距離矩陣M,其中Mi,j表示圖像(i,j)之間的距離,Mutual LearningLoss定義為:

2.3 Re-Ranking

重排序對於ReID來講通常是非常必要的,能夠顯著提高準確率,本文採用的Re-Ranking方法並無不同,本節不展開。

三.實驗結果

演算法在測試過程中已經超過了人類的認知,在典型數據集上表現也非常不錯。和state-of-the-art 方法的對比:

推薦閱讀:

TAG:行人重識別 |