行人reid-局部特徵

來自專欄博士paper

前言：早期的ReID大家還主要關注global feature，近兩年來主要採用global feature 和 local feature相結合。常用的提取局部特徵的思路有圖像切塊、利用骨架關鍵點定位以及attention機制。

1、基於姿態的提取局部特徵

• Pose Invariant Embedding for Deep Person Re-identification

問題：解決的問題主要是檢測錯誤和姿態變化引起的行人不對齊。

流程：1、用姿態估計估計出行人的關鍵點位置，根據關鍵點位置將行人分為若干個區域，再將這些四邊形區域根據仿射變換成矩形。

2、三個PoseBox分別融合了圖像的不同區域。

3、該三個posebox和原圖送入網路提取特徵。這個特徵包含了全局和局部特徵，網路結構如下圖所示。

• Spindle Net

問題：解決由於檢測誤差和姿態引起的行人不對齊問題。

流程：1、提取人的14個關鍵點位置，提取7個人體結構ROI。包括三個大區域（頭、上身、下身）和四個四肢小區域。

2、提取ROI區域和原始圖像的特徵：原始圖像經過完整的CNN得到一個特徵，三個大區域經過C2和C3得到三個特徵，四個小區域經過C3得到四個特徵。

3、8個特徵按照人體結構在不同尺度結合，最後得到一個融合全局特徵和局部特徵的特徵。

• Pose-driven Deep Convolutional Model for Person Re-identification

問題：解決姿態和視角變化引起的行人匹配困難。

流程：1、提取人體的關鍵點，根據關鍵點位置將人體分為6個部分。

2、對每個部分學習一個仿射變化的參數（STN），對每個部分進行旋轉和縮放。形成一個姿態歸一化的圖。

3、 提取原始圖和歸一化的圖的特徵，並自動學習融合特徵的權重。

2、利用Attention自動提取局部特徵。

• Deeply-Learned Part-Aligned Representations for Person Re-Identification

問題：解決圖像不對齊的問題。不需要關鍵點檢測。

流程：1、利用特徵提取網路提取圖像的特徵。（ResNet50）

2、有K個分支，每個分支輸入圖像的特徵圖，學習一個特徵權重，輸出特徵圖*權重後的pooling後特徵（Attention到圖像的某一部分）

3、K個特徵連接起來作為該圖像的特徵。

缺點：可以加上各個Attention相互獨立的約束。

3、基於視角信息提取特徵

• A Pose-Sensitive Embedding for Person Re-Identification with Expanded Cross Neighborhood Re-Ranking

問題：結合視角信息和檢測的關鍵點可以幫助網路學習到圖像的更好的表示。

流程：1、預測圖像的視角（前向，側向，背面）

2、提取圖像的三個朝向的特徵。（7,7,2048），每個朝向的特徵與每個朝向的概率相乘，各個朝向的feature相加，再經過pool和一層全連接層產生1536維的特徵。

3、對得到的特徵進行ID的分類。