【AI認人】你需要知道的10種行人屬性

來自專欄行人重識別

論文地址：[1703.07220] Improving Person Re-identification by Attribute and Identity Learning

數據集地址： vana77/DukeMTMC-attribute 和 vana77/Market-1501_Attribute

What：

1. 論文中為兩個大型行人數據集（Market-1501 和 DukMTMC-reID）標註了多種行人屬性
2. 屬性是基於ID-level的，也就是說每個人只標註一套attribute（如是否背包、上衣長袖還是短袖）
3. 具體的行人屬性如下：

• 性別 gender male(1), female(2)
• 頭髮長短 hair length hairshort hair(1), long hair(2)
• 袖子長短 sleeve length uplong sleeve(1), short sleeve(2)
• 下衣長短 length of lower-body clothingdownlong lower body clothing(1), short(2)
• 下衣類型 type of lower-body clothingclothesdress(1), pants(2)
• 戴帽子 wearing hathatno(1), yes(2)carrying backpackbackpackno(1), yes(2)
• 背包 carrying bagbagno(1), yes(2)carrying handbaghandbagno(1), yes(2)
• 年齡 age ageyoung(1), teenager(2), adult(3), old(4)
• 8種行人上衣顏色 8 color of upper-body clothingupblack, upwhite, upred, uppurple, upyellow, upgray, upblue, upgreenno(1), yes(2)
• 9種行人下衣顏色 9 color of lower-body clothingdownblack, downwhite, downpink, downpurple, downyellow, downgray, downblue, downgreen,downbrownno(1), yes(2)

以下是比較直觀的示例：

4. 當我們識別兩個人是不是一個人的時候，其實不會直接得出答案，而是先看他們的屬性，是不是同性，或者說他們是不是穿一樣的衣服（短時間內）。這有助於我們得出最後的判斷。

5. 另外，屬性也可以用于格式化文本生成，以此反過來檢索行人。

6. 這個數據集也可以被用在 行人生成的GAN網路中。

How：

1. 作者提出數據集的標註方法（ID level的標註）
2. 還提出一個baseline 的 attribute 和ID 同時訓練的網路

3. 實驗部分也有 有趣的結論：

• 屬性之前也是有關聯的，比如性別和是不是穿裙子（如下圖可以發現，基本穿裙子100%是female，有83%是長發）

• 屬性學習 有助於 行人重識別的精度

定性的實驗（學到的attention更廣了）

定量的實驗（Market 從73.69到 84.29）

• 哪一個屬性幫助最大呢？是不是每個attribute都有助於reid。

可以看到在Market上bag是影響最大的。而hat由於本來數據總量就比較少，加不加這個屬性似乎沒有顯著影響。

而在DukeMTMC-reID上則是鞋子的顏色。這也是make sense的，因為我自己實驗也發現attention往往會忽略鞋子（因為CNN也是會偷懶的），而attribute強調了這部分。

• 在Market-500k上也顯示出了良好的性能（其實market做到90多以後，大家可以試試market500k這個難度真的挺大的）

----------------------------

感謝看完，歡迎討論。

更多相關文章：

• 2017 ICCV 行人檢索／重識別 接受論文匯總
• 用GAN生成的圖像做訓練？Yes！
• 為什麼混合Loss可以提升圖像檢索效果？

推薦閱讀：