從人臉識別 到 行人重識別，下一個風口

人臉識別在LFW超越人的識別能力之後，就很少有重大的突破了，逐漸轉向視頻中人臉識別或人臉屬性學習等方向。CV頂級會議的接受論文量也出現了逐漸平穩的趨勢。

而行人重識別（Person re-identification）也稱行人再識別，是利用計算機視覺技術判斷圖像或者視頻序列中是否存在特定行人的技術。廣泛被認為是一個圖像檢索的子問題。 給定一個監控行人圖像，檢索跨設備下的該行人圖像。旨在彌補目前固定的攝像頭的視覺局限，並可與行人檢測/行人跟蹤技術相結合 ，可廣泛應用於智能視頻監控、智能安保等領域。

行人重識別為國內現在主要的研究方向之一，投稿量則在逐年遞增。國內主要為 清華大學，北京大學，復旦大學，大工，中山大學，港中文，華科，西交，中科院，廈大等研究機構；國外為 悉尼科技，QMUL和UTSA等。行人重識別CV頂級會議的接受論文量穩步提升。

1. 首先讓我們從頂級會議錄取量的角度分析

• 人臉識別論文數量 （按關鍵字檢索 「face recognition「,"face verification"）

CVPR2013: 9

ICCV2013: 11

CVPR2014: 7

CVPR2015: 8

ICCV2015: 2

CVPR2016: 5

CVPR2017: 6

ICCV2017: 8

• 行人重識別論文數量 (按關鍵字檢索 「person re-identification」,"person search","person retrieval"，"pedestrian retrieval")

CVPR2013: 1

ICCV2013: 3

CVPR2014: 3

CVPR2015: 7

ICCV2015: 8

CVPR2016: 11

CVPR2017: 14

ICCV2017: 16

2. 行人重識別 和 人臉識別 的異同

• 行人重識別 是用一個攝像頭下的照片 去認其他攝像頭下是否再次出現了這個人。需處理攝像頭的viewpoint變化，行人的姿態變化等。
• 人臉識別 是給定pair，去識別是不是同一個人，或者找到照片庫中見過的人。
• 行人和人臉一樣具有結構，但行人結構更複雜一些，部件更多，不容易對齊。
• 大型行人數據集難以獲得，不像人臉可以扒名人。現有行人重識別數據集（DukeMTMC-reID，CUHK03，Market-1501等等）都是在校園中實際用攝像頭錄的。而早期的小數據集(Viper等)已無法提供全面評估，逐漸少用。
• 行人重識別落地的產品很少， 而人臉識別的大量應用已經落地 ？？
• 之前學界研究的少 多攝像頭/跨攝像頭問題

以上 是造成行人重識別 在學界火的原因吧。

3. 行人重識別常用 Large-scale 數據集

• DukeMTMC-reID

該數據集在杜克大學內採集，圖像來自8個不同攝像頭。該數據集提供訓練集和測試集。 訓練集包含16,522張圖像，測試集包含 17,661 張圖像。訓練數據中一共有702人，平均每類（每個人）有23.5 張訓練數據。是目前最大的行人重識別數據集，並且提供了行人屬性（性別/長短袖/是否背包等）的標註。

• Market-1501

該數據集在清華大學校園中採集，圖像來自6個不同的攝像頭，其中有一個攝像頭為低像素。同時該數據集提供訓練集和測試集。 訓練集包含12,936張圖像，測試集包含19,732 張圖像。圖像由檢測器自動檢測並切割，包含一些檢測誤差（接近實際使用情況）。訓練數據中一共有751人，測試集中有750人。所以在訓練集中，平均每類（每個人）有17.2張訓練數據。

• CUHK03

該數據集在香港中文大學內採集，圖像來自2個不同攝像頭。該數據集提供 機器檢測和手工檢測兩個數據集。 其中檢測數據集包含一些檢測誤差，更接近實際情況。平均每個人有9.6張訓練數據。

4. 未來可能拓展的研究課題

• Transfer learning。 在LFW上學好的人臉模型，在實際中可能不work。在行人重識別也有同樣的問題。 如研究在 數據集 Market-1501（夏季清華國人）上訓練好的模型，怎麼應用到另一個數據集 DukeMTMC-reID（冬季杜克老外）
• 像人臉一樣。 往屬性學習/視頻base的行人重識別轉。
• 做更大更難的檢索庫，比如Market-1501 + 500K（更多干擾的候選行人）。
• 語言檢索行人。通過自然語言的描述來找人。

行人特徵聚類可視化來自[1]

[1] Zheng Z, Zheng L, Yang Y. A discriminatively learned cnn embedding for person re-identification arXiv preprint arXiv:1611.05666, 2016.

更多相關文章：

• 2017 ICCV 行人檢索／重識別 接受論文匯總
• 用GAN生成的圖像做訓練？Yes！
• 行人重識別綜述：從哈利波特地圖說起

知乎專欄：行人重識別