商湯科技ICCV論文開拓CV研究新領域，20篇入選領先全球科技巨頭

今秋，在以水城而聞名的威尼斯，來自世界各地的三千多位學者薈萃一堂，共赴兩年一度的國際計算機視覺大會(ICCV)。這次大會的一個重要亮點就是中國學者的強勢崛起。根據組委會公開的數字，會議40%的論文投稿來自中國的研究者。在中國的人工智慧浪潮中，商湯科技以及它與港中文的聯合實驗室無疑是其中最有代表性的力量。在本屆ICCV大會，商湯科技與香港中大-商湯科技聯合實驗室共發表了20篇論文，其中包括3篇Oral （錄取率僅2.09%）和1篇Spotlight，領先於Facebook（15篇）、Google Research（10篇）等科技巨頭。

ICCV是計算機視覺領域最高水平的國際學術會議，在其中發表的論文的量與質可以衡量一個公司或者研究機構的學術水平，以及其對未來科技發展潮流的把握。從商湯科技的20篇論文中，可以看到其在研究上重點發力的四大主線：

跨模態分析：讓視覺與自然語言聯合起來

在過去幾年，隨著深度學習的廣泛應用，計算機視覺取得了突破性的發展，很多傳統任務（比如圖像分類，物體檢測，場景分割等）的性能大幅度提高。但是在更高的水平上，計算機視覺開始遇到了新的瓶頸。要獲得新的技術進步，一個重要的方向就是打破傳統視覺任務的藩籬，把視覺理解與自然語言等其它模態的數據結合起來。商湯科技很早就捕捉了這一趨勢，並投入重要力量進行開拓，取得了豐碩成果。在這一方向上，有4篇論文被ICCV 2017錄用，包括一篇Oral。

Towards Diverse and Natural Image Descriptions via a Conditional GAN (Oral).

Bo Dai, Sanja Fidler, Raquel Urtasun, Dahua Lin.

看圖說話，也就是根據圖像生成描述性標題，是今年來非常活躍的研究領域。現有的方法普遍存在一個問題，就是產生的標題很多是訓練集中的表述的簡單重複，讀起來味同嚼蠟。這一問題的根源在於學習目標過分強調與訓練集的相似性。這篇論文提出了一種新型的基於Conditional GAN的訓練方法，把描述生成模型與評估模型合同訓練。這樣，評估的標準從「像不像訓練集」變成「像不像人說話」，從而驅動生成模型產生更加自然、生動，並具有豐富細節的描述。這一工作為看圖說話任務提供了新的思路。在User Study中，這種新的方法以6:4的勝率戰勝了傳統的方法。

另外兩篇paper則從相反的方向思考，力圖利用相關文本的信息來幫助提高視覺理解的能力。

Scene Graph Generation from Objects, Phrases and Caption Regions.

Yikang Li, Bolei Zhou, Wanli Ouyang, Xiaogang Wang, Kun Wang.

這篇論文把三個有密切關係的任務——物體檢測，場景圖生成，以及圖像區域的描述聯合在一起，並且利用它們之間的關係建立了一個多層次的場景描述模型—— Multi-level Scene Description Network (MSDN)。通過這個聯合模型，傳統上分離開來的三個任務可以結合在一起進行端對端的訓練，從而使得每個任務都獲得性能的提升。尤其在代表對圖像綜合理解能力的場景圖生成任務上，性能提高超過了3%。

Learning to Disambiguate by Asking Discriminative Questions.

Yining Li, Chen Huang, Xiaoou Tang, Chen Change Loy.

這篇論文探索了一個新的方向，即透過提出有鑒別力的問題來區分不同的視覺實體。比如當你需要區分一隻白色的狗和一隻黑色的狗的時候，可以提出關於顏色的問題。為了支持這個方向的探索，作者在這項工作中建立了一個新的數據集，裡面含有了超過一萬組包含成對圖像與多個相關問題的樣本；並且提出了一種新型的弱監督訓練方法，可以在缺乏細緻標註的條件下，同時學習到一個具有區分度的問題生成器，以及能提供準確答案的鑒別模型。

Identity-Aware Textual-Visual Matching with Latent Co-attention.

Shuang Li, Tong Xiao, Hongsheng Li, Wei Yang, Xiaogang Wang.

特徵匹配是跨模態學習的核心環節。這篇論文提出了一個新的文本與視覺特徵匹配的框架。這個框架由兩個階段組成。第一階段能迅速排除明顯錯誤的配對，並為第二階段的訓練提供效度更高的訓練樣本。第二階段通過一個新的關聯注意力模型（co-attention model），把文本中的單詞關聯到圖像中的特定區域。在三個公開數據集上（CUHK-PEDES, CUB, Flowers），本文提出的方法都顯著超過現行的主流方法。

視頻分析：讓計算機看懂視頻

雖然深度學習在圖像分析中取得了巨大的成功，它在視頻的理解與分析中的應用還有很長的路要走。相比於圖像，視頻數據具有更大的數據量以及更豐富的結構，因而也為視覺分析技術提出了更高水平的挑戰。商湯科技在數年前就開始了把深度學慣用於視頻分析與理解的探索，提出了包括Temporal Segmental Networks (TSN)在內的多種有很大影響並被廣泛應用的視頻分析架構，並在ActivityNet 2016取得了冠軍。在2017年，商湯科技以及相關實驗室繼續把這個方向的探索推向縱深，並在ICCV 2017發表了兩項重量級的工作，包括一篇Oral。

RPAN: An End-To-End Recurrent Pose-Attention Network for Action Recognition in Videos. (Oral)

Wenbin Du; Yali Wang; Yu Qiao.

通常的視頻分析模型大部分是基於video-level的類別進行監督學習的，這種方法的局限是難以學習到複雜的運動結構。這篇論文另闢蹊徑，著力於動態人體的建模，並提出了一個新型的可以端對端訓練的深度網路架構 Recurrent Pose Attention Network (RPAN)。該架構不僅可以自適應地整合人體運動姿態的特徵，還能很好地學習其時空演化結構。這項工作一方面為視頻動作理解提供了新的方法，另一方面作為副產品也獲得了一個不錯的粗粒度姿態估計的模型。

Temporal Action Detection with Structured Segment Networks.

Yue Zhao, Yuanjun Xiong, Zhirong Wu, Xiaoou Tang, Dahua Lin.

時域上的動作檢測是近兩年興起的新型視頻分析任務。相比於傳統的動作分類，這個任務更具有挑戰性，不僅需要判斷一個運動或者事件的類型，還需要獲得它的準確起止時間。這個任務在實際場景中有很大的潛在價值，比如它可以從長時間的運動視頻或者電影中自動定位到相關的精彩片段。這篇論文提出了一種新型的視頻動作檢測模型，它在TSN的基礎上引入了三段結構模型以更有效地捕捉運動起始段與終結段的特徵。基於這一架構，動作分類器與時間定位器可以端到端聯合訓練。這個方法在多個大型視頻數據集上（包括THOMOS和ActivityNet）取得了比現有方法超過10個百分點的提升。

生成對抗網路：讓計算機學習創作

最近兩年，由於生成對抗網路（Generative Adversarial Networks）的提出，生成模型（generative model）的學習成為一個新興的研究方向。和傳統的鑒別模型（discriminative model）主要關注信息提煉不同，生成模型需要從零開始，或者基於信息量非常有限的給定條件，產生出完整的圖像，因此特別具有挑戰性。這個研究方向在消費領域具有巨大的應用價值，同時它也可以通過產生訓練樣本的方式反哺傳統領域的研究。商湯科技在這個新興領域也積極開展研究，取得不少新的成果，並在ICCV 2017發表了兩項相關工作，包括一篇Oral。

StackGAN: Text to Photo-realistic Image Synthesis with Stacked Generative Adversarial Networks.n (Oral)

Han Zhang, Ttao Xu, Hongsheng Li, Shaoting Zhang, Xiaogang Wang, Xiaolei Huang, Dimitris Metaxas.

生成高質量的圖像是生成模型研究的核心問題。這篇文章提出了一個新型的生成框架，StackGAN，它能夠根據簡短的文字描述生成解析度為256 x 256的高質量圖片。生成如此高解析度的照片是一個極具挑戰性的問題，此前的生成模型通常只能產生大小為64 x 64的圖片。本文提出的方法把這個困難的任務分解為兩個階段。在第一階段，先根據文字描述產生粗粒度的草圖，以第一階段的結果作為輸入，第二階段產生高解析度的圖像，並補充豐富的細節。此文還進一步提出了一種新型的條件增強技術，以改進訓練過程的穩定性。和現有的生成網路相比，StackGAN在生成圖片的質量的解析度上獲得了非常顯著的進步。

Be Your Own Prada: Fashion Synthesis with Structural Coherence.

Shizhan Zhu, Dahua Lin, Raquel Urtasun, Sanja Fidler, Chen Change Loy.

這篇文章探索了一個極具應用價值的方向，把生成模型引入時尚領域：提出一種嶄新的方法產生換裝照片。具體而言，給定一個人的照片，以及對換裝的描述，此文提出的方法可以根據對換裝的描述，比如「黑色的短袖長裙」，產生換裝後的照片。和一般的生成任務相比，換裝任務更具挑戰性，換裝照不僅需要符合文字描述，而且需要和原照片中人體的姿態相吻合。此文提出一個兩階段的框架解決這個問題：第一階段產生一個和人體姿態吻合的分區圖，第二階段以此為基礎生成具有精細細節的服裝圖像。

除了在新興方向上積極開拓，商湯科技在一些重要的核心領域，包括人臉檢測、物體檢測、人體姿態估計、實際場景中的身份再識別等，也持續投入，精益求精，在本屆ICCV發表多篇相關論文。

商湯科技ICCV2017論文列表

1. 「StackGAN: Text to Photo-realistic Image Synthesis with Stacked Generative Adversarial Networks」. Han Zhang, Ttao Xu, Hongsheng Li, Shaoting Zhang, Xiaogang Wang, Xiaolei Huang, Dimitris Metaxas.

2. 「Scene Graph Generation from Objects, Phrases and Caption Regions」. Yikang Li, Bolei Zhou, Wanli Ouyang, Xiaogang Wang, Kun Wang.

3. 「Online Multi-Object Tracking Using Single Object Tracker with Spatial and Temporal Attention」. Qi Chu, Wanli Ouyang, Hongsheng Li, Xiaogang Wang, Nenghai Yu.

4. 「Learning Feature Pyramids for Human Pose Estimation」. Wei Yang, Wanli Ouyang, Shuang Li, Xiaogang Wang.

5. 「Learning Chained Deep Features and Classifiers for Cascade in Object Detection」. Wanli Ouyang, Xiaogang Wang, Kun Wang, Xin Zhu.

6. 「Identity-Aware Textual-Visual Matching with Latent Co-attention」. Shuang Li, Tong Xiao, Hongsheng Li, Wei Yang, Xiaogang Wang.

7. 「Towards Diverse and Natural Image Descriptions via a Conditional GAN」. Bo Dai, Sanja Fidler, Raquel Urtasun, Dahua Lin.

8. 「Temporal Action Detection with Structured Segment Networks」. Yue Zhao, Yuanjun Xiong, Zhirong Wu, Dahua Lin.

9. 「Learning to Disambiguate by Asking Discriminative Questions」. Yining Li, Chen Huang, Xiaoou Tang, Chen Change Loy.

10. 「Be Your Own Prada: Fashion Synthesis with Structural Coherence」. Shizhan Zhu, Raquel Urtasun, Sanja Fidler, Dahua Lin, Chen Change Loy.

11. 「Recurrent Scale Approximation for Object Detection in CNN」. Yu LIU, Hongyang Li, Junjie Yan, Xiaogang Wang, Xiaoou Tang.

12. 「Orientation Invariant Feature Embedding and Spatial Temporal Re-ranking for Vehicle Re-identification」. Zhongdao Wang, Luming Tang, Xihui Liu, Zhuliang Yao, Shuai Yi, Jing Shao, Junjie Yan, Shengjin Wang, Hongsheng Li, Xiaogang Wang.

13. 「Multi-label Image Recognition by Recurrently Discovering Attentional Regions」. Zhouxia Wang, Tianshui Chen, Guanbin Li, Ruijia Xu, Liang Lin.

14. 「HydraPlus-Net: Attentive Deep Features for Pedestrian Analysis」. Xihui Liu, Haiyu Zhao, Maoqing Tian, Lu Sheng, Jing Shao, Shuai Yi, Junjie Yan, Xiaogang Wang.

15. 「Learning Deep Neural Networks for Vehicle Re-ID with Visual-spatio-temporal Path Proposals」. Yantao Shen, Tong Xiao, Hongsheng Li, Shuai Yi, Xiaogang Wang.

16. 「Deep Dual Learning for Semantic Image Segmentation」. Ping Luo, Guangrun Wang, Liang Lin, Xiaogang Wang.

17. 「Detecting Faces Using Inside Cascaded Contextual CNN」. Kaipeng Zhan, Zhanpeng Zhang, Hao Wang, Zhifeng Li, Yu Qiao, Wei Liu.

18. 「Single Shot Text Detector With Regional Attention」. Pan He; Weilin Huang, Tong He, Qile Zhu, Yu Qiao, Xiaolin Li.

19. 「RPAN: An End-To-End Recurrent Pose-Attention Network for Action Recognition in Videos」. Wenbin Du, Yali Wang, Yu Qiao.

20. 「Range Loss for Deep Face Recognition With Long-Tailed Training Data」. Xiao Zhang, Zhiyuan Fang, Yandong Wen, Zhifeng Li, Yu Qiao.

推薦閱讀：