ECCV視覺目標跟蹤之DaSiamRPN

ECCV視覺目標跟蹤之DaSiamRPN

來自專欄目標檢測與跟蹤109 人贊了文章

啥？大 (Da) SiamRPN ?你們起名字能用點心嗎？哈哈，開個玩笑，其實名字是Distractor-aware SiamRPN的縮寫~

開篇就預報彩蛋: DaSiamRPN在VOT2018上取得了非常Top的成績（EAO=0.38+），具體名次會在兩周之後的ECCV VOT Workshop上面公布.

經過長時間的准(tuo)備(yan)，SiamRPN (CVPR2018) 和DaSiamRPN (ECCV2018) 的訓練模型和結果復現代碼上線GitHub: foolwood/DaSiamRPN

在這個repository 中，大家可以下載我們已經train的model, 復現我們在VOT2018 Challenge中的結果 (EAO=0.38+), 代碼方面有什麼問題的話，大家直接開issues或者騷擾 @Qiang Wang ,哈哈

歡迎大家cite我們的這兩項工作：

@inproceedings{Zhu_2018_ECCV,

title={Distractor-aware Siamese Networks for Visual Object Tracking},

author={Zhu, Zheng and Wang, Qiang and Bo, Li and Wu, Wei and Yan, Junjie and Hu, Weiming},

booktitle={European Conference on Computer Vision},

year={2018}

}

@InProceedings{Li_2018_CVPR,

title = {High Performance Visual Tracking With Siamese Region Proposal Network},

author = {Li, Bo and Yan, Junjie and Wu, Wei and Zhu, Zheng and Hu, Xiaolin},

booktitle = {The IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},

year = {2018}

}

好了，開場白說完了，如果接下來不說一點技術細節的話，好像在發朋友圈一樣。。。所以下面和大家分享一下我們在這次新工作過程中的一些發現：

1，在做完SiamRPN之後，我們發現雖然跟蹤的框已經回歸地比較好了，但是響應的分數仍然相當不可靠，具體表現為在丟失目標的時候，分類的分數仍然比較高（例如0.8+），換句話說，其實我們推斷SiamRPN只是學習到了objectness/non-objectness的區分，一個具體的例子見下圖（左半部分）：

2, 之所以出現上面的問題，我們的結論是 訓練過程中的樣本不均衡造成的. 一個是正樣本種類不夠多，導致模型的泛化性能不夠強；我們的解決方案是加入detection的圖片數據, pair可以由靜態圖片通過數據增益生成；加入detection數據生成的正樣本之後，模型的泛化性能得到了比較大的提升. 第二個樣本不均衡來自於難例負樣本，在之前的Siamese網路訓練中, 負樣本過於簡單，很多事是沒有語義信息的；我們的解決辦法是用不同類之間的樣本（還有同類的不同instance）構建難例負樣本，從而增強分類器的判別能力. 不同種類的正負樣本的構建可以參見下圖. 以上兩個改進大大改善了相應分數的質量，見上圖的右半部分：在丟失目標的時候，相應分數隨之變得很低，說明跟蹤器的判別能力得到了改善.

3, 有了高質量的響應分數之後，一個bonus是可以做long-term的tracking. 我們採用了一個比較簡單local-to-global的擴展搜索區域方法，在UAV20L上面取得了state-of-the-art的結果:

4, 在VOT實驗方面，DaSiamRPN超過了ECO，速度是160+FPS. (看到這裡還不點贊嗎，哈哈), 下面是一些實驗結果圖：

上面的VOT2017的結果（0.326）是三月份的，在參加VOT2018的時候，EAO已經來到了0.38+（手動優秀）.

還有UAV123數據集上的實驗結果：

對了，還有ablation的分析（怎麼感覺像在寫rebuttal。。。）：

以及不同GPU平台上的速度比較（話說老黃昨晚又雙叒叕發布新顯卡了。。。）：

最後我想說的是：

哈哈，開個玩笑，希望大佬們多多指教，大家一起把單目標做快做好，一起push學術界的前沿研究以及工業界的場景落地~

推薦閱讀：