論文 | 深度學習實現目標跟蹤

論文：Track-RNN：Joint Detection and Tracking Using Recurrent Neural Networks

背景介紹

和靜態圖片中的目標檢測相比，目標跟蹤相似但又不同。目標檢測是在圖片給出的候選區域中，我們針對某個區域是否包含既定目標進行打分。然後我們選擇最高打分的那個區域。和目標檢測不同的是，目標跟蹤不僅要檢測出目標，還要在接下來的視頻時間中，判斷是否有既定目標。單目標跟蹤是，在初始階段對目標進行初始化，然後追蹤特定的目標。多目標檢測是，目標數量在跟蹤過程中變化，我們要跟蹤每一個目標。多目標檢測更具備挑戰性，因為這要求能夠在目標被遮擋重新出現後進行再次跟蹤。

在目標跟蹤領域，大多數的工作集中在使用人工調製的參數。隨著訓練數據的增加，使用深度學習的方法來實現目標跟蹤正在逐步發展。

方法

2.1 技術方案總結

我們將目標跟蹤定義為一個馬爾可夫決策問題。視頻中的目標會經歷四個狀態，初始化，被跟蹤，丟失，重新跟蹤。這篇文章主要集中在單目標跟蹤問題。

圖1 跟蹤目標的四個狀態

我們的 track-rnn主要包含兩個部分，檢測部分和跟蹤部分。這兩個部分在底層共享卷積網路。

檢測部分主要使用了Fast-RCNN模型來進行跟蹤軌跡並進行初始化。當目標被檢測到，新的目標軌跡會被增加到軌跡列表中。

跟蹤部分包括預期動作生成和外形比較網路兩個部分。在給出selectvie searh結果和歷史軌跡的基礎上，預期動作生成指出當前幀中的可能的候選區域。外形對比網路輸出跟蹤得分，然後我們選出每一幀中最高得分的候選區域作為目標的跟蹤軌跡。

2.2 動作生成模型

動作生成模型，使用之前的目標區域（包括中心點坐標以及長和寬），然後生成下一幀圖像中被跟蹤目標可能出現的區域。

2.3 外形比較網路

外形比較網路使用候選區域和當前幀圖像作為輸入，然後計算出候選區域和目標的真實區域的重疊率作為當前候選區域的分數。

圖2 外形比較網路

在底層，我們使用基於AlexNet的RCNN從每張圖片的候選區域中提取出圖像特徵。把RCNN生成的圖像特徵投喂到頂層的RNN中。

在頂層，我們設計了RNN，用來利用之前時間序列中的空間信息以及從當前時間點提取出來的圖像特徵。每一個時間t，RNN計算出每個候選區域的IOU（重疊率）以及當前隱層的狀態。每個候選區域將會生成單獨的新的隱層狀態，我們選擇最高得分的IOU來更新隱層。

圖3 隱層更新圖（目標沒有被遮擋）

如果得分高於0.5，我們將更新隱層。如果沒有得分高於0.5，我們將視為被跟蹤目標丟失，而且不會更新隱層狀態。

圖4 隱層更新圖（目標被遮擋）

2.4 跟蹤單目標

在跟蹤單目標的過程中， 我們首先在當前幀中生成最有可能候選區域，然後從selective search 的結果池中選出256的樣本。對於每一個候選區域，我們計算出IOU的分支，然後選擇當前幀中最高得分的候選區域。

2.5 訓練過程

我們在MOT的數據上訓練我們的模型。在訓練階段，我們首先把每段軌跡切割成一小段。然後在每幀圖片中的選出512個候選區域。然後計算候選區域和真正的目標區域的IOU分數。然後，我們把這些批次投喂到我們的神經網路中，為IOU分數的回歸做訓練。

我們發現，測試性能很大程度的得益於在訓練中使用了長瞬時信息。我們使用了存儲在本地的Conv5的特徵，這能夠使每批次訓練的數目變多。我們通過20個步驟的批量訓練，這使得在訓練過程中能夠更好的長時間跟蹤目標。

實驗測試

3.1 目標檢測結果

在Fast-RCNNCaffe版本的基礎上我們實現了Fast RCNN模型的TensorFLow版本。我們使用MOT測試數據的一半作為訓練數據，另一本作為測試數據。如表所示，我們的檢測系統的性能比默認的檢測系統性能高出12到52個百分點。

圖5 目標檢測得分

4.2 目標跟蹤結果

我們的目標跟蹤結果如下圖所示，顏色代表跟蹤得分，紅色代表高分值，藍色代表低分值，白色代表中等分值。從下圖我們可以看看出，當被跟蹤目標沒有被遮擋時，我們的跟蹤系統成功地跟蹤到了目標，並給出了高分值。當目標消失後，沒有一個區域被給予高分值。當目標重新出現後，跟蹤系統重新識別了目標，並給予高分值。

圖6 目標跟蹤結果圖

版權聲明：轉載文章和圖片均來自公開網路，版權歸作者本人所有，推送文章除非無法確認，我們都會註明作者和來源。如果出處有誤或侵犯到原作者權益，請與我們聯繫刪除或授權事宜。

推薦閱讀：