視覺多目標跟蹤演算法綜述（上）-附開源代碼下載鏈接整理

11-11

1. 導言

目標跟蹤是機器視覺中一類被廣為研究的重要問題，分為單目標跟蹤與多目標跟蹤。前者跟蹤視頻畫面中的單個目標，後者則同時跟蹤視頻畫面中的多個目標，得到這些目標的運動軌跡。

基於視覺的目標自動跟蹤在智能監控、動作與行為分析、自動駕駛等領域都有重要的應用。例如，在自動駕駛系統中，目標跟蹤演算法要對運動的車、行人、其他動物的運動進行跟蹤，對它們在未來的位置、速度等信息作出預判。

目標跟蹤演算法可以進行軌跡特徵的自動分析和提取，以彌補視覺目標檢測的不足，有效的去除錯誤的檢測，增加遺漏的檢測，為進一步的行為分析提供基礎。相對於多目標跟蹤演算法，視覺單目標跟蹤演算法研究的更為廣泛，當前解決的相對更好。典型的如Mean shift演算法，用卡爾曼濾波、粒子濾波進行狀態預測，TLD等基於在線學習的跟蹤，KCF等基於相關性濾波的演算法等。

對於單目標跟蹤演算法的測試視頻來說，存在一個先驗假設是目標總是在攝像機視場範圍內，因此即使把矩形框固定在初始位置，有時候仍然能得到一個看起來還好的跟蹤結果(如圖1)。

圖 1:採用固定矩形框的 0 階跟蹤方案有時候能夠得到可接受的跟蹤結果。

多目標跟蹤問題沒有上述的先驗假設，一般情況下，多目標跟蹤的對象位置變化很大，跟蹤對象可以從場景入口進入，從出口離開，跟蹤目標個數不固定。另外，多目標跟蹤問題通常追蹤給定類型的多個對象，同類對象具有一定的外觀輪廓相似性，如下圖跟蹤場景：

圖2：CAVIAR數據中一些行人在商店長廊中經過

相對來說，多目標跟蹤問題更加複雜，除了單目標跟蹤中存在的物體形變、背景干擾等因素。通常還需要解決以下一些問題：

跟蹤目標的自動初始化和自動終止，即處理新目標的出現，老目標的消失
跟蹤目標的運動預測和相似度判別，即準確的區分每一個目標
跟蹤目標之間的交互和遮擋處理
跟丟目標再次出現時，如何進行再識別問題

多目標跟蹤任務需要解決比單目標跟蹤更多的問題和難點，如何有效地解決這些問題對多目標跟蹤演算法有重要意義。在這篇文章中，SIGAI將和大家一起對一些經典的視覺多目標跟蹤演算法進行回顧和歸納，以理解視覺多目標跟蹤演算法的框架和當前主流演算法的框架和基本原理，如果對本文的觀點持有不同的意見，歡迎向我們的公眾號發消息一起討論。

2. 視覺多目標跟蹤演算法的分類

多目標跟蹤問題最早出現在雷達信號中目標運動軌跡的跟蹤，如同時跟蹤飛過來的多架敵人的飛機和多枚導彈。這些演算法後來被借鑒用於機器視覺領域的多目標跟蹤任務，隨著計算機視覺領域的深入研究，近年來研究者對多目標跟蹤演算法從不同的方面進行了擴展。比如通過擴展單目標跟蹤演算法來支持多目標的情況，更多的工作從整個視頻場景出發，對所有的目標軌跡做了統一的考慮。根據不同的分類標準，多目標跟蹤演算法有不同的分類方法。比如按照預測校正的跟蹤和按照關聯方式的跟蹤，按照離線方式的關聯跟蹤和按照在線方式的跟蹤，按照確定性推導的跟蹤演算法和按照概率統計最大化的跟蹤等。

按照軌跡形成的時間順序，多目標跟蹤可以分為在線方式的跟蹤演算法以及離線形式的跟蹤過程。如果跟蹤的順序是逐幀方式的：即為在線方式的目標跟蹤方法。在線多目標跟蹤與人眼實時跟蹤目標過程類似，是對每個目標的狀態進行估計，然後考慮整體狀態的合理性進行約束。這個過程也可以簡化為：獲得每幀圖像檢測結果，把檢測結果同已有的跟蹤軌跡進行關聯。如果跟蹤演算法運行是在視頻已經獲取結束，所有檢測結果都已經提前獲取情況下，這種跟蹤方法為離線形式的多目標跟蹤。離線多目標跟蹤演算法把檢測結果集合作為觀察，把軌跡看作檢測集合的一種劃分，因此跟蹤問題轉化為子集優化的過程。

按照跟蹤演算法形式化表示和優化框架過程，多目標跟蹤可以分為確定性推導的跟蹤和概率統計最大化的跟蹤演算法(如圖3)。

圖3：按照多目標跟蹤形式化分為概率統計最大化的多目標跟蹤和確定性推導的多目標跟蹤

在確定性推導的多目標跟蹤框架中，我們把檢測和軌跡和匹配看作為二元變數，通過構

造一個整體的目標函數，我們求變數的最佳值，使得目標函數最優，從而得到檢測和軌跡的最佳匹配。這種整體的目標函數可以構造為二部圖匹配的匹配代價，網路流的代價和，或者直接構造為機器學習中的分類問題進行優化計算。在概率統計最大化的多目標跟蹤方法中，檢測和軌跡的關係通過概率模型進行形式化，例如基於貝葉斯推導的卡爾曼濾波和粒子濾波，基於構造馬爾科夫圖模型，通過樣本構造學習模型參數，在跟蹤過程中計算概率最大化的軌跡結果，而對馬爾科夫圖模型的一個直接的公式化方法就是構造能量函數，因此能量最小化也是一些多目標跟蹤演算法常用的方式。

在一些情況下，這兩種方法的區分不是非常明確的。比如機器學習算中，也可以採用統計學習方法進行建模，而能量最小化過程的推導實際是一個確定性的步驟。

上述對於多目標跟蹤演算法的分類，對於幫助理解不同的跟蹤演算法具有重要作用，而真正決定演算法性能的可能並不是這些跟蹤演算法框架，而是一些更加基礎的內容，比如如何構造檢測結果的表觀模型才能反應目標的特徵，採用什麼樣的特徵才能使得同一個目標更像，不同目標差異較大。又比如，如何判斷檢測結果是不是非常準確，如果不準確的話，特徵匹配該如何計算匹配相似度。

對於特徵表示的研究，目前廣泛採用深度學習的方法，基於深度學習的多目標跟蹤演算法我們後續介紹。下面我們對經典的多目標跟蹤演算法進行概要的介紹。

3. 經典視覺多目標跟蹤演算法介紹

3.1 多假設多目標跟蹤演算法

多假設跟蹤演算法(MHT)是非常經典的多目標跟蹤演算法，由Reid在對雷達信號的自動跟蹤研究中提出，本質上是基於Kalman濾波跟蹤演算法在多目標跟蹤問題中的擴展。

定義在k時刻之前的檢測為 $Z^{k}$ (在更廣泛的環境下也稱為觀測，如雷達掃描得到的目標的位置坐標、速度)，多假設跟蹤的目標是基於已有軌跡對這種觀測關聯進行條件概率建模，把似然關聯假設 $heta_{I}^{k}$ 劃分為當前關聯假設 $vartheta_{I}$ (K)和k-1時刻的假設集合 $heta_{i(m)}^{k}$ 。可以利用貝葉斯推理得到關於關聯假設的後驗概率公式：

（3-1）

其中公式右側第一項表示基於前期假設集合和當前假設的觀察似然概率，即在歷史關聯的基礎上，當關聯 $vartheta_{I}$ (K)成立時，表現出當前觀測Z(k)的概率；第二項表示當前假設的似然概率，即在歷史關聯的基礎上，當前關聯假設的概率；第三項表示前期假設集合後驗概率。c是貝葉斯公式中的分母，對於當前觀測已知的條件，可以認為是一個常數。從上式中可以看出，總體的假設後驗概率可以表示為此三項的乘積。而公式第三項表示k-1時的後驗概率，因此，只考慮第一項和第二項就可以得到一個遞推公式。

如何對第一項和第二項進行建模？MHT採用了二個概率模型：

用均勻分布和高斯分布對關聯對應的檢測觀察建模.
用泊松分布對當前假設的似然概率建模

前者表示，當觀測是來自一個軌跡T時，它符合T的高斯分布，否則觀測是一個均勻分布的雜訊。後者表示，在誤檢和新對象出現概率確定的情況下，出現當前關聯的可能性可以通過泊松分布和二項分布的乘積表示。在以上假設下，關聯假設的後驗分布是歷史累計概率密度的連乘，轉化為對數形式，可以看出總體後驗概率的對數是每一步觀察似然和關聯假設似然的求和。因此，選擇最佳的關聯假設，轉化為觀察似然和關聯假設似然累計求和的最大化。在進行具體實現和優化的時侯，I.J.Cox等人提出了一種基於假設樹的優化演算法，如圖4所示。

圖4: 左圖為k-3時刻三個檢測觀察和兩條軌跡的可能匹配。對於這種匹配關係，可以繼續向前預測兩幀，如圖右。得到一種三層的假設樹結構，對於假設樹根枝幹的剪枝，得到k-3時刻的最終關聯結果。

對於k時刻的關聯對數似然概率，可以認為是k時刻之前關聯觀察似然概率的對數求和，由於任何時刻都可能存在多種假設關聯，因此到k時刻的假設構成了一種組合假設樹的層次關係。例如圖4左邊表示的是2個軌跡和3個觀測之間可能形成的關聯假設，可能存在的假設有{觀測23=>軌跡1，觀測22=>軌跡2, 觀測21=>新軌跡}或者{觀測22=>軌跡1，觀測21=>軌跡2, 觀測23=>新軌跡}，因此產生2個假設分支。圖4右側是從這2個關聯假設出發的三層假設樹關係，可以看出隨著假設層數的增多，關聯假設出現組合爆炸的可能。因此進行必要的剪枝減少假設空間的數目是必須的步驟。那麼如何選擇最佳的關聯呢？I.J.Cox採用了2個步驟來實現。首先，限制假設樹的層數為3層。其次，是對每個分支的葉節點概率對數進行求和，最大的分支進行保留，即選擇邊緣概率最大的那個分支假設作為最後選擇的關聯。可以把這種選擇方法簡單的表示為：

（3-2）

採用基於均勻分布、泊松分布以及高斯分布的模型，可以高效快速計算選擇k-3時優化的假設關聯。這種基於似然概率對數累加的方法雖然方便迅速，但是存在一個主要的限制，即假定觀測關聯符合高斯模型，並且在每一步選擇關聯假設之後，需要利用Kalman濾波更新軌跡狀態。通過對MHT基本公式(3-1)的擴展，可以建立不同的概率模型描述這種多假設關聯的全局概率，例如Kim等人在ICCV2015和ECCV2018通過歸一化的最小均方差優化演算法引入表觀模型來擴展MHT演算法，取得不錯的多行人跟蹤結果[2,3]。

3.2 基於檢測可信度的粒子濾波演算法

如果不限定檢測觀測為高斯分布，一種採用概率統計的多目標跟蹤框架是基於檢測可信度的粒子濾波演算法[4]。

這個演算法分為兩個步驟：

對每一幀的檢測結果，利用貪心匹配演算法與已有的對象軌跡進行關聯。
利用關聯結果，計算每個對象的粒子群權重，作為粒子濾波框架中的觀察似然概率。

整體的跟蹤過程採用粒子濾波框架，如圖5中所示。

圖5: 基於檢測匹配的聯合粒子濾波多目標跟蹤演算法流程對於每一幀的檢測結果(圖左)。可以計算與軌跡的匹配矩陣，本方法採用結合匹配結果設計粒子濾波演算法(圖中)，計算跟蹤結果(圖右)。

下面我們詳細說明這兩步:

第一步：利用貪心匹配演算法關聯當前幀檢測和已有的對象軌跡。匹配親和度計算如下：

(3-3)

其中tr表示一個軌跡，d是某一個檢測，他們的匹配親和度計算包含三個部分：在線更新的分類學習模型 $C_{tr}$ (d)，用來判斷檢測結果是不是屬於軌跡tr; 軌跡的每個粒子與檢測的匹配度，採用中心距離的高斯密度函數求和 $P_{n}$ (d-p)表示；與檢測尺寸大小相關的閾值函數g(tr,d)，表示檢測與軌跡尺度的符合程度, 而α是預設的一個超參數。

計算出匹配親和度矩陣之後，可以採用二部圖匹配的Hungarian演算法計算匹配結果。不過作者採用了近似的貪心匹配演算法，即首先找到親和度最大的那個匹配，然後刪除這個親和度，尋找下一個匹配，依次類推。貪心匹配演算法複雜度是線性，大部分情況下，也能得到最優匹配結果。

第二步：採用粒子濾波框架，計算每個跟蹤對象的粒子權重，計算公式如下：

(3-4)

其中tr表示需要跟蹤的對象軌跡，p是某個粒子。指示函數I(tr)表示第一步關聯中，軌跡tr是不是關聯到某個檢測結果，當存在關聯時，計算與關聯的檢測d*的高斯密度 $P_{n}$ (p-d*)； $C_{tr}$ (p)是對這個粒子的分類概率； $d_{c}$ (p)是粒子通過檢測演算法得到的檢測可信度， $p_{o}$ (tr)是一個加權函數，計算如下：

(3-5)

當軌跡tr有檢測匹配時， $p_{o}$ (tr)為1；否則，他的附近有軌跡對象匹配成功時，取鄰域軌跡的最大匹配高斯密度；如果附近也沒有軌跡對象成功匹配，則 $p_{o}$ (tr)為0。

結合檢測可信度的粒子濾波演算法對軌跡的初始化採用了感興趣區域的簡單啟發式策略。即，進入圖像區域邊框時，初始化對象；當連續多幀沒有關聯到檢測時終止跟蹤。在一些典型數據集上，基於檢測可信度的粒子濾波演算法可以得到不錯的結果，如下表：

表1: 基於檢測可信度粒子濾波的跟蹤結果，採用CLEAR MOT評測標準進行結果評估

3.3 基於最小代價流優化的多目標跟蹤演算法

上述兩個演算法是基於貝葉斯概率模型的在線多目標跟蹤演算法。與他們不同，採用最小代價流優化的多目標跟蹤演算法是基於確定性優化的離線多目標跟蹤演算法[6]。

定義某條軌跡為 $T_{i}$ ，則需要求解最優化的是軌跡集合為T,T={ $T_{i}$ }。表示所有的檢測集合為X,X={ $X_{i}$ }。離線全局最優化多目標跟蹤問題實際可以表示為已知檢測集合，求軌跡集合，按照貝葉斯推理，可以有：

(3-6)

考慮T={ $T_{i}$ }，按照每個軌跡對上式進行變換，並求對數得到：

(3-7)

上式中，右側第一項表示軌跡的存在概率對數，第二項表示為在軌跡存在的條件下，檢測是真的概率，把每條軌跡展開為檢測的鏈接表示，那麼上式可以表示為：

(3-8)

這裡新的變數為{ $f_{s,i},f_{i,t},f_{i},f_{i,j}$ }，他們與軌跡集合T的對應關係是：

(3-9)

由於滿足鏈接只返生在不同檢測和同一條軌跡之間，並且軌跡之間互斥，因此滿足關係：

(3-10)

仔細觀察發現，這裡所求解的實際上網路流優化問題中滿足代價最小的多個流，如圖6。

圖6: 最小代價流描述的檢測劃分方法，以產生全局最優的多目標跟蹤演算法。圖中表示三幀圖像中,分別有2, 4, 3個檢測結果時，所產生的網路最小代價流[6]。

這裡還有兩個問題，網路流中邊的代價怎麼計算以及軌跡的數目怎麼確定。

第一個問題，邊的代價根據跟蹤中軌跡生成概率、終止概率、相似概率、誤檢率計算：

(3-11)

第二個問題，軌跡數目通過迭代比較的方法確定。注意到檢測節點代價Ci的值是一個負數，所以軌跡對應的網路流代價也可能小於0。因此，通過遍歷不同軌跡數目，可以確定一個全局代價最小的解。這種方式帶來演算法的低效率，後續很多工作做了相關優化[7, 8]。

3.4 基於馬爾科夫決策的多目標跟蹤演算法

不同於之前基於概率模型的在線多目標跟蹤演算法，Xiang等人採用了馬爾科夫決策過程來推導每個軌跡的生成，稱為MDP跟蹤演算法[9]。這是一種基於機器學習的確定性推導在線目標跟蹤演算法。

作者把目標跟蹤看作為狀態轉移的過程，如圖7。轉移的過程用馬爾科夫決策過程(MDP)建模。一個馬爾科夫決策過程包括下面四個元素：(S, A, T(.)，R(.))。其中S表示狀態集合，A表示動作集合，T表示狀態轉移集合，R表示獎勵函數集合。一個決策是指根據狀態s確定動作a, 即 π: S?A。一個對象的跟蹤過程包括如下決策過程：

從Active狀態轉移到Tracked或者Inactive狀態：即判斷新出現的對象是否是真。
從Tracked狀態轉移到Tracked或者Lost狀態：即判斷對象是否是持續跟蹤或者暫時處於丟失狀態。
從Lost狀態轉移到Lost或者Tracked或者Inactive狀態：即判斷丟失對象是否重新被跟蹤，被終止，或者繼續處於丟失狀態。

圖7: 基於馬爾科夫決策過程的在線跟蹤流程[9]

作者設計了三個獎勵函數來對上述三種決策進行建模：

第一個獎勵函數是：

(3-12)

即判斷新出現的對象是否為真，y(a)=1時表示轉移到跟蹤狀態，反之轉移到終止狀態。這是一個二分類問題，採用2類SVM模型學習得到。這裡用了5維特徵向量：包括x-y坐標、寬、高和檢測的分數。

第二個獎勵函數是：

(3-13)

這個函數用來判斷跟蹤對象下一時刻狀態是否是出於繼續跟蹤，還是處於丟失，即跟蹤失敗。這裡作者用了5個歷史模板，每個模板和當前圖像塊做光流匹配，emedFB表示光流中心偏差， $O_{mean}$ 表示平均重合率。 $e_{o}$ 和 $o_{0}$ 是閾值。

第三個獎勵函數是：

(3-14)

這個函數用來判斷丟失對象是否重新跟蹤，或者終止，或者保持丟失狀態不變。這裡當丟失狀態連續保持超過 $T_{lost}$ (=50)時，則轉向終止，其他情況下通過計算M個檢測匹配，來判斷是否存在最優的匹配使上式(3-14)獎勵最大，並大於0。這裡涉及兩個問題如何設計特徵以及如何學習參數。這裡作者構造了12維與模板匹配相關的統計值。而參數的學習採用強化學習過程，主要思想是在犯錯時候更新二類分類器值。

表2中是本演算法和其他演算法在MOT2015測試數據集中運行結果比較，相對其他經典在線跟蹤演算法，MDP演算法具有一定的優勢。

表2: 採用馬爾科夫決策過程的多目標在線跟蹤演算法在MOT2015中的評測結果

3.5 基於局部流特徵的近似在線多目標跟蹤演算法

上面介紹的基於馬爾科夫決策的在線多目標跟蹤是對於當前幀的圖像和檢測結果，進行即時的軌跡狀態更新。在另一類在線跟蹤方法中，跟蹤狀態的最終結果與當前幀有一個小的幀差，這種方法稱為近似在線多目標跟蹤演算法，MHT演算法實際就是一種近似在線多目標跟蹤演算法。這裡介紹的NOMT跟蹤演算法，是採用能量函數最小化設計的近似在線跟蹤，對比MHT演算法，沒有高斯分布的假設，因此應用範圍更廣泛一些。

NOMT演算法的主要思想是，對於當前時刻t,往回看??幀，在t幀和t-??幀之間構造軌跡小段組(tracklets),利用這些軌跡小段組和之前的跟蹤目標進行匹配關聯，由於軌跡小段包含了比單個檢測更加豐富的信息，因此這種關聯比目標軌跡直接匹配檢測集合更加可靠。同時，此時的匹配包含了??幀信息，因此如果t幀之前的匹配存在錯誤，在後續的關聯中具有糾正。

圖8: 採用近似在線多目標跟蹤NOMT演算法的示意圖[10]。對於t時刻的關聯結果，允許在後續的關聯中進行驗證，對於錯誤的關聯可以進行改正，從而增強整體跟蹤的準確性。

錯誤的機會，基本的思想如圖8中所示。

形式化的表示中，定義 $A^{*t-1}$ 為t-??之前生成軌跡集合, $A^{*t-1}$ ={ $A_{1}^{*t-1}$ , $A_{2}^{*t-1}$ , ...}。對於其中任意一個軌跡目標 $A_{m}^{*t-1}$ ,對應在t-??幀到t幀存在可能存在匹配的軌跡片段組 $H_{m}^{t}$ , 也稱為目標假設，定義 $H_{m}^{t}$ ={ $H_{m，1}^{t}$ , $H_{m，2}^{t}$ ， $H_{m}^{t}$ ...}。其中每一個都是t-??幀到t幀生成的軌跡小段。注意對於每個集合 $H_{m}^{t}$ 的第一個元素設定為空?，以表示軌跡可能終止。最終的問題轉化為一個隨機場的求解問題，即對於每個軌跡，求一個最佳的假設，這個隨機場的能量函數可以寫為：

(3-15)

其中x就是要求的假設對應的下標。找到使3-15式最小的x,就完成了t幀的推導。如圖9所示是詳細的過程。

圖9: 採用條件隨機場求解跟蹤目標與軌跡小段匹配的示意圖[10]。對於t-??幀到t時刻生成的軌跡小段T，生成與跟蹤目標Am* t-1匹配的候選集合(b)，由隨機場推導得到優化的關聯結果(c),並生成最終結果(d)。

對應於一般的馬爾科夫隨機場，公式3-15也分為兩個部分，第一部分是每個節點自身的勢函數，表示的是一個軌跡小段和跟蹤目標匹配的代價，第二部分定義為隨機場的邊的勢能函數，表示2個跟蹤目標m,l匹配兩個軌跡小段時的互斥性。

這裡節點勢能函數定義為：

(3-16)

這個公式包含三項，分別表示軌跡小段中每個檢測與跟蹤目標的匹配代價，軌跡小段內部每兩個檢測的匹配代價，以及軌跡小段和跟蹤目標之間的表觀距離。這裡的匹配代價計算作者採用了基於局部光流的匹配劃分計算方法，稱為ALFD特徵。

邊的勢能函數定義為：

(3-17)

這裡的函數d(.f)表示f時刻的檢測，函數o表示重疊率，函數I是表示是否同一個檢測。參數α，β分別是兩種互斥性的權重，顯然後者的權重要大很多，論文中作者分別設為(0.5, 100)。定義好能量函數，計算每兩個檢測之間的ALFD特徵之後，這個函數就可以求解了。利用概率圖模型中的聯合樹演算法可以幫助求解公式3-15，找出最優的關聯假設。

下表是NOMT演算法在MOT2015中的跟蹤評測結果：

表 3: 基於近似在線多目標跟蹤演算法NOMT在MOT2015上的跟蹤結果[10]。

相比與過去的傳統的在線演算法，NOMT演算法的優點是藉助了歷史信息和時間片段中的軌跡段信息，因此性能相對較好，但是必須明確的是NOMT具有小的時間延遲(??=10)，但是在實際應用中，這個延遲幾乎是可以忽略的。

4. 視覺多目標跟蹤演算法在線資源

以上我們討論了一些非常經典的多目標跟蹤演算法，這一節我們列舉一些開放的多目標跟蹤演算法的數據集和資源。相對於單目標跟蹤而言，多目標跟蹤涉及的問題更多，其數據的標定和演算法評測也更加複雜，因此開放的數據和代碼要相對少很多[11]。表4列出了多目標跟蹤演算法中常見的公共評測數據集和他們的下載地址。

http://www.cvg.rdg.ac.uk/PETS2009/a.html

http://www.pets2007.net/

http://groups.inf.ed.ac.uk/vision/ CAVIAR/CAVIARDATA1/

http://www-nlpir.nist.gov/projects/tv2008/

http://www.d2.mpi-inf.mpg.de/datasets

http://www.vision.caltech.edu/Image_Datasets/ CaltechPedestrians/

http://www.eecs.qmul.ac.uk/~andrea/avss2007_d.html

www.vision.ee.ethz.ch/~aess/dataset/

www.vision.ee.ethz.ch/datasets/

http://www.robots.ox.ac.uk/ActiveVision/Research/Projects/2009bbenfold_headpose/project.html#datasets

http://www.cvlibs.net/datasets/kitti/eval_tracking.php

https://motchallenge.net/data/2D_MOT_2015/

https://motchallenge.net/data/MOT16/

https://motchallenge.net/data/MOT17/

表 4: 多目標跟蹤演算法中常用的公共評測數據集

其中KITTI是自動駕駛平台上車輛、行人等不同目標類型的數據集，包含了跟蹤、檢測、分割等多種任務。MOT2015，MOT2016 及 MOT2017 包含了過去常用的一些視頻序列及作者新增加的一些高清視頻，是目前主要的多目標跟蹤評測數據集。

表 5 中列出了近年來主要國際會議和期刊論文中開放源碼的多目標跟蹤演算法。需要說明的是，表 4 和表 5 中只列出了我們所搜集到的資源和代碼，未來一定有更多的資源開放出來。另外其他未引用的常用資源也請讀者補充。

5. 視覺多目標跟蹤小結

相比單目標跟蹤問題，多目標跟蹤面臨更多的子問題，主要的區別在於跟蹤對象不再確定不變，因此必須考慮對象之間的交互，新對象的進入和離開視場對象的跟蹤終止。由於解決這些問題的角度不同，多目標跟蹤演算法的形式也是各種各樣。儘管演算法思路相差較大，但是主要的演算法框架和其中的關鍵部分基本類似。在線多目標跟蹤中，基本的演算法流程仍然是基於狀態預測更新的框架;而離線多目標跟蹤中，基於圖模型的構造和求解是主要的框架。兩種類型中，如何有效的設計和學習檢測之間的匹配親和度，或者軌跡與觀測的一致性是非常關鍵的步驟。深度學習是解決這個問題的非常有效的工具，在最新的多目標跟蹤演算法中已經表現出明顯的優勢，深度學習的進一步應用是多目標跟蹤領域發展的必然趨勢，在下一篇文章中，我們將對此進行介紹。

Authors: Choi and Savarese

Publications: ECCV2010

Web Link:

https://www.eecs.umich.edu/vision/mttproject.html

Authors:Milan et al.

Publications: TPAMI2014

Web Link:

http://research.milanton.de/contracking/

Authors: Andriyenko et al.

Publications: CVPR2012

Web Link:

http://research.milanton.de/dctracking/

Authors: Milan et al.

Publications: CVPR2013

Web Link:

https://bitbucket.org/amilan/dctracking

Authors: Zamir et al.

Publications: ECCV2012

Web Link:

http://crcv.ucf.edu/projects/GMCP-Tracker/

Authors: Berclaz et al.

Publications: TPAMI2011

Web Link:

http://cvlab.epfl.ch/software/ksp

Authors: Zhang et al.

Publications: TPAMI2014

Web Link:

http://visionlab.tudelft.nl/spot

Authors: Pirsiavash et al.

Publications: CVPR2011

Web Link:

http://www.ics.uci.edu/~dramanan/

Authors: Rodriguez et al.

Publications: ICCV2009

Web Link:

http://www.mikelrodriguez.com/crowd-tracking-matlab-application

Authors: Possegger et al.

Publications: CVPR2014

Web Link:

https://www.tugraz.at/institute/icg/research/team-bischof/lrs/downloads/occgeo/

Authors: Yoon et al.

Publications: CVPR2016

Web Link:

https://cvl.gist.ac.kr/project/scea.html

Authors: Yu et al.

Publications: CVPR2016

Web Link:

https://sites.google.com/view/shoou-i-yu/home

Authors: Chari et al.

Publications: CVPR2015

Web Link:

https://github.com/viseshchari/TrackingNetFlow

Authors: Dehghan et al.

Publications: CVPR2015

Web Link:

https://cvl.gist.ac.kr/project/rmot.html

Authors: Zhang,et al.

Publications: ECCV2016

Web Link:

http://shunzhang.me.pn/papers/eccv2016/

Authors: Xiang et al.

Publications: ICCV2015

Web Link:

http://cvgl.stanford.edu/projects/MDP_tracking/

Authors: Lenz et al.

Publications: ICCV2015

Web Link:

http://www.cs.toronto.edu/boundTracking/

Authors: Solera et al.

Publications: ICCV2015

Web Link:

http://www.francescosolera.com/images/github

表 5: 近年來開放代碼的多目標跟蹤演算法及代碼地址

參考文獻

[1] D. Reid. An algorithm for tracking multiple targets. IEEE Transactions on Automatic Control, 1979.

[2] C. Kim, F. Li, A. Ciptadi, and J. Rehg. Multiple Hypothesis Tracking Revisited. In ICCV, 2015.

[3] C. Kim, F. Li, and J. M. Rehg, Multi-object Tracking with Neural Gating Using Bilinear LSTM, in ECCV 2018.

[4] M. D. Breitenstein, F. Reichlin, B. Leibe, E. Koller-Meier, and L. Van Gool. Robust tracking-by-detection using a detector confidence particle filter. In ICCV, 2009.

[5] M. D. Breitenstein, F. Reichlin, B. Leibe, E. K. Meier, and L. V. Gool, Online Multi-Person Tracking-by-Detection from a Single, Uncalibrated Camera, TPAMI, 2010.

[6] L. Zhang, Y. Li, and R. Nevatia, Global Data Association for Multi-Object Tracking Using Network Flows, in CVPR, 2008.

[7] H. Pirsiavash, D. Ramanan, and C. F. Charless. Globally-optimal greedy algorithms for tracking a variable number of objects. In CVPR, 2011.

[8] P. Lenz, A. Geiger, and R. Urtasun. FollowMe: Efficient Online Min-Cost Flow Tracking with Bounded Memory and Computation. In ICCV, 2015.

[9] Y. Xiang, A. Alahi, S. Savarese. Learning to Track: Online Multi-Object Tracking by Decision Making. In ICCV, 2015.

[10] W. Choi. Near-Online Multi-target Tracking with Aggregated Local Flow Descriptor. In ICCV, 2015.

[11] W. Luo, J. Xing, A. Milan, X. Zhang, W. Liu, X. Zhao, and T. Kim，Multiple Object Tracking: A Literature Review. arXiv:1409.7618 (2014).