相關濾波之基礎框架——MOSSE

專欄前言

本專欄主要用來分享視覺目標跟蹤領域的相關演算法和具體實現，整個專欄的分享順序是先基於相關濾波框架後基於深度學習框架，這兩個方向也是從2010年開始至今研究最火熱也是跟蹤效果最好的兩個框架。先從涉及到相關濾波框架中的基礎框架的三個演算法MOSSE、CSK、KCF開始本專欄的分享，本文是相關濾波的開山之作MOSSE的理解，那就開始我們的分享之旅吧

---

前言

作者：David S. Bolme J. Ross Beveridge Bruce A. Draper Yui Man Lui

主頁：http://www.cs.colostate.edu/~vision/ocof_toolset_2012/

出處：2010年CVPR

目標跟蹤被廣泛的應用。目標跟蹤定義：在首幀得到目標的位置，在接下來的每幀中跟蹤上目標。當跟蹤上每一幀目標後可以得到很多信息，可以用來鑒定目標和分析目標的行為。因為跟蹤比檢測更加容易，跟蹤演算法可以在消耗較少資源的情況下實時的運行。

最近，目標跟蹤受到了更多的關注。有很多跟蹤方法能適應目標的外觀，並且能夠在目標發生運動時跟蹤上目標，比如：IVT、FragTrack、GBDL、MILTrack。這些方法很高效，但是並不簡單，它們往往包含複雜的外觀模型或者繁瑣的優化演算法，速度上只能勉強在25到30FPS。

在2010年前，視覺目標跟蹤使用的方法多數是生成式方法，包括meanshift、camshift、粒子濾波和kalman濾波。生成式方法的思路是對目標建模，需要使用表現優異的特徵表示，同時建立的模型相對複雜，存在如下一些問題：對目標的建模過程比較費時，無法做到較好的實時性，同時只對目標進行建模，沒有考慮到背景的信息，跟蹤性能無法保證。我們知道之後出現的判別式方法可以很好的解決上述提到的問題，所以目前判別式方法在跟蹤領域的表現相對優於生成式方法。判別式方法把目標跟蹤問題看作是目標和背景的分類問題，只要在每幀圖像中區分出目標和背景，然後不斷更新分類器就可以實現目標跟蹤，在保持實時性的同時對目標的跟蹤較為準確，同時考慮了背景信息更加的魯棒。而判別式方法中的翹楚是2010年出現的相關濾波演算法，2010年MOSSE的橫空出世宣告相關濾波至少7年以上的研究熱潮。

這篇文章就是對CF類演算法的開山之作MOSSE的介紹，介紹其帶來的速度和性能上的提升後也會分析其存在的問題，畢竟是開山之作並不是CF類的巔峰之作，還是存在一些問題。

創新點

在2010年，相關濾波還沒有被廣泛應用，這篇論文則是開創性的將相關濾波技術引入到目標跟蹤領域，這類演算法可以很好的適應於複雜目標的旋轉、被遮擋以及一些其他的干擾，並且跟蹤速度是其他優秀演算法的20倍。過去的相關濾波方法只是使用簡單的模板，通常在跟蹤中會應用失敗。2010年以前一些更好的相關濾波方法，比如：ASEF和UMACE也並不適合於目標跟蹤。視覺跟蹤需要一個魯棒性很強的濾波器，是通過首幀的目標訓練而得的，同時能夠自適應於目標的變化。

這篇文章主要提出一種誤差平方和最小的濾波器MOSSE（Minimum Output Sum of

Squared Error filter）跟蹤演算法，是通過首幀目標訓練而得。基於這樣濾波器的跟蹤演算法能夠對目標的光照、尺度、姿態變化和非剛性形變有很好的魯棒性，同時實現極快的跟蹤速度，在作者的計算機上可以達到669FPS。當目標發生遮擋時，可以根據PSR值來判斷目標跟蹤是否失敗來決定是否更新濾波器參數，當目標再次出現在視野中時，可以再次跟上目標。

演算法流程

演算法的整體流程如下圖所示：

該演算法將相關濾波概念應用到目標跟蹤的理論依據是基於訓練樣本的最小二乘誤差：

所以上述流程中基於首幀圖像的目標仿射變換得到的多個樣本和對應各樣本的期望輸出都是用於求解和訓練濾波器參數的，上式的求解則是在頻域中的求導後置0可以求到閉式解：

在下一幀圖像到來之後，根據訓練得到的濾波器模板和基於上幀目標位置的採集樣本可以獲得最後的響應輸出，選取響應最大的位置為這一幀中目標的位置，之後再更新濾波器和圖像樣本反覆循環的執行以上過程可以持續的跟蹤住目標。

演算法細節

預處理

對圖像和濾波器進行卷積操作會將其映射到拓撲空間中，形成圓環性，即左邊與右邊相連，上邊與下邊相連。卷積時圖像發生旋轉，目標位移會不準確，這樣就加入了人為的影響。需要用預處理步驟來克服這一點，首先對原始灰度值進行對數變換，降低光照影響，圖像灰度值被歸一化到均值為0，然後將圖像與一個餘弦窗相乘，讓圖像邊緣的值接近0，更加的突出中間目標的權重。

失敗檢測

使用PSR的值來檢測跟蹤失敗，在實驗中PSR值在20到60之間被認為是跟蹤效果較好，當PSR值低於7就可以判斷為跟蹤失敗，不更新模板。

圖解演算法

為了方便展示演算法運行過程中的效果，以OTB數據集中的跟蹤序列Bolt為例：

根據目標中心位置和尺度獲得濾波器與樣本卷積後的期望響應：

截取目標大小的期望響應圖如下：

對目標圖像進行預處理前後的對比圖：

對目標進行仿射變換得到的圖：

那麼第一幀圖像是這樣的：

第二幀中的濾波器響應如下：

選取其中響應值最大的點作為這一幀中目標的位置

優缺點總結

MOSSE演算法的訓練樣本時通過目標的仿射變換得到的，每個樣本的輸出為各自的一個高斯分布，然後根據誤差平方和最小的原則計算這一幀的濾波器模板。接著用訓練得到的濾波器在下一幀中找到目標的位置，最後再更新濾波器。濾波器訓練採用的特徵是最原始的灰度特徵，特徵表示能力較弱，後續有演算法對其進行改進，好的特徵表示可以提高跟蹤演算法的魯棒性。整體演算法都夠適應小尺度的目標變化，但是不能適應大尺度的目標變化。最後總結起來，MOSSE演算法存在如下缺點：

1、MOSSE演算法的樣本採樣仍是一種稀疏採樣，訓練效果一般；

2、採樣的是線性濾波器（最小二乘法），分類性能一般；

3、採用的特徵是單通道的灰度特徵，表徵目標的能力有限。

_

推薦閱讀：