《Fully Convolutional Instance-aware Semantic Segmentation》論文筆記

首個全卷積端到端實例分割模型，coco2016分割比賽的冠軍模型。

傳統的FCN沒辦法應用到實例分割，主要因為卷積具有平移不變性，同一圖像像素無論在什麼位置都將得到相同的響應，即對位置不敏感。然而，實例分割是基於區域（region）進行操作的，同一像素在不同區域可以有不同語義。所以，我們需要一定程度的位置敏感性。

對於實例分割，現在普遍的做法是採用不同類型的子網路進行檢測和分割，分為以下三個階段：1）原圖送入FCN得到共享的feature maps；2）ROI pooling得到每個ROI的固定維度的feature maps；3）全連接層得到每個ROI的mask（使用全連接層引進了translation-variant property，這就是使用全連接層的一個原因）。

然而上面提及的普遍做法存在一些缺點：1）ROI pooling在做特徵變換時會損失空間信息，降低分割精度，特別是對大目標的分割精度；2）全連接層引進的參數量太多了；3）每個ROI都要運行一遍分割子網路，計算效率太低。

這篇論文的工作是建立在InstanceFCN的基礎上，都是同一個組做的。InstanceFCN引進了位置敏感的score maps（position-sensitive score maps），相當於一定程度的translation-variant。InstanceFCN主要是用來生成mask proposal，也有著一些缺點，比如無法判斷語義類別，需要一個後續的網路輔助判別，也就是說它不是一個end to end的結構。

建立在InstanceFCN的基礎上，作者提出了他們的結構（即FCIS）。FCIS的兩個子任務（目標分割和檢測）不僅共享卷積特徵，也共享score maps。

在實例分割，同一像素既可以是一個目標的前景，也可以是另一個目標的背景。每個類別輸出單個score map，是不足以區分這兩種情況的。因此，FCIS的一個主要創新點出現了，就是引入了inside/outside score maps。

上圖，（a）是傳統FCN。（b）是InstanceFCN，注意它的position-sensitive score maps，3*3張score map，分別取ROI的不同位置區域塊，再匯聚成一個ROI。（c）是FCIS，可以看出相比InstanceFCN，引進了inside/outside score maps，可以同時進行分割和分類的任務，且利用了這兩個任務的相關性。之前的實例分割，分割和分類兩個子任務的score maps都是不相關的，而作者覺著，這兩個任務可以互補，可以利用它們的相關性，最終實驗結果也驗證了這個方案的正確性。

上圖是FCIS的整體結構框架。

一個區域預測網路（RPN）與 FCIS 共享卷積層。RPN 產生的興趣區域（RoI）會作用在 score maps 上，同時產生分類和分割預測。權重可學的層都是卷積層，並且在整張圖像上進行計算。

至於實驗部分，作者做了很多對比實驗，具體大家去看論文吧。

參考：

MSRA instance-aware semantic segmentation的思路線

代碼開源 | COCO-16 圖像分割冠軍：首個全卷積端到端實例分割模型

推薦閱讀：