Extreme clicking for efficient object annotation

【總結】改變傳統用方框標註的方式，改為標註物體四個極點，加速了bbox的標註。結合grabcut生成更好的segmentation annotation.並提出完整雲作業標註方式(Figure 2)。

一般bbox標註分三步（見封面圖左）：

1.落下一個端點

2.拖住框落下第二個端點，形成一個方框

3.調整框

傳統方式涉及task switching, mental imagery，一般需要35s/box

本文提出（見封面圖右）只標註圖片最上、最左、最右、最低的四個點作為bbox（7s/box）

【方法】

提出了完整annotator運作方式：讀指引->訓練標註員(optimal)->標註

標註員完全流水作業，一批只負責一個類標註

對於標註quality control部分，他提出隱藏一些有ground truth的圖片拿給標註員標，evaluation很差這一批就通過不了。。這一部分不是很認同啊，完全不隨機採樣。。

對於利用這些click做segmentation annotation，本文做法回到了pixel-labeling（二分類）.或者說是前景分割(obj/background)：設計了一個binary pairwise energy function E:

#細節：

0. Surface initial:怎麼通過標的四個點找obj boundary?:先用edge detector找到一個物體輪廓([0,1]概率<見下圖第二行>)然後在極點之間走出一個max(sum(prob))的路徑作為obj boundary<見下圖第三行粉線>紅框內的物體和輪廓就將feed給grabcut 第四行是分割出來的結果 對比第五行bbox+grabcut

1. U:apperance model:傳統background 用框外全圖initialize background model，本文用第三行中red ring initialize（減少不必要計算）

2. V: 傳統V懲罰項在圖片對比度不高時增大,而本文用edge response作為度量

【實驗】

對比了DeepLab + GT/ GTbbox+grabcut / click + grabcut

【優點】

1.速度快效率高，設計了annotator審核和quality control

2.結合grabcut能得到更昂貴的segmentation annotation

3."不需要提交鍵"--結束條件為4th click(也可以說是沒有adjust這一步)

【缺點】

1.extreme click + grabcut不能達到GT級別