<EYD與機器學習>：對抗攻擊基礎知識（十）
來自專欄 EYD與機器學習
5 人贊了文章
各位知乎兒好，這是<EYD與機器學習>專欄的第二十七篇文章，又是對抗攻擊方向的相關內容。與之前不同的是，這次我將介紹一篇針對語義分割網路進行攻擊的文章，按作者的說法，這是首次對語義分割網路的魯棒性進行分析的論文。
On the Robustness of Semantic Segmentation Models to Adversarial Attacks
作者：Anurag Arnab、Ondrej Miksik、Philip H. S. Torr
論文地址：https://arxiv.org/pdf/1711.09856v2.pdf
之前介紹的對抗攻擊的文章大部分是針對分類器進行攻擊，分類任務是一種相對簡單的機器學習任務。文中作者對更為複雜的語義分割模型進行攻擊，測試了它們的魯棒性，分析了不同的網路結構、模型容量和多尺度縮放對模型魯棒性的影響。
由於之前對語義分割任務和常用的模型了解不多，對於文章中提及的諸如Conditional Random Fields (CRFs)、dilated convolutions、skip-connection、multi-processing和specialised pooling 等概念也不太熟悉，故參考了一些博客，這裡把筆者覺得寫得比較清楚的博客分享給大家。
ycszen：【總結】圖像語義分割之FCN和CRF
語義分割論文-DeepLab系列
基於深度學習的語義分割綜述(2017) | Robins paper notes
1 攻擊演算法
1.1 Fast Gradient Sign Method (FGSM) [2]
FGSM，即快速梯度迭代法，這是專欄對抗攻擊系列第一篇文章中就提過的，基於梯度去生成對抗樣本的方法。這是一個單步的，無目標的攻擊演算法，在以往的攻擊分類器的實驗中，表現出欠擬合模型，白盒攻擊弱的特點。
1.2 FGSM ll [3]
FGSM II為FGSM的變種，用作有目標攻擊，其攻擊目標是使模型輸出變為最初預測的最不可能的類別 。
1.3 Iterative FGSM [4]
I-FGSM也是之前曾經提及的攻擊演算法，相對於FGSM的單步攻擊來說，I-FGSM分多步添加雜訊，更能擬合模型參數，因此通常表現出比FGSM更強的白盒攻擊能力。
1.4 Iterative FGSM II [3]
與FGSM II相似的，I-FGSM II也是被設計來進行有目標攻擊的變種。其表達式如下圖所示：
從下圖[4]可以看出，當採用I-FGSM II進行攻擊時，能夠以更小的擾動達到攻擊效果。
2 實驗結果
下圖中，第一行第一列圖片為輸入模型的原始圖像，而第一行第二列則為該原始圖像對應的真實標籤，也就是語義分割網路的任務目標。剩下的四副圖，分別為PSPNEet、DalatedNet、ICNet和CRF-RNN網路正常進行語義分割所得到的效果（左）和被攻擊後輸出的效果（右）。可以直觀觀察到，這樣一個簡單的攻擊，完全可以達到破壞原始任務的目的，使網路輸出一堆亂碼。對於街道圖像的分割任務，一直是無人駕駛領域的一個熱點，語義分割可以告知自動駕駛系統，哪些是可行區域，哪些是不可行區域，如果這一點被惡意攻擊，後果將不堪設想。
下面的三幅圖展示了在不同的力度（擾動大小遞增）的攻擊下，網路輸出的準確率下降的情況，實驗結果表明：
- 採用殘差連接（residual connections）的網路比鏈式網路（chain-like networks）的魯棒性更強；
- 多尺度過程（Multiscale processing）可以增強卷積神經網路的魯棒性；
3. Mean-field inference for Dense CRFs有利於增強網路對無目標攻擊的魯棒性。
總結：
本文中作者將之前提出的FGSM、I-FGSM演算法用於攻擊現有的較為熱門的語義分割網路，評估了它們面臨對抗攻擊時的魯棒性。並得出結論，殘差網路、多尺度過程、條件隨機場等結構有利於增強卷積神經網路的魯棒性。在所有的模型中，同時兼具這三個結構的額Deeplab v2網路表現出了最強的抗攻擊能力。
對抗攻擊的文章更新到現在，已經到了第十篇。這個方向2014年提出，最初的任務基本集中於攻擊圖像分類器，較為熱門的ResNet、Inception以及他們的集成模型都是被攻擊的對象，其白盒攻擊成功率在經過各方的努力以後基本趨近於100%，但黑盒攻擊成功率還不樂觀。由於現實生活中，黑盒攻擊才是最有可能遇到的，故還需要個大家的共同努力，儘早攻破難關。針對目標檢測器的攻擊，目前已經攻破的有Fatser-RCNN，並且基於Faster-RCNN生成的對抗樣本，也被證實在YOLO網路上擁有泛化能力。本文中提及的是攻擊語義分割網路第一篇文章，再加上上次我介紹的adversarial reprogramming任務，對抗攻擊這個方向不可說不多樣，以後這個方向將有什麼新的突破？讓我們靜觀其變。
由於本文是基於筆者自己對文章的理解所寫，可能存在對原文的意思沒有領悟準確的地方，有疑問的同學歡迎與我們交流討論。
——Eva Dan
編輯
參考文獻：
[1] Arnab A, Miksik O, Torr P H S. On the robustness of semantic segmentation models to adversarial attacks[J]. arXiv preprint arXiv:1711.09856, 2017.
[2] Goodfellow I J, Shlens J, Szegedy C. Explaining and harnessing adversarial examples (2014)[J]. arXiv preprint arXiv:1412.6572.
[3] Kurakin A, Goodfellow I, Bengio S. Adversarial machine learning at scale[J]. arXiv preprint arXiv:1611.01236, 2016.
[4] Kurakin A, Goodfellow I, Bengio S. Adversarial examples in the physical world[J]. arXiv preprint arXiv:1607.02533, 2016.
推薦閱讀：