標籤：

ECCV2018 圖像去霧論文簡評

03-09

ECCV2018收錄了2篇關於圖像去霧的文章，一篇是正統的圖像去霧方法，另一篇則是關於圖像去霧在基於CNN的圖片分類中的應用探討。與CVPR2018相比，ECCV2018對低層次視覺(low-level vision)關注較少，創新性與CVPR2018差距較大，在圖像去霧領域缺少具有明確指導意義的文章，例如CVPR2018提出了用去GAN進行去霧或輔助去霧。在2018年4月RESIDE [1] 大型去霧數據集公開之後，CVPR2019和ICCV2019應該會湧現一批有代表性的去霧方法文章，更值得期待。

  • Proximal Dehaze-Net: A Prior Learning-Based Deep Network for Single Image Dehazing [pdf]

摘要

該文在Kaiming He的Dark Channel Prior (DCP) [2] 的基礎上提出了通過神經網路的方法去估計暗通道和透視率兩個先驗。該文在暗通道和透視率的先驗基礎上構造了一個去霧能量模型，並使用了數值優化方法中常用的迭代優化對模型中的分量依次進行優化，從而提出了Proximal Dehaze-Net網路來依次生成暗通道圖和透視率圖。

去霧能量模型

基於大氣光散射模型，該文結合暗通道和透視率構造出一個去霧能量模型來作為去霧的損失函數：

其中 Q 表示無霧圖， T 表示透視率圖，去霧能量模型採用了 L_2 範數來衡量損失，優化目標是得到使得能量值最小的 Q 和 T ：

去霧能量模型還給出了正則項 f 和 g 來分別對應透視率先驗和暗通道先驗。

去霧能量模型的迭代優化

為了優化去霧能量模型，該文引入了一個輔助變數 U 來代替暗通道的有霧圖 Q^{dk} ，得到一個增強的能量方程：

該文接著從能量方程中提取出三個分別包含 U ， T 和 Q 分項的優化函數：

該文採用了迭代優化的方法對這些函數進行優化，先把這些優化函數對三個變數U ， T 和 Q求偏導置0後然後提取出相應的U_n ， T_n 和 Q_n的表達式，例如對 U_n :

其中，

優化方法是依次對 U_n ， T_n 和 Q_n 依次進行的，過程有些類似數值方法中的高斯-賽德爾迭代(Gauss-Seidel Iteration)。經過一定次數的迭代，去霧能量模型的結果可以收斂到一個比較小的值，從而得到需要的被優化參數。

Proximal Dehaze-Net的網路結構

迭代優化中對參數U_n 和 T_n的優化是採用了CNN來進行的，而對Q_n 用了傳統方法進行計算，還將裡面的變數進行向量化：

Proximal Dehaze-Net進行分階段的學習，也就是迭代地對三個變數進行階段優化，得到最優的暗通道圖 U^* 和透視率圖 T^* ，進而得到最優的 Q^* 。對暗通道圖 U^* 和透視率圖 T^*d的估計分別使用了D-Net和T-Net, GIF-Block。D-Net和T-Net都採用9個7x7, 9個5x5和9個3x3的卷積層，最後用了1個1x1的卷積層。D-Net最後使用的激活函數是ReLU，因為暗通道的取值是非負的。T-Net使用的是Sigmoid作為最後的激活函數，使透視率圖的取值在[0, 1]。GIF-Block進行的是標準導向濾波，使得透視率圖在邊緣上與原圖對齊。

實驗效果

在合成有霧圖片數據集上的測試效果：

在真實有霧圖片數據集上的測試效果：

評價

  1. 該文提出的方法基本上是沿著DCP的思路進行的，總體上創新性不強。方法中較為創新的一點，在於運用了迭代優化的方法去依次求出暗通道圖，透視率圖以及無霧圖，然後藉助CNN進行學習。這種思路其實是一種Deep Unrolloing的做法，通過大氣光散射模型和DCP去霧理論建立能量模型並給出基礎迭代格式，然後再引入神經網路，從給定訓練數據中學習能量模型中三個變數，最後通過Unrolling實現有效的去霧 [3]。
  2. 大多數去霧方法基於的大氣散射模型需要估計兩個未知量，透視率和大氣光。該文採用DCP中對圖片中像素值比較高的部分進行大氣光估值，從準確性的角度上看，這種做法是欠缺精度，可能會影響到PSNR和SSIIM等性能指標。
  3. DCP沒有比較好地解決天空區域的去霧，該文有提及這個問題，但是沒有作出專門的回答和解決方法。
  4. 從數據指標上看，基本上符合大多數去霧方法可以達到的數據要求，但由於是個人建立的數據集，作為讀者，談論數據指標的意義不是很大，還是需要在RESIDE [1] 這種大型數據集比較上方能給出較為客觀的評價。從去霧效果上看，肉眼可見的霧基本被去除了，該文提出的方法是一個效果較好的去霧演算法。
  5. 從寫作的角度上看，該文沒有給出網路的階段的具體細節結構圖，只提供了文字描述，對於讀者而言對網路的認識還不夠直觀。
  • Does Haze Removal Help CNN-based Image Classification? [pdf]

參考文獻

  1. Li, B., Ren, W., Fu, D., Tao, D., Feng, D., Zeng, W., Wang, Z.: Reside: A benchmark for single image dehazing. arXiv preprint arXiv:1712.04143 (2017)
  2. He, K., Sun, J., Tang, X.: Single image haze removal using dark channel prior. In: 2009 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). pp. 1956–1963 (2009)
  3. 深度學習大講堂. Deep Unrolling：深度網路與傳統模型之間的橋樑 [EB/OL].

推薦閱讀：

TAG:計算機視覺 | 圖像 | 科技 |