NVIDIA | 一種重建照片的 AI 圖像技術

簡評：或許可以稱之為「擦擦樂」~ 建議大家看看視頻示例 ~

前幾天，NVIDIA 的研究人員介紹了一種新的 深度學習 方法，使用該方法可以重建缺失像素的圖像內容。

這種方法被稱為「image inpainting」，可以在圖像編輯軟體中去除不需要的內容，同時用計算機生成的內容進行填充。

雖然有點類似於 PS 中「內容識別」的效果，但是這種新的方法能夠處理更大範圍的圖像缺失，而不僅僅限制在圖像中心附近的矩形區域。

簡單說就是用神經網路自己想像空白部分的細節。

【Research at NVIDIA- AI Reconstructs Photos with Realistic Results】

研究團隊訓練這個神經網路，首先生產了 55116 個隨機條紋和任意形狀大小的孔徑，並且創建了 25000 個測試。為了提高重建的準確性，團隊根據輸入圖像的大小進一步分為了 6 類：

數據集採用 ImageNet，Places2 和 CelebA-HQ。

在訓練階段，將缺失部分引入上述數據集的完整訓練圖像中，以使網路能夠學習重建像素；

在測試階段，將沒在訓練期間應用的缺失部分引入數據集中的測試圖像里，用以無偏驗證。

過往的方法很容易出現顏色差異或者偽像的弊端，但這種新方法由於不依賴必須提供給神經網路確定的輸入值，因而輸出值與每個接受域缺失像素的值無關，所以這個模型效果要勝過以前的方法。

Reference：

• New AI Imaging Technique Reconstructs Photos with Realistic Results
• [1804.07723] Image Inpainting for Irregular Holes Using Partial Convolutions

More：

用 VR 的方式瀏覽源代碼?

zhuanlan.zhihu.com

極光日報，極光開發者旗下媒體。

每天導讀三篇英文技術文章。

推薦閱讀：