P圖，還是阿逗比厲害（大師加持）

來自專欄量子位

岳排槐 發自 凹非寺

量子位 出品 | 公眾號 QbitAI

沒想到P圖，已經到了這層境界。

想要變成高手，想要隨心所欲的修圖，以後可能不需要苦練基本功了，你只需要一個馬良那樣的神筆。

當然，我們說的「神筆」是一個AI。

有多神？來看看實時（不剪輯、不快進）的演示。

想去掉沙灘照片中間那個騎車的人。簡單，你需要擦掉這個人（相當於加了一層掩膜mask），然後點擊紅色的填充（Fill）按鈕。

什麼？還想去掉更多人？簡單。

再來一個。

這個風景照，能用來表白么？當然可以，只需要簡單的幾下處理。首先，把山洞的上邊緣塗抹掉。

接著畫上兩條弧線，然後點擊紅色的填充（Fill）按鈕。

一個心形的山洞就這麼成了。

當然，還能用來「微整形」。

想要改變眉形和下巴，只需要擦掉-畫線，然後一點。

搞定~

輕鬆又愉快~

這是怎麼做到的？

這套隨心所欲的P圖AI名叫DeepFill（v2），它基於一個門控卷積網路，能夠處理任意形式的掩膜，以及用戶手繪的線條。

如開頭所示，這個深度學習系統可以幫助用戶快速擦除畫面上不想要的部分，修改圖像的布局、編輯面部，以及在圖中互動式創建新對象。

上圖左邊是局部卷積網路，右邊是門控卷積網路。

對於這個神經網路而言，輸入信息分成三個：顏色通道（RGB Channel）、掩膜通道（Mask Channel）、手繪通道（Sketch Channel）。

當然除了門控卷積網路之外，DeepFill（v2）里還包括SN-PatchGAN（光譜歸一化馬爾可夫判別器）等關鍵部件。

總之一句話，這個套系統顯著提高了P圖的效果。沒有對比，就沒有傷害。下面是橫向對比時間。

上圖最左邊是輸入，照片被各種塗抹，白色的部分就是所謂的掩膜，黑色的細線就是手繪的部分。中間是各種神經網路的處理結果，其中標註Ours的圖片，就是DeepFill（v2）的處理結果。

最右側是原始照片，下同。

這是開頭見過的那個例子。去掉海邊沙灘上其他三個人。

還有這個，按照想要的方式，修剪遠處的小樹叢。

顯然，DeepFill（v2）確實厲害。

大師團隊

這個厲害的研究，共有六位署名作者。其中四位來自Adobe，也就是搞出Photoshop的那個公司，民間俗稱「阿逗比」。（昨天的報道里，Facebook剛說阿逗比不行，看來……）

而第一作者和最後一位作者，來自UIUC。

一作，余家輝。現在是UIUC三年級的博士生。2016年，余家輝本科畢業於中國科技大學少年班學院。

余家輝的導師，也是這次最後一位作者，是著名的科學家黃煦濤（Thomas S.Huang）。黃煦濤是美國工程院院士，被譽為「計算機視覺之父」，也是中國工程院外籍院士、中國科學院外籍院士。

集合Adobe和大師團隊之力，怪不得DeepFill（v2）是P圖高手。

可能你一直好奇，為什麼名叫DeepFill（v2）？難道……沒錯，這次的工作，就是基於這個六人團隊的前作：DeepFill（v1）。

第一版DeepFill的補圖能力沒這麼強，也不能根據手繪的線條，按需修圖。不過，DeepFill（v1）倒是放出了Demo，大家可以試一試。

更多展示

為了體現DeepFill（v2）的實力，再放幾個P圖實例。

傳送門

最後，如果你對DeepFill（v2）感興趣，有一篇發在arXiv上的tech report可以看，傳送門：https://arxiv.org/abs/1806.03589。

或者前往余家輝的主頁：http://jiahuiyu.com/deepfill2/

DeepFill（v1）的主頁上有Demo和Code，傳送門在此：http://jiahuiyu.com/deepfill/

— 完 —

歡迎大家關注我們的專欄：量子位 - 知乎專欄

誠摯招聘

量子位正在招募編輯/記者，工作地點在北京中關村。期待有才氣、有熱情的同學加入我們！相關細節，請在量子位公眾號(QbitAI)對話界面，回復「招聘」兩個字。

量子位 QbitAI · 頭條號簽約作者

?? ? 追蹤AI技術和產品新動態