還敢吹「毫無PS痕迹」？小心被Adobe官方AI打臉

來自專欄量子位5,690 人贊了文章

郭一璞 發自 麥拜德

量子位 報道 | 公眾號 QbitAI

自從有了PS，「有圖有真相」就成了一句笑話。

比如朋友圈那些忽悠人的微商：

馬爸爸為微商站台？

假的吧？

當阿里公關吃素的呀？

「貌美」的微商小姐姐和思聰他爸一起出席會議？

思聰呀，你爸爸糊成這樣了你知道么？

不過，現在，馬里蘭大學與開發出PS的那家逗比公司（Adobe）合作，開發了一項新技術：

一個能找出PS痕迹的AI。

這些P圖騙人黨徹底被打臉了。

火眼金睛：拼貼、複製、刪除一招搞定

關於這個火眼金睛的AI技術的論文發表在了CVPR上。

這項技術能檢測出多種P圖手法，包括拼貼、複製和刪除的元素。

拼接

這項技術可以找出那些後期加上去的元素。

比如，這張巨石前的向日葵：

其實是P的，原圖長這樣：

根本沒有向日葵，只有光禿禿的岩石和海鳥，向日葵是後期P上去的。

複製

為了顯得沒有違和感，許多人喜歡把原圖中的素材扣下來，複製一份，縮小一下再粘回原圖的另一個位置。

比如，2008年的時候，伊朗為了嚇唬人，發布了一張發射四枚導彈的照片：

然後被眼尖的吃瓜群眾發現，從左至右第三枚導彈跟第二枚導彈長的一毛一樣，甚至導彈煙霧尾巴上的漸變顏色都一樣。

而且，發射導彈的地面上，中間那片雲和右邊那片雲也一模一樣，連空中飄的部分都不放過！

刪除

看到不想出現在照片上的東西，那就把它抹掉，用周圍的顏色材質蓋住它。

比如這張照片，看起來……算了，看不出來是啥。

但它的中間被塗抹了一部分，原圖長這樣：

冒出了一條小魚的頭，大概是被設計師拿出來做剁椒魚頭了吧。

Adobe的新AI技術就可以識別出這3種P過的圖，是否被添加了什麼額外的東西、是否有複製的元素、是否被刪除抹掉了什麼東西。

找茬秘技の修鍊法則

首先，需要準備一個Faster R-CNN網路，來執行端到端的訓練，這個網路在檢測語義對象時表現出了良好的性能。

現在，我們按照這樣一個原理來偵破圖片中的造假區域：

和普通的圖片檢測不同，Adobe家的這個技術用了雙流檢測的方法，即：

一個RGB流

RGB流用來尋找PS痕迹，比如，向日葵圖中，向日葵邊緣和背景的岩石之間明顯不自然，對比度過高。

這就是RGB流需要尋找的「PS痕迹」。

同時，還需要用到區域提議網路（Region Proposal Network, RPN），它是Faster R-CNN的一部分，用來找那些看起來很可疑的部分。

一個雜訊流

圖片是有「雜訊」的。

當一張圖上的元素被扣下來放到另一張圖上時，就會出現一個明顯的雜訊不同的區域。

當然，肉眼是無法看到的，但是機器可以判斷出來。

比如這張圖片上，格子地板上放了一個紅色正方體。

這張圖片看起來彷彿很正常，色調和諧，光影方向正常，沒有什麼異樣的明暗對比。

但是，它的雜訊流圖片異常詭異：

正方體的前面出現了一個圓洞！

雖然在正方體和淺藍色（本圖為深色）地板上看不出什麼問題，但是在黑色（本圖為淺色）地板上格外明顯。

有一個圓形的東西，在正方體的前方，憑空消失了。

所以，很明顯，這片區域有鬼。

實際上，原圖是這樣的：

紅色正方體前本來有一個黃球，在交給雜訊流監測的圖片上，黃球被P掉了。

池化&對比結合

在可疑圖片經過RGB流和雜訊流兩條線索的監測之後，結果被放進了一個池化層進行池化。

分別對可疑區域得到不同的結果後，兩種方法的結果加以對比，被P過的區域就可以明顯找出來了。

實戰演練

在實際應用中，雙流效果的確不錯。

比如這張圖，看起來大概是日本的某個廠房旁邊的停車場：

RGB流發現，左邊藍色的牌子上，兩塊牌子相鄰處的上半部分（紅框部分）實在是太詭異了。

放大看，是這樣：

而雜訊流則監測出了更多的bug：

一片黑漆漆！

整張圖上的一個半藍色廣告牌，都不對勁。

一定是有人為了掩藏什麼內容，把最左邊的廣告牌和第二個廣告牌的上半部分塗成了藍色。

所以真實的效果是下圖，廣告牌區域的確被P過。

再來看下一個例子，貨架上的手包：

一眼看上去好像沒什麼毛病，就是同一款式深色淺色的兩個包包而已。

但是，RGB流表示，兩個包包都有問題：

而雜訊流的結果有些不一樣，右邊的深色包包和它上面的標籤都有問題：

既然你們意見不一樣，那取個交集吧，右邊的深色包包造假是石錘了：

來，公布正確答案：

找對了，本AI經驗值+1。

可以看的出，相比此前的研究，馬里蘭大學和Adobe研發出的這個新型雙流操作檢測框架，不僅通過RGB流對視覺篡改偽像建模，而且能發現可疑區域雜訊特徵的差異。

作者在論文中寫到，新研究的方法與此前最先進的方法相比，可以提高四個圖像處理數據集的性能。

利空P圖黨

雖然，目前這項技術只是一篇論文，Adobe公司還沒有將其產品化。不過Adobe官方對國外科技媒體THE VERGE說，他們準備繼續推進該項技術，用來監測數字媒體中的虛假圖片信息。

(*σ′?`)σ 希望逗比家快點做出來，接入微信朋友圈，戳穿微商和蛇精臉們的真相。

最後，附論文傳送門~

Learning Rich Features for Image Manipulation Detection

作者：Peng Zhou，Xintong Han，Vlad I. Morariu，Larry S. Davis

發表於CVPR 2018

arXiv：

https://arxiv.org/abs/1805.04953

數據集：

https://www.nist.gov/itl/iad/mig/nimble-challenge-2017-evaluation

— 完 —

歡迎大家關注我們的專欄：量子位 - 知乎專欄

誠摯招聘

量子位正在招募編輯/記者，工作地點在北京中關村。期待有才氣、有熱情的同學加入我們！相關細節，請在量子位公眾號(QbitAI)對話界面，回復「招聘」兩個字。

量子位 QbitAI · 頭條號簽約作者

?? ? 追蹤AI技術和產品新動態