郭一璞 發(fā)自 麥拜德 
量子位 報道 | 公眾號 QbitAI

自從有了PS，“有圖有真相”就成了一句笑話。

比如朋友圈那些忽悠人的微商：

??

馬爸爸為微商站臺？

假的吧？

當(dāng)阿里公關(guān)吃素的呀？

??

“貌美”的微商小姐姐和思聰他爸一起出席會議？

思聰呀，你爸爸糊成這樣了你知道么？

不過，現(xiàn)在，馬里蘭大學(xué)與開發(fā)出PS的那家逗比公司（Adobe）合作，開發(fā)了一項(xiàng)新技術(shù)：

一個能找出PS痕跡的AI。

這些P圖騙人黨徹底被打臉了。

火眼金睛：拼貼、復(fù)制、刪除一招搞定

關(guān)于這個火眼金睛的AI技術(shù)的論文發(fā)表在了CVPR上。

這項(xiàng)技術(shù)能檢測出多種P圖手法，包括拼貼、復(fù)制和刪除的元素。

拼接

這項(xiàng)技術(shù)可以找出那些后期加上去的元素。

比如，這張巨石前的向日葵：

??

其實(shí)是P的，原圖長這樣：

??

根本沒有向日葵，只有光禿禿的巖石和海鳥，向日葵是后期P上去的。

復(fù)制

為了顯得沒有違和感，許多人喜歡把原圖中的素材扣下來，復(fù)制一份，縮小一下再粘回原圖的另一個位置。

比如，2008年的時候，伊朗為了嚇唬人，發(fā)布了一張發(fā)射四枚導(dǎo)彈的照片：

??

然后被眼尖的吃瓜群眾發(fā)現(xiàn)，從左至右第三枚導(dǎo)彈跟第二枚導(dǎo)彈長的一毛一樣，甚至導(dǎo)彈煙霧尾巴上的漸變顏色都一樣。

而且，發(fā)射導(dǎo)彈的地面上，中間那片云和右邊那片云也一模一樣，連空中飄的部分都不放過！

刪除

看到不想出現(xiàn)在照片上的東西，那就把它抹掉，用周圍的顏色材質(zhì)蓋住它。

比如這張照片，看起來……算了，看不出來是啥。

??

但它的中間被涂抹了一部分，原圖長這樣：

??

冒出了一條小魚的頭，大概是被設(shè)計師拿出來做剁椒魚頭了吧。

Adobe的新AI技術(shù)就可以識別出這3種P過的圖，是否被添加了什么額外的東西、是否有復(fù)制的元素、是否被刪除抹掉了什么東西。

找茬秘技の修煉法則

首先，需要準(zhǔn)備一個Faster R-CNN網(wǎng)絡(luò)，來執(zhí)行端到端的訓(xùn)練，這個網(wǎng)絡(luò)在檢測語義對象時表現(xiàn)出了良好的性能。

現(xiàn)在，我們按照這樣一個原理來偵破圖片中的造假區(qū)域：

??

和普通的圖片檢測不同，Adobe家的這個技術(shù)用了雙流檢測的方法，即：

一個RGB流

RGB流用來尋找PS痕跡，比如，向日葵圖中，向日葵邊緣和背景的巖石之間明顯不自然，對比度過高。

??

這就是RGB流需要尋找的“PS痕跡”。

同時，還需要用到區(qū)域提議網(wǎng)絡(luò)（Region Proposal Network, RPN），它是Faster R-CNN的一部分，用來找那些看起來很可疑的部分。

一個噪聲流

圖片是有“噪聲”的。

當(dāng)一張圖上的元素被扣下來放到另一張圖上時，就會出現(xiàn)一個明顯的噪聲不同的區(qū)域。

當(dāng)然，肉眼是無法看到的，但是機(jī)器可以判斷出來。

比如這張圖片上，格子地板上放了一個紅色正方體。

??

這張圖片看起來仿佛很正常，色調(diào)和諧，光影方向正常，沒有什么異樣的明暗對比。

但是，它的噪聲流圖片異常詭異：

??

正方體的前面出現(xiàn)了一個圓洞！

雖然在正方體和淺藍(lán)色（本圖為深色）地板上看不出什么問題，但是在黑色（本圖為淺色）地板上格外明顯。

有一個圓形的東西，在正方體的前方，憑空消失了。

所以，很明顯，這片區(qū)域有鬼。

實(shí)際上，原圖是這樣的：

??

紅色正方體前本來有一個黃球，在交給噪聲流監(jiān)測的圖片上，黃球被P掉了。

池化&對比結(jié)合

在可疑圖片經(jīng)過RGB流和噪聲流兩條線索的監(jiān)測之后，結(jié)果被放進(jìn)了一個池化層進(jìn)行池化。

分別對可疑區(qū)域得到不同的結(jié)果后，兩種方法的結(jié)果加以對比，被P過的區(qū)域就可以明顯找出來了。

實(shí)戰(zhàn)演練

在實(shí)際應(yīng)用中，雙流效果的確不錯。

比如這張圖，看起來大概是日本的某個廠房旁邊的停車場：

??

RGB流發(fā)現(xiàn)，左邊藍(lán)色的牌子上，兩塊牌子相鄰處的上半部分（紅框部分）實(shí)在是太詭異了。

放大看，是這樣：

??

而噪聲流則監(jiān)測出了更多的bug：

??

一片黑漆漆！

整張圖上的一個半藍(lán)色廣告牌，都不對勁。

一定是有人為了掩藏什么內(nèi)容，把最左邊的廣告牌和第二個廣告牌的上半部分涂成了藍(lán)色。

所以真實(shí)的效果是下圖，廣告牌區(qū)域的確被P過。

??

再來看下一個例子，貨架上的手包：

??

一眼看上去好像沒什么毛病，就是同一款式深色淺色的兩個包包而已。

但是，RGB流表示，兩個包包都有問題：

??

而噪聲流的結(jié)果有些不一樣，右邊的深色包包和它上面的標(biāo)簽都有問題：

??

既然你們意見不一樣，那取個交集吧，右邊的深色包包造假是石錘了：

??

來，公布正確答案：

??

找對了，本AI經(jīng)驗(yàn)值+1。

可以看的出，相比此前的研究，馬里蘭大學(xué)和Adobe研發(fā)出的這個新型雙流操作檢測框架，不僅通過RGB流對視覺篡改偽像建模，而且能發(fā)現(xiàn)可疑區(qū)域噪聲特征的差異。

作者在論文中寫到，新研究的方法與此前最先進(jìn)的方法相比，可以提高四個圖像處理數(shù)據(jù)集的性能。

利空P圖黨

雖然，目前這項(xiàng)技術(shù)只是一篇論文，Adobe公司還沒有將其產(chǎn)品化。不過Adobe官方對國外科技媒體THE VERGE說，他們準(zhǔn)備繼續(xù)推進(jìn)該項(xiàng)技術(shù)，用來監(jiān)測數(shù)字媒體中的虛假圖片信息。

(*σ′?`)σ 希望逗比家快點(diǎn)做出來，接入微信朋友圈，戳穿微商和蛇精臉們的真相。

最后，附論文傳送門~
Learning Rich Features for Image Manipulation Detection