|
大數(shù)據(jù)文摘出品 作者：蔣寶尚 Photoshop是迄今為止世界上最暢銷(xiāo)的圖象編輯軟件。它已成為許多涉及圖像處理的行業(yè)的標(biāo)準(zhǔn)。 PS的出生也頗有傳奇色彩，它最初是由托馬斯·諾爾（Thomas Knoll）和約翰·諾爾（John Knoll）這對(duì)兄弟于1987年為了完成研究論文而制作的。
但是直到1990年后，這個(gè)軟件才由Adobe公司首次發(fā)布。從出生到發(fā)布期間困難重重不足為外人道。 經(jīng)歷了幾十年的發(fā)展，PS已經(jīng)成為了Adobe公司最大的收入來(lái)源。尤其是在中國(guó)，PS確實(shí)幫助很多普通人實(shí)現(xiàn)了“網(wǎng)紅夢(mèng)” ，更是被授予了“亞洲四大邪術(shù)之一”的稱(chēng)號(hào)。 Adobe最近宣布開(kāi)發(fā)出了一項(xiàng)新技術(shù) —— “圖像處理反偵查” ，使用AI就可以檢測(cè)出圖像是否被PS了。
研究成果是Adobe公司和加州大學(xué)伯克利分校的科學(xué)家合作取得的，使用這項(xiàng)新技術(shù)可以輕松識(shí)別圖像中被拼接、復(fù)制以及刪除的部分。
這是反PS效果，由左至右依次為：經(jīng)修改的圖像、檢測(cè)到修改、自動(dòng)還原后的圖像、原始圖像。 由于Photoshop也是Adobe公司的，在吐槽Adobe自己打自己之外，更多的是直呼Adobe這種功能是魔鬼嗎？畢竟現(xiàn)在的小青年，拍照不PS都不好意思發(fā)朋友圈~
不過(guò)也有拍手叫好的小伙伴，因?yàn)槭苓^(guò)PS美顏的苦~例如下面的這個(gè)案例~
其實(shí)，有些PS的圖，如果仔細(xì)看也能夠看出來(lái)，但這款工具準(zhǔn)確率更高。Adobe表示，與人眼53%的準(zhǔn)確率相比，他們的工具識(shí)別準(zhǔn)確率高達(dá)99％。 但是“照騙”的小伙伴暫時(shí)可以松一口氣，因?yàn)槟壳癆dobe沒(méi)有立即打算將這項(xiàng)最新成果進(jìn)行商業(yè)化。 兩年開(kāi)發(fā)兩種算法來(lái)殺自己 傳統(tǒng)的反PS方法，非專(zhuān)業(yè)人士不可為，畢竟使用光線(xiàn)分析工具來(lái)判斷一張照片是不是原始圖片需要很深的功底。 以下是操作步驟，你估摸估摸~ 基于從一張照片表面上不同部分所取得的線(xiàn)索，制作出整張照片的光譜模型，這對(duì)包含單一色彩表面的照片尤其有效。用戶(hù)可以指定某個(gè)需要鑒別的照片表面進(jìn)行分析，就可以得到一套系數(shù)來(lái)代入一個(gè)復(fù)雜的、反映該表面周?chē)w光線(xiàn)環(huán)境的方程式，然后與其他表面的分析、計(jì)算結(jié)果進(jìn)行比較，如果其差異超出了特定范圍，則這張照片就有可能曾被處理過(guò)。 而這項(xiàng)研究利用卷積神經(jīng)網(wǎng)絡(luò)識(shí)別PS過(guò)的人臉圖片，直接了當(dāng)?shù)母嬖V你哪張照片PS過(guò)了、PS了哪里、最初的模樣是個(gè)啥。 此大殺器是由Adobe 研究科學(xué)家 Richard Zhang、Oliver Wang 以及 UC Berkeley 的 Shen-Yu Wang、Andrew Owens 與 Alexei A. Efros 參與完成。
目前，研究成果以成論文，并放在了arxiv上面~ 論文地址： https:///pdf/1906.05856.pdf 其實(shí)，早在2018年Adobe公司在CVPR 2018上展示了機(jī)器是如何在更短時(shí)間內(nèi)自動(dòng)識(shí)別出照片的修改痕跡的。當(dāng)時(shí)的那篇論文并不能看作計(jì)算機(jī)視覺(jué)領(lǐng)域的一大突破，但是看到Adobe這個(gè)“PS專(zhuān)業(yè)戶(hù)”發(fā)明“反PS工具”還是很有趣的。
論文地址： http://openaccess./content_cvpr_2018/papers/Zhou_Learning_Rich_Features_CVPR_2018_paper.pdf 那次的論文展示了如何用機(jī)器學(xué)習(xí)發(fā)現(xiàn)圖像的三種改變：拼接、復(fù)制、刪除。 為了發(fā)現(xiàn)這些特點(diǎn)，科學(xué)家們通常會(huì)在圖像的隱藏層中尋找線(xiàn)索。只要這些圖像經(jīng)過(guò)編輯，它們會(huì)留下數(shù)字化痕跡，例如圖像傳感器產(chǎn)生的顏色和亮度的不一致性（也被稱(chēng)為圖像噪聲）。當(dāng)你將兩張不同的照片拼在一起，或者從另一張圖中復(fù)制粘貼其中一部分，背景噪聲是不匹配的，就像用有些許色差的油漆掩蓋墻壁上的污漬。
換句話(huà)說(shuō)，研究人員訓(xùn)練了一個(gè)深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)來(lái)識(shí)別圖像處理。第一種方法是識(shí)別 RGB 的變化，第二種是識(shí)別噪點(diǎn)。這項(xiàng)技術(shù)將這兩種方法結(jié)合起來(lái)用，以此實(shí)現(xiàn)更準(zhǔn)確的識(shí)別。 而最新的這項(xiàng)研究主要針對(duì) Adobe Photoshop 自帶的功能臉部感知液化（Face Aware Liquify）。 因?yàn)槟槻扛兄夯梢韵茸R(shí)別人臉五官，然后用戶(hù)可以使用它進(jìn)行相應(yīng)的修改，如眼睛大小、額頭寬窄、瘦臉、鼻高等，還可以輕松調(diào)出微笑唇。 在這篇論文中提出了兩種模型：一種是全局分類(lèi)模型，任務(wù)是預(yù)測(cè)人臉是否發(fā)生改變；另一種是局部分類(lèi)模型，可以用來(lái)識(shí)別發(fā)生改變的位置。 首先用ResNet50架構(gòu)訓(xùn)練一個(gè)二元分類(lèi)器。確定圖片是否被修改過(guò)。在最后的評(píng)估過(guò)程測(cè)量了圖片像素（即是否為高清）對(duì)模型的影響，以及為了增強(qiáng)穩(wěn)健性，還對(duì)數(shù)據(jù)進(jìn)行了增強(qiáng)，所使用的方法包括調(diào)整圖片大小，調(diào)整圖片的對(duì)比度和飽和度等的。 另外，研究人員通過(guò)編寫(xiě) Photoshop 腳本創(chuàng)建了圖像訓(xùn)練集，幾千張，幾千張的從網(wǎng)上抓取圖片進(jìn)行訓(xùn)練。 這還不夠，研究人員還請(qǐng)了美術(shù)方面的專(zhuān)家?guī)退麄兪謩?dòng)修改圖片擴(kuò)大訓(xùn)練集。
該研究所用數(shù)據(jù)集的具體數(shù)據(jù)。 不同的目標(biāo)對(duì)應(yīng)不同的損失函數(shù) 研究人員預(yù)測(cè)從原圖 X_orig ∈ R^(H×W×3) 到修改后的圖 X 的光流場(chǎng)（optical flow field）U? ∈ R^(H×W×2)。之后，研究人員嘗試將圖像恢復(fù)為原圖。 研究人員訓(xùn)練了一個(gè)光流場(chǎng)預(yù)測(cè)模型F來(lái)預(yù)測(cè)像素扭曲場(chǎng)（perpixel warping field），衡量其與每個(gè)樣本真實(shí)光流場(chǎng) U 之間的距離（通過(guò)計(jì)算原圖和修改后的圖之間的光流得到）。 下圖展示了光流場(chǎng)的一些示例。
損失函數(shù)公式如下所示：
通過(guò)逆扭曲來(lái)恢復(fù)原圖。重建損失函數(shù)為：
其中，X是修改后的圖像，U是真值光流場(chǎng)，L_epe表示光流場(chǎng)之間的誤差。 研究者試圖使光流場(chǎng)更加平滑流暢，于是使用以下?lián)p失函數(shù)：
而直接使用該重建損失函數(shù)會(huì)導(dǎo)致低紋理區(qū)域出現(xiàn)模糊和偽影，于是研究者聯(lián)合訓(xùn)練以上三個(gè)損失函數(shù)：
最后，算法模型的全局評(píng)估結(jié)果如下?
相關(guān)報(bào)道： https://theblog.adobe.com/adobe-research-and-uc-berkeley-detecting-facial-manipulations-in-adobe-photoshop/ |
|
|
