編者按：本文來自微信公眾號(hào)“機(jī)器之心”（ID：almosthuman2014），作者 Synced，36氪經(jīng)授權(quán)發(fā)布。原標(biāo)題：《一張貼紙破解頂級(jí)FaceID，華為新研究讓人臉識(shí)別不再安全》

用來刷臉解鎖的 Face ID 也可以被「對(duì)抗樣本」攻擊了。最近，來自莫斯科國(guó)立大學(xué)、華為莫斯科研究中心的研究者們找到的新型攻擊方法，讓已經(jīng)廣泛用于手機(jī)、門禁和支付上的人臉識(shí)別系統(tǒng)突然變得不再靠譜。

在這一新研究中，科學(xué)家們只需用普通打印機(jī)打出一張帶有圖案的紙條貼在腦門上，就能讓目前業(yè)內(nèi)性能領(lǐng)先的公開 Face ID 系統(tǒng)識(shí)別出錯(cuò)，這是首次有 AI 算法可以在現(xiàn)實(shí)世界中實(shí)現(xiàn)攻擊：

AI 人臉識(shí)別系統(tǒng)在正常情況下的分類效果，它識(shí)別出了特定的人：Person_1

貼上紙條以后，即使沒有遮住臉，系統(tǒng)也會(huì)把 Person_1 識(shí)別成另外一些人「0000663」和「0000268」等

變換角度、改變光照條件都不會(huì)改變錯(cuò)誤的識(shí)別效果。加了貼紙后，我們可以看到 Person_1 的概率非常低

使用對(duì)抗樣本攻擊圖像識(shí)別系統(tǒng)，在人工智能領(lǐng)域里已經(jīng)不算什么新鮮事了，但是想要在現(xiàn)實(shí)世界里做到無差別攻擊，還是人臉識(shí)別這種數(shù)千萬人都在使用的應(yīng)用技術(shù)，這就顯得有些可怕了。使用這種新方法，人們可以輕松地打印一個(gè)破解紙條貼在腦門上，隨后讓 AI 識(shí)別的準(zhǔn)確率顯著下降。

從上面的動(dòng)圖可以看出，研究者實(shí)現(xiàn)的是非定向的攻擊，且對(duì)抗信息都集成在貼紙上。那么如果我們要找到一種定向的攻擊方式，讓系統(tǒng)將我們識(shí)別為特定的某個(gè)人，然后解鎖 ta 的手機(jī)，這也并不遙遠(yuǎn)，只要我們將以前定向攻擊的方式遷移到貼紙上就行了。

研究人員不僅發(fā)布了論文：https:///abs/1908.08705

更是直接公開了項(xiàng)目的代碼：https://github.com/papermsucode/advhat

「對(duì)抗樣本」是人工智能的軟肋，這是一種可以欺騙神經(jīng)網(wǎng)絡(luò)，讓圖像識(shí)別 AI 系統(tǒng)出錯(cuò)的技術(shù)，是近期計(jì)算機(jī)視覺，以及機(jī)器學(xué)習(xí)領(lǐng)域的熱門研究方向。

在這篇論文中，研究者們提出了一種全新且易于復(fù)現(xiàn)的技術(shù) AdvHat，可以在多種不同的拍攝條件下攻擊目前最強(qiáng)的公共 Face ID 系統(tǒng)。想要實(shí)現(xiàn)這種攻擊并不需要復(fù)雜的設(shè)備——只需在彩色打印機(jī)上打印特定的對(duì)抗樣本，并將其貼到你的帽子上，而對(duì)抗樣本的制作采用了全新的算法，可在非平面的條件下保持有效。

研究人員稱，這種方法已經(jīng)成功地破解了目前最先進(jìn)的 Face ID 模型 LResNet100E-IR、ArcFace@ms1m-refine-v2，其攻擊方式也可以遷移到其他 Face ID 模型上。

現(xiàn)實(shí) Face ID 也能被攻擊

以前對(duì)抗攻擊主要體現(xiàn)在虛擬世界中，我們可以用電子版的對(duì)抗樣本欺騙各種識(shí)別系統(tǒng)，例如通用的圖像識(shí)別或更細(xì)致的人臉識(shí)別等。但這些攻擊有一些問題，例如人臉識(shí)別攻擊只能是在線的識(shí)別 API，將對(duì)抗樣本打印出來也不能欺騙真實(shí)系統(tǒng)。

一個(gè)標(biāo)準(zhǔn)的線上人臉對(duì)抗樣本，它只能攻擊線上人臉識(shí)別模型或 API，無法用于線下的真實(shí)人臉識(shí)別場(chǎng)景

對(duì)抗樣本的這種局限性，很大程度在于真實(shí)識(shí)別系統(tǒng)不止有人臉識(shí)別模塊，還有活體檢測(cè)等其它處理模塊。只要活體檢測(cè)判斷對(duì)抗樣本不是真人，那么它自然就失去了效果。因此，很多研究者在思考，我們能不能將對(duì)抗信息打印出來，貼在臉上或頭上某個(gè)位置，那么這不就能攻擊真實(shí)的人臉識(shí)別了么。甚至，我們可以把對(duì)抗信息嵌入到帽子或其它飾品內(nèi)，這樣不會(huì)更方便么。

沿著這樣的思路，華為莫斯科研究中心的兩位研究者就創(chuàng)造了這樣的對(duì)抗樣本。他們表示在以前 Face ID 模型還需要大量的私有數(shù)據(jù)，而隨著大規(guī)模公開數(shù)據(jù)的發(fā)布，ArcFace 等研究模型也能與微軟或谷歌的模型相媲美。如果他們的對(duì)抗樣本能攻擊到 ArcFace，那么差不多就能攻擊業(yè)務(wù)模型。

研究者表示他們提出的 AdvHat 有如下特點(diǎn)：

• AdvHat 是一種現(xiàn)實(shí)世界的對(duì)抗樣本，只要在帽子加上這種「貼紙」，那么就能攻擊頂尖的公開 Face ID 系統(tǒng)；

• 這種攻擊是非常容易實(shí)現(xiàn)的，只要有彩印就行；

• 該攻擊在各種識(shí)別環(huán)境下都能起作用，包括光照、角度和遠(yuǎn)近等；

• 這種攻擊可以遷移到其它 Face ID 系統(tǒng)上。

Face ID 該怎樣攻擊

在 Face ID 系統(tǒng)的真實(shí)應(yīng)用場(chǎng)景中，并非捕獲到的每張人臉都是已知的，因此 top-1 類的預(yù)測(cè)相似度必須超過一些預(yù)定義的閾值，才能識(shí)別出人臉。

這篇論文的目的是創(chuàng)造一個(gè)可以粘貼在帽子上的矩形圖像，以誘導(dǎo) Face ID 系統(tǒng)將人臉與 ground truth 相似度降到?jīng)Q策閾值之下。

這種攻擊大概包含以下流程：

• 將平面貼紙進(jìn)行轉(zhuǎn)換以凸顯三維信息，轉(zhuǎn)換結(jié)果模擬矩形圖像放在帽子上后的形狀。

• 為了提高攻擊的魯棒性，研究者將得到的圖像投影到高質(zhì)量人臉圖像上，投影參數(shù)中含有輕微的擾動(dòng)。

• 將得到的圖像轉(zhuǎn)換為 ArcFace 輸入的標(biāo)準(zhǔn)模板。

• 降低初始矩形圖像的 TV 損失以及余弦相似度損失之和，其中相似性是原圖嵌入向量與 ArcFace 算出嵌入向量之間的距離。

流程圖如下圖 2 所示：

圖 2：攻擊流程示意圖

首先，研究者將貼紙重塑成真實(shí)大小和外觀的圖像，之后將其添加到人臉圖像上，然后再使用略為不同的轉(zhuǎn)換參數(shù)將圖像轉(zhuǎn)換為 ArcFace 輸入模板，最后將模板輸入到 ArcFace 中。由此評(píng)估余弦相似度和 TV 損失，這樣就可以得到用于改進(jìn)貼紙圖像的梯度信號(hào)。

圖 3：步驟 1 轉(zhuǎn)換貼紙的示意圖

貼紙攻擊試驗(yàn)細(xì)節(jié)

如前所言，在將圖像輸入到 ArcFace 之前，研究者對(duì)其進(jìn)行了隨機(jī)修改。他們構(gòu)造了一批生成圖像，并通過整個(gè)流程計(jì)算在初始貼紙上的平均梯度?？梢杂靡环N簡(jiǎn)單的方法計(jì)算梯度，因?yàn)槊總€(gè)變換都是可微分的。

注意，在每一次迭代中，批中的每一個(gè)圖像上的貼紙都是相同的，只有轉(zhuǎn)換參數(shù)是不同的。此外，研究者使用了帶有動(dòng)量的 Iterative FGSM 以及在實(shí)驗(yàn)中非常有效的幾個(gè)啟發(fā)式方法。

研究者將攻擊分為兩個(gè)階段。在第一階段，研究者使用了 5255 的步長(zhǎng)值和 0.9 的動(dòng)量；在第二階段，研究者使用了 1255 的步長(zhǎng)值和 0.995 的動(dòng)量。TV 損失的權(quán)重一直為 1e ? 4。

研究者利用一張帶有貼紙的固定圖像進(jìn)行驗(yàn)證，其中他們將所有參數(shù)都設(shè)置為看起來最真實(shí)的值。

他們使用了最小二乘法法，并通過線性函數(shù)來插入最后 100 個(gè)驗(yàn)證值：經(jīng)歷了第一階段的 100 次迭代和第二階段的 200 次迭代。如果線性函數(shù)的角系數(shù)不小于 0，則：1）從第一階段過渡到第二階段的攻擊；2）在第二階段停止攻擊。

「對(duì)抗樣本貼」效果怎么樣

研究者在實(shí)驗(yàn)中使用一張 400×900 像素的圖像作為貼紙圖像，接著將這張貼紙圖像投射到 600×600 像素的人臉圖像上，然后再將其轉(zhuǎn)換成 112×112 像素的圖像。

為了找出最適合貼紙的位置，研究者針對(duì)貼紙定位進(jìn)行了兩次實(shí)驗(yàn)。首先，他們利用粘貼在 eyez 線上方不同高度的貼紙來攻擊數(shù)字域中的圖像。然后，他們根據(jù)空間 transformer 層參數(shù)的梯度值，在每次迭代后變更貼紙的位置。

下圖 4 展示了典型對(duì)抗貼紙的一些示例。看起來就像是模特在貼紙上畫了挑起的眉毛。

圖 4：對(duì)抗貼紙示例

為了檢測(cè) AdvHat 方法在不同拍攝條件下的魯棒性，研究者為最開始 10 個(gè)人中的 4 人另拍了 11 張照片。拍攝條件示例如下圖 6 所示：

圖 6：研究者為一些人另拍了 11 張照片，以檢測(cè)不同拍攝條件下的攻擊效果

檢測(cè)結(jié)果如下圖 7 所示：雖然最終相似度增加了，但攻擊依然有效。

圖 7：各種拍攝條件下的基線和最終相似度。圖中不同顏色的圓點(diǎn)代表不同的人。圓表示對(duì)抗攻擊下的相似性，而 x 表示基線條件下的相似性

最后，研究人員檢驗(yàn)了該方法對(duì)于其他 Face ID 模型的攻擊效果。他們選取了 InsightFace Model Zoo 中的一些人臉識(shí)別方法。在每個(gè)模型上均測(cè)試了 10 個(gè)不同的人。

圖 8：不同模型中，基線和最終相似度的差異

雖然 AdvHat 生成的對(duì)抗樣本很簡(jiǎn)單，但這種攻擊方式看起來已適用于大多數(shù)基于攝像頭的人臉識(shí)別系統(tǒng)?？磥硐胍槐蝗恕该懊斕妗?，我們還是需要回到虹膜識(shí)別？

本文經(jīng)授權(quán)發(fā)布，不代表36氪立場(chǎng)。如若轉(zhuǎn)載請(qǐng)聯(lián)系原作者。