前不久，來自騰訊科恩實(shí)驗(yàn)室的研究人員們找到了幾種使用「物理攻擊」的方式欺騙特斯拉自動(dòng)駕駛系統(tǒng)的方法。 在騰訊放出的視頻中我們可以看到，科恩實(shí)驗(yàn)室發(fā)現(xiàn)：
特斯拉的 Autopilot 功能是在 2016 年推出的，2018 年 10 月，該公司曾推出「全自動(dòng)駕駛」功能。但因被批夸大性能，特斯拉很快移除了這項(xiàng)技術(shù)。最近，隨著特斯拉向用戶推銷其輔助駕駛系統(tǒng) Autopilot 的策略發(fā)生轉(zhuǎn)變，該選項(xiàng)重新出現(xiàn)在了菜單上。 在上個(gè)月初，特斯拉 CEO 伊隆·馬斯克還曾表示：今年晚些時(shí)候，全自動(dòng)版 Autopilot 將允許特斯拉車主在復(fù)雜的城市環(huán)境中激活自動(dòng)駕駛功能。但在看完以上視頻之后，恐怕人們就不太敢打開 Autopilot 功能了，不知特斯拉何時(shí)能夠解決這些漏洞。 如何欺騙Autopilot 特斯拉汽車的 Autopilot 系統(tǒng)中內(nèi)置了一個(gè)深度神經(jīng)網(wǎng)絡(luò)，用于識別相機(jī)圖像中的車道標(biāo)志。該神經(jīng)網(wǎng)絡(luò)「看」東西的方式與我們大有不同，即使是創(chuàng)造和訓(xùn)練它們的人也不能理解其中原因。 通常，研究人員會(huì)向神經(jīng)網(wǎng)絡(luò)展示大量關(guān)于某物（如街道）的圖像來訓(xùn)練它們，而這些圖像中一般有由人類顯式標(biāo)記的東西，如車道標(biāo)志。網(wǎng)絡(luò)通過觀察標(biāo)記數(shù)據(jù)集中的圖像，從中檢測出某些相似性，然后逐漸能夠識別車道標(biāo)志。但這些相似性具體是什么，對它來說卻有些抽象。 由于車道標(biāo)志的實(shí)際性質(zhì)和神經(jīng)網(wǎng)絡(luò)對其認(rèn)知之間的脫節(jié)，即使是準(zhǔn)確率很高的神經(jīng)網(wǎng)絡(luò)也會(huì)被「對抗」圖像所欺騙，這些對抗圖像被精心構(gòu)建以利用這種模式識別。 上周，來自騰訊科恩實(shí)驗(yàn)室的研究人員展示了如何欺騙特斯拉 Model S 中的車道檢測系統(tǒng)，以隱藏人類可見的車道標(biāo)志，并創(chuàng)建人類會(huì)忽略的標(biāo)志。在某些特定情況下，這種做法會(huì)導(dǎo)致特斯拉的 Autopilot 在不發(fā)出警告的情況下駛?cè)脲e(cuò)誤車道。 通常，對抗圖像攻擊（adversarial image attack）是通過直接給神經(jīng)網(wǎng)絡(luò)輸入修改的圖像以數(shù)字方式進(jìn)行的。對神經(jīng)網(wǎng)絡(luò)上進(jìn)行現(xiàn)實(shí)世界的攻擊要難得多，因?yàn)檫@樣做更難控制網(wǎng)絡(luò)看到的東西。 但物理對抗攻擊可能也是一個(gè)嚴(yán)重問題，因?yàn)樗鼈儾恍枰苯釉L問正在使用的系統(tǒng)，該系統(tǒng)只要能夠看到對抗模式，就會(huì)被破壞。 騰訊的測試一開始是直接訪問特斯拉軟件。研究人員向車道檢測系統(tǒng)展示了各種車道標(biāo)志的數(shù)字圖像，以建立其檢測參數(shù)。作為輸出，該系統(tǒng)指定它在輸入圖像中檢測到的任何車道坐標(biāo)。通過使用「各種優(yōu)化算法來改變車道及其周圍的區(qū)域」，研究人員發(fā)現(xiàn)了幾種不同類型的「對抗樣本」，這些樣本與原始圖像相似，但能夠使車道識別功能失靈。 本質(zhì)上，騰訊試圖找到特斯拉車道檢測神經(jīng)網(wǎng)絡(luò)的置信閾值從「非車道」到「車道」或「車道」到「非車道」的點(diǎn)，并利用這個(gè)點(diǎn)來生成對抗車道標(biāo)志。以下是一些示例： 基于以上圖像中的第二個(gè)樣本，騰訊用一些顏料在現(xiàn)實(shí)世界中再現(xiàn)了這種效果，結(jié)果是相同的。 車道標(biāo)志被打亂到什么程度才能使 Autopilot 忽略它們，這一點(diǎn)很重要。騰訊研究人員解釋稱：
然而，正是這種穩(wěn)健性導(dǎo)致 Autopilot 更容易受到相反方向的攻擊：創(chuàng)建對抗標(biāo)志，這種標(biāo)志能夠觸發(fā) Autopilot 的車道識別系統(tǒng)，但對人類司機(jī)來說卻很少或幾乎看不到車道跡象。騰訊的實(shí)驗(yàn)表明，只需在地面上添加三個(gè)貼紙就能讓 Autopilot 誤認(rèn)為「這是車道」。 特斯拉自動(dòng)駕駛的其它漏洞 安全研究人員還發(fā)現(xiàn)了特斯拉的其它一些東西，這些東西不算弱點(diǎn)但挺有趣。比如，用圖像觸發(fā)雨刷的能力。他們還發(fā)現(xiàn)可以用游戲手柄控制特斯拉汽車的駕駛方向，這一點(diǎn)利用了特斯拉聲稱已經(jīng)修補(bǔ)好的漏洞。 將這個(gè)示例放在上下文中是很重要的，因?yàn)樗雌饋碇辉谔囟ōh(huán)境下運(yùn)作—該演示發(fā)生在類似于十字路口的地方（也許是一個(gè)無控制的四路交叉口），其中沒有其他車道線供系統(tǒng)遵循。 這些貼紙似乎不可能導(dǎo)致汽車穿過完善的中心車道線，但該演示表明在沒有其他車道標(biāo)志的情況下，貼紙的確可以導(dǎo)致自動(dòng)駕駛特斯拉進(jìn)入反向車道，司機(jī)也得不到任何視覺提示，因而無法了解即將發(fā)生什么。 當(dāng)然，研究人員希望特斯拉汽車足夠聰明，可以在發(fā)現(xiàn)迎面而來的車輛時(shí)候不進(jìn)入反向車道。值得指出的是，為了使車道標(biāo)志檢測系統(tǒng)發(fā)揮作用，特斯拉汽車考慮到大量變化，因?yàn)楝F(xiàn)實(shí)生活中的車道標(biāo)志具有諸多變化。 相信大家在高速公路行駛時(shí)都有過這樣的經(jīng)歷：不同時(shí)間畫的幾組標(biāo)志（但都以相同的方式褪色）彼此分離，以至于我們的大腦也很難決定走哪條車道。 在這種情況下，我們通常會(huì)以人類擅長的方式行事—快速吸收大量信息，并借助環(huán)境和畢生的道路知識盡可能做出最好的決定。眾所周知，自動(dòng)系統(tǒng)在這方面表現(xiàn)非常糟糕，但相較于僅靠觀察車道標(biāo)志做出決策，特斯拉 Autopilot 依然有很多方式利用其它數(shù)據(jù)做出更佳的決策。 最簡單的一種方法大概是觀察你前面的車輛如何行使，跟著它們可能是最安全的行車路線，即使它們沒有選擇與你相同的路線。 特斯拉的回應(yīng) 騰訊科恩實(shí)驗(yàn)室這一次測試的是特斯拉 Model S，其軟件版本為 2018.6.1。騰訊已將研究結(jié)果編寫為白皮書（如感興趣可查閱文末鏈接），對此，特斯拉對于目前發(fā)現(xiàn)的三個(gè)問題均給出了回應(yīng)。 關(guān)于「雨刷的視覺識別缺陷」：
關(guān)于「車道的視覺識別缺陷」：
關(guān)于「遙控器操控車輛行駛」：
不知這樣的回復(fù)是否能夠令你滿意？ 特斯拉的 Autopilot 一直處在一個(gè)尷尬的處境，它似乎同時(shí)在告訴消費(fèi)者「你當(dāng)然可以信任它」和「你當(dāng)然不能信任它」。 幾乎可以肯定的是，后一種說法更為準(zhǔn)確，車道識別攻擊令人擔(dān)憂，司機(jī)在車輛已經(jīng)開始轉(zhuǎn)向之前才可能意識到出現(xiàn)了問題，但可怕的是，在某些情形下，車輛自身無法意識到問題出現(xiàn)。 盡管這成為特斯拉 Autopilot 實(shí)際問題的可能性還很小，但這項(xiàng)研究向我們提出了一些問題：假如道路上出現(xiàn)了類似模式的隨意白點(diǎn)，會(huì)發(fā)生什么呢？還有哪些隱患尚待確認(rèn)呢？特斯拉已經(jīng)進(jìn)行大量的真實(shí)駕駛測試，但現(xiàn)實(shí)世界太大了，總會(huì)有一些可能的情況需要我們做好準(zhǔn)備。 參考內(nèi)容：
來源：機(jī)器之心編輯部 |
|
|
