背景●摘要

科恩實(shí)驗(yàn)室在2019年發(fā)布了對(duì)Telsa Autopilot [1]的研究，其中一項(xiàng)研究成果實(shí)現(xiàn)了對(duì)車(chē)道線系統(tǒng)的攻擊。具體來(lái)說(shuō)，我們?cè)诼访娌渴鸶蓴_信息后，可導(dǎo)致車(chē)輛經(jīng)過(guò)時(shí)對(duì)車(chē)道線做出錯(cuò)誤判斷，致使車(chē)輛駛?cè)敕聪蜍?chē)道。然而這種攻擊依賴于人工調(diào)試，讓攻擊不夠高效，不夠自動(dòng)化且不夠隱蔽。

為完善該攻擊方法，以及進(jìn)一步測(cè)試現(xiàn)有車(chē)道線檢測(cè)系統(tǒng)的安全性，我們基于黑盒測(cè)試和優(yōu)化算法設(shè)計(jì)了一種自動(dòng)化的攻擊方法來(lái)找到人眼難以察覺(jué)，但卻可以欺騙車(chē)道線檢測(cè)系統(tǒng)的擾動(dòng)。在實(shí)驗(yàn)階段，這些擾動(dòng)被布置在物理世界中，而處于自動(dòng)駕駛狀態(tài)的車(chē)輛成功被引入了逆向車(chē)道（如圖.1所示）。


圖.1: 攻擊場(chǎng)景：在十字路口引導(dǎo)自動(dòng)駕駛車(chē)輛駛?cè)肽嫦蜍?chē)道

該研究由科恩實(shí)驗(yàn)室和香港理工大學(xué)羅夏樸教授團(tuán)隊(duì)及賓州州立大學(xué)王挺教授聯(lián)合完成，且相關(guān)論文: 《Too Good to Be Safe: Tricking Lane Detection in Autonomous Driving with Crafted Perturbations》發(fā)表于安全領(lǐng)域四大頂會(huì)中的USENIX Security 2021。



關(guān)于USENIX Security會(huì)議

USENIX Security會(huì)議是安全領(lǐng)域最具影響力的頂級(jí)學(xué)術(shù)會(huì)議之一，多年來(lái)的論文接受率均低于20%。其常與Oakland S&P, CCS, NDSS并稱(chēng)為安全領(lǐng)域的四大頂會(huì)。USENIX Security 2021會(huì)議將于2021年8月11日-13日在線上舉行。

實(shí)驗(yàn)方法

本次研究中Tesla 具體車(chē)型為Model S 75，其Autopilot硬件版本為2.5，軟件版本為2018.6.1?；趯?duì)抗樣本的思想，我們期望找到 1.人眼不容易發(fā)現(xiàn)，2.且可以欺騙系統(tǒng)的擾動(dòng)。找到該種擾動(dòng)的Two-stage攻擊的框架如圖.2所示：我們先基于黑盒測(cè)試和優(yōu)化算法在數(shù)字圖像層面找到最佳擾動(dòng) (Stage.1)，然后再將該擾動(dòng)布置到物理世界 (Stage.2)。


圖.2: 以欺騙車(chē)道線檢測(cè)系統(tǒng)為目的的Two-Stage Attack

Stage.1: 找到digital層面的最佳擾動(dòng)

首先，基于從 Model S中提取的camera image（該圖像后續(xù)將被用于車(chē)道線檢測(cè)），我們以指定的參數(shù)對(duì)該圖像加入形如車(chē)道線的擾動(dòng)，然后將被篡改的圖像送進(jìn)車(chē)道線檢測(cè)系統(tǒng)。同樣，被篡改圖像對(duì)應(yīng)的lane image（車(chē)道線檢測(cè)的結(jié)果）也將被從車(chē)內(nèi)提取出來(lái)?；?.加入擾動(dòng)的可見(jiàn)度和2.被檢測(cè)到的車(chē)道線強(qiáng)度，我們運(yùn)用優(yōu)化算法來(lái)找到1.最隱蔽，且2.有最好攻擊效果的擾動(dòng)。

Stage.2: 在物理世界布置擾動(dòng)并檢測(cè)攻擊效果

在Stage.1中，加入擾動(dòng)的參數(shù)是基于物理世界的坐標(biāo)進(jìn)行設(shè)計(jì)的（包括擾動(dòng)的長(zhǎng)寬，以及與車(chē)的相對(duì)坐標(biāo)等）。因此，這些擾動(dòng)能很方便地被布置在物理世界。在Stage.2，這些擾動(dòng)被布置在車(chē)的前方。通過(guò)觀察車(chē)道線檢測(cè)的結(jié)果，以及自動(dòng)駕駛系統(tǒng)是否對(duì)這些擾動(dòng)進(jìn)行相應(yīng)，攻擊的有效性得以證實(shí)。

具體來(lái)說(shuō)，圖.3展示了如何對(duì)這些擾動(dòng)進(jìn)行定義：我們采用一個(gè)多維向量來(lái)表征形似車(chē)道線的擾動(dòng)，該向量中包括擾動(dòng)的形狀，相對(duì)車(chē)載攝像頭的坐標(biāo)，角度，數(shù)量等參數(shù)。一組擾動(dòng)將由一組物理參數(shù)唯一決定，然后基于這些物理參數(shù)，通過(guò)攝像頭的針眼模型和去畸變算法，這些擾動(dòng)被加入到數(shù)字圖像中并應(yīng)用于后續(xù)的優(yōu)化算法。


圖.3: 擾動(dòng)的參數(shù)描述（基于物理世界坐標(biāo)）

我們采用了一共5種啟發(fā)式算法來(lái)尋找最優(yōu)的擾動(dòng)，這些算法的表現(xiàn)如圖.4所示。其中PSO（粒子群算法）擁有最好的綜合性能。


圖.4: 各種啟發(fā)式算法的對(duì)比：PSO擁有最好的綜合性能

攻擊效果

實(shí)驗(yàn)表明，在行駛過(guò)程中，檢測(cè)模型的確將這些擾動(dòng)視為真實(shí)的車(chē)道線，并且對(duì)其響應(yīng)。具體來(lái)說(shuō)，處于自動(dòng)駕駛狀態(tài)的車(chē)輛在十字路口被我們添加的擾動(dòng)成功引入了逆向車(chē)道：

1.在十字路口場(chǎng)景下，車(chē)輛以自動(dòng)駕駛模式在道路右側(cè)行駛（此為正確的行駛方向）


2.在即將要通過(guò)十字路口時(shí)，車(chē)輛將地面上的擾動(dòng)視為真實(shí)的車(chē)道線，并且隨著這些擾動(dòng)開(kāi)始轉(zhuǎn)彎



3.通過(guò)十字路口時(shí)，車(chē)輛跟隨被檢測(cè)到的假車(chē)道線駛?cè)肽嫦蜍?chē)道


4.車(chē)輛保持在逆向車(chē)道上行駛


該過(guò)程中，對(duì)應(yīng)的逐幀圖像如下GIF所示：



補(bǔ)充說(shuō)明

本次發(fā)布的研究成果在Autopilot的2018.6.1版本上得到驗(yàn)證，研究團(tuán)隊(duì)未對(duì)Autopilot其他更高版本進(jìn)行測(cè)試Tesla是否通過(guò)升級(jí)其模型來(lái)防范該攻擊。但無(wú)論何種情況，為保證安全，建議即使在Autopilot輔助駕駛開(kāi)啟的情況下，車(chē)主也應(yīng)該全神貫注于駕駛，且隨時(shí)準(zhǔn)備接管車(chē)輛的控制。