摘要：

深度神經(jīng)網(wǎng)絡已經(jīng)廣泛應用于自動駕駛車輛等自主系統(tǒng)中。最近，DNNtesting被深入研究以自動生成通用示例，該示例在極端情況下將小幅度擾動注入輸入以測試DNN。雖然現(xiàn)有的測試技術被證明是有效的，特別是對于自動駕駛來說，但它們主要專注于產(chǎn)生數(shù)字敵對擾動，例如改變圖像像素，這在現(xiàn)實世界中可能永遠不會發(fā)生。因此，在關于自動駕駛測試的文獻中有一個關鍵的缺失部分:理解和利用數(shù)字和物理的逆向擾動生成來影響轉向決策。本文針對一種較為常見和實際的駕駛場景:路過廣告牌，提出了一種系統(tǒng)化的物理世界測試方法，即DeepBillboard。Deep-Billboard能夠生成一個健壯且有彈性的可印刷廣告廣告牌測試，該測試可以在動態(tài)變化的駕駛條件下工作，包括視角、距離和照明。目標是通過我們生成的敵對廣告牌，最大化自動駕駛車輛駕駛的轉向角錯誤的可能性、程度和持續(xù)時間。我們通過進行數(shù)字擾動實驗和物理世界案例研究，廣泛評估了DeepBillboard的效率和健壯性。數(shù)字試驗的結果表明DeepBillboard對各種轉向模型和場景都很有效。此外，物理案例研究表明，DeepBillboard具有足夠的魯棒性，可以在各種天氣條件下為真實世界的駕駛生成物理世界的敵對廣告牌測試，能夠誤導平均轉向角誤差高達26.44度。據(jù)我們所知，這是第一項證明為實際的自動駕駛系統(tǒng)生成現(xiàn)實和連續(xù)的物理世界測試的可能性的研究；此外，深廣告牌可以直接推廣到沿著路邊的各種其他物理實體/表面，例如，在墻上畫的涂鴉。

1.介紹

深度神經(jīng)網(wǎng)絡(DNNs)由于其在認知計算任務中最先進的、甚至可以與人類競爭的精度而被廣泛應用于許多自主系統(tǒng)中。其中一個領域是自主駕駛，DNNs用于將車載攝像頭的原始像素映射到轉向控制決策[6，23]。最近的端到端學習框架使得dnn甚至有可能從有限的人類駕駛數(shù)據(jù)集學習自我駕駛[4]。

不幸的是，采用dnn作為控制管道一部分的系統(tǒng)的可靠性和正確性還沒有得到正式的保證。在實踐中，這類系統(tǒng)通常會以意想不到或不正確的方式表現(xiàn)不良，特別是在某些特殊情況下，由于各種原因，如DNN模型過擬合/過擬合、訓練數(shù)據(jù)有偏見或不正確的運行時參數(shù)。考慮到自動駕駛的安全性，這種不當行為可能會造成嚴重的后果。最近的一個悲劇例子是，一輛Uber自動駕駛汽車撞死了一名亞利桑那州的行人，因為自動駕駛系統(tǒng)做出了一個錯誤的控制決定-"當受害者在晚上過馬路時，它不需要馬上做出反應"。

更糟糕的是，最近的DNN測試研究表明，DNN對帶有擾動的有意對抗輸入相當脆弱[5,15,22,27,32]。這種對抗性輸入可以通過在原始輸入中添加惡意擾動來進行數(shù)字化處理，從而導致目標DNN輸出錯誤的控制決策。最近的許多DNN測試工作都在研究對抗性輸入的根本原因以及如何系統(tǒng)地生成此類輸入[5,9,18,19,29,30,33,39]。雖然這些工作提出了各種測試技術，被證明是有效的，特別是對自動駕駛，他們主要關注產(chǎn)生數(shù)字對抗性擾動，這可能永遠不會發(fā)生在物理世界。唯一的例外是最近的一組工作[9,30]，他們在打印魯棒物理擾動方面邁出了第一步，這些擾動會導致靜態(tài)物理對象的錯誤分類(例如，[2]中的打印輸出，[30]中的人臉，[9]中的停止符號)。我們的工作旨在通過在現(xiàn)實的、連續(xù)的駕駛過程中提高測試的有效性，進一步增強自動駕駛的物理世界測試。專注于在任何錯誤分類的物理對象的任何單個快照上產(chǎn)生對抗性擾動不太可能在實踐中起作用，因為任何現(xiàn)實世界的駕駛場景都可能遇到駕駛條件(例如。(視角/距離)，這與靜態(tài)單快照視圖中的數(shù)據(jù)有很大的不同。

在本文中，我們提出了一種系統(tǒng)的物理世界測試方法，即DeepBillboard，針對一種非常常見和實用的連續(xù)駕駛場景：自動駕駛車輛通過路邊廣告牌駕駛。DeepBillboard有助于系統(tǒng)地生成對抗性示例，以在任意一條數(shù)字物理信道的路邊廣告牌上添加擾動時誤導轉向角。請注意，除了路邊的廣告牌外，基本概念還可以直接推廣到各種其他物理實體/表面，例如墻上的涂鴉；在這項工作中，出于幾個實際考慮，我們選擇路邊廣告牌作為目標物理駕駛場景：1）到處都可以租用廣告牌做廣告。租用廣告牌的攻擊者可以自定義其大小和內(nèi)容，如圖1所示。2）廣告牌通常被認為與交通安全無關或無害，并且沒有嚴格的規(guī)則來規(guī)范廣告牌的外觀；3）廣告牌通常很大，足以讓司機看清，因此行車記錄儀可以拍攝不同距離、視角和光線條件；4）攻擊者可以容易地構建物理世界廣告牌，以影響無人駕駛車輛的轉向決策，而不會被其他人注意到，例如，實際的核心敵對繪畫只能是整個廣告牌的一部分，而廣告牌的其他部分看起來仍然正常，例如，一些底部文本欄顯示“本周六美術館”。

DeepBillboard的目標是在車載攝像頭捕捉到的每一幀圖像上生成一個單獨的敵對廣告牌圖像，該圖像可能會在廣告牌行駛過程中誤導自動車輛的轉向角度。為了產(chǎn)生有效的擾動，一個主要的挑戰(zhàn)是覆蓋一組展示不同條件的圖像幀，包括到廣告牌的距離、視角和照明。簡單地應用現(xiàn)有的數(shù)據(jù)測試技術[29，33，39]來生成任何特定幀的數(shù)字擾動在這種情況下顯然是行不通的，因為虛擬駕駛場景可能不會導致任何具有相同或相似條件的幀(例如，插入天空黑洞，如最近獲獎的DeepXplore工作[29]中所做的)。此外，單個幀擾動的有效性可能是無效的，因為一個幀上的錯誤引導可能被下一個幀快速糾正。

為了解決這一關鍵挑戰(zhàn)，我們開發(fā)了一種魯棒且可靠的聯(lián)合優(yōu)化算法，該算法可以生成可打印的廣告牌圖像，該圖像在整個駕駛過程中可能會在dashcam捕獲的每一幀上誤導轉向角度。為了最大化對抗效果，我們開發(fā)了各種技術來最小化幀間干擾，并設計了考慮所有幀的算法來達到全局最優(yōu)。此外，通過輸入記錄具有不同駕駛模式(例如，駕駛速度和路線)的路邊廣告牌的駕駛過程的視頻，我們的算法可以很容易地調(diào)整為生成可打印的廣告圖像，該圖像在考慮各種物理世界約束(例如，由于打印機硬件約束而變化的環(huán)境條件和像素可打印性)時是魯棒的和有彈性的。

考慮這種真實世界的駕駛場景并開發(fā)相應的數(shù)字和物理對抗測試生成方法，在測試效率方面產(chǎn)生明顯的優(yōu)勢:由于對抗廣告牌，任何駕駛車輛被誤導的轉向決策的可能性、程度和持續(xù)時間可以可靠地增加。我們的主要貢獻總結如下：

• 我們提出了一個新的角度來測試物理世界中的自動駕駛系統(tǒng)，它可以很容易地部署。

• 我們引入了一種穩(wěn)健的聯(lián)合優(yōu)化方法，系統(tǒng)地生成對抗性擾動，這些擾動可以在路邊廣告牌上進行修補，無論是數(shù)字還是物理上，都會嚴重誤導具有不同駕駛模式的廣告牌自動駕駛車輛的轉向決策。

• 我們提出了新的評估指標和方法，以測量數(shù)字和物理領域中轉向模型擾動的測試有效性。

• 我們通過對數(shù)字擾動和物理案例研究進行大量實驗，證明了DeepBill-board的穩(wěn)健性和有效性。數(shù)字實驗結果表明，DeepBill-board對各種轉向模型和場景來說是有效的，能夠在各種情況下誤導平均轉向角高達41.93度。物理案例研究進一步證明，DeepBill-board足夠穩(wěn)健和有彈性，能夠在各種天氣條件下為真實世界的駕駛生成物理世界對抗性廣告牌測試，能夠錯誤引導平均轉向角誤差從4.86度到26.44度。據(jù)我們所知，這是首次研究為實際自主駕駛場景生成真實且連續(xù)的物理世界測試的可能性。

2.背景和相關工作

自動駕駛中的DNN。自動駕駛系統(tǒng)通過多個傳感器（如攝像頭、雷達、激光雷達）收集周圍的環(huán)境數(shù)據(jù)作為輸入，用DNN和輸出控制決策（如轉向）處理這些數(shù)據(jù)。本文主要關注NVIDIA Dave[4]中采用的帶有攝像頭輸入和轉向角輸出的轉向角組件。

卷積神經(jīng)網(wǎng)絡（CNN）在分析視覺圖像方面非常有效，是用于轉向角決策的最廣泛的DNN。與常規(guī)神經(jīng)網(wǎng)絡類似，CNN由多層組成，以前饋的方式通過層傳遞信息。在所有層中，卷積層是CNN中的一個關鍵組件，它與前一層輸出的核進行卷積，并將特征映射發(fā)送給后續(xù)層。與另一種廣泛使用的DNN架構-回流神經(jīng)網(wǎng)絡（RNN）不同，它是一種具有反饋連接的神經(jīng)網(wǎng)絡，基于CNN的轉向模型僅根據(jù)當前捕獲的圖像做出轉向決策。在本文中，我們重點關注CNN轉向模型的測試，并將RNN測試作為未來的工作。盡管如此，我們注意到DeepBill-Board可以進行調(diào)整以應用于RNN測試。直觀地說，這可以通過根據(jù)RNN的具體特性修改梯度計算方法來實現(xiàn)。

Digital Adversarial Examples.最近的研究表明，深度神經(jīng)網(wǎng)絡分類器可以通過對抗性示例進行測試和進一步欺騙[5,15,20,22,27,32]。這種測試可以在黑盒[25,26]和白盒[5,15,22,27,32]設置中進行。Goodfellow等人提出了快速梯度法，該方法應用損失函數(shù)的一階近似來構造對抗樣本[14]。還提出了基于優(yōu)化的方法來為目標攻擊創(chuàng)建對抗干擾[5,16]。同時，最近的DeepTest[33]和DeepRoad[39]技術通過簡單的仿射/濾波變換或生成對手網(wǎng)絡（GAN）來轉換原始圖像以生成對手圖像[13]?？偟膩碚f，這些方法有助于理解數(shù)字對抗示例，生成的對抗示例可能在現(xiàn)實中根本不存在（例如，DeepTest[33]和DeepRoad[39]生成的雨天駕駛場/景仍然遠離真實世界場景）。相比之下，我們的工作考察了動態(tài)條件下真實物體（廣告牌）的物理擾動，如距離和視角的變化。

Physical Adversarial Examples.Kurakin等人表明，對抗性的例子，當由智能手機攝像頭拍攝時，仍然可以導致錯誤分類[15] 。Athalye等人引入了一種攻擊算法，以生成對一組合成變換魯棒的物理對抗示例[3]。他們進一步制作了擾動物體的3D打印副本[3]。上述工作與我們的工作的主要區(qū)別包括：（1）先前工作在優(yōu)化過程中只使用一組合成變換，可能會忽略細微的物理效果；而我們的工作可以從合成變換和各種現(xiàn)實世界物理條件中取樣。（2） 我們的工作修改了真實大小的物體；（3）我們的工作目標是測試現(xiàn)實和持續(xù)駕駛場景。

Sharif等人提出了基于DNN的人臉識別系統(tǒng)的躲避和模仿攻擊，方法是在眼鏡架上打印敵意攻擊[30]。他們的研究表明，在相對穩(wěn)定的身體條件下，在姿勢、與相機的距離/角度以及光線變化不大的情況下，成功地進行了身體攻擊。這有助于對穩(wěn)定環(huán)境中物理樣本的有趣理解。然而，一般來說，環(huán)境條件可能變化很大，有助于降低擾動的有效性。因此，我們選擇了汽車廣告牌分類的固有無約束環(huán)境。在我們的工作中，我們明確地設計了擾動，使其在各種連續(xù)的物理世界條件下（特別是大距離/角度和分辨率變化）有效。

Lu等人針對檢測器對路標圖像進行了物理對抗性測試，結果表明當前檢測器可能受到攻擊[17]。最近的幾項工作以數(shù)字方式展示了對抗檢測/分割算法的對抗性示例[8,21,38]。攻擊自動駕駛系統(tǒng)的最新工作是Eykholtand Evtimov等人開展的工作。他們表明，可以為路標分類器構建物理魯棒攻擊[9]，并且此類攻擊可以進一步擴展到攻擊YOLO檢測器[10]。我們的工作與此類工作不同，因為以下事實：（1）我們通過在路邊廣告牌上構建可打印的擾動來攻擊轉向模型，這些擾動可以在任何地方，并且比路標具有更大的影響；（2） 我們提出的算法考慮了由行車記錄儀捕獲的一系列連續(xù)幀，這些幀的距離和視角逐漸變化，并尋求最大化通過我們的對手路邊廣告牌駕駛的自主車輛的轉向角度的可能性和誤導程度；（3）提出了一種新的聯(lián)合優(yōu)化算法，以有效地生成數(shù)字和物理攻擊。

3.生成對抗模式

3.1對抗場景

DeepBillboard的目標是誤導自動車輛的轉向角，通過在路邊的廣告牌上繪制對抗性擾動，從車道中心偏離軌跡。我們的目標DNN是基于CNN的轉向模型[4,12,31,35,36]，不涉及檢測/分割算法。轉向模型將行車記錄儀拍攝的圖像作為輸入，并輸出轉向角度決定。

我們使用偏離跟蹤距離來測量測試有效性（即轉向誤導的強度），這已應用于Nvidia的Dave[4]系統(tǒng)，以觸發(fā)人為干預。車輛速度為v m/s，使用DNN參考的決策頻率為i(s秒)，地面真實轉向角為α，誤導轉向角為a′，偏移跟蹤距離以v·i·sin（α′?α)來計算. 在潛在的物理世界攻擊中，測試儀/跟蹤儀通常無法控制車輛速度。因此，我們使用轉向角誤差，即地面真實和誤導轉向之間的轉向角發(fā)散，來衡量測試效果。

我們考慮的是實際的駕駛情景，而不是僅僅以單一、固定的姿態(tài)和視角誤導駕駛決策。具體而言，當車輛駛向廣告牌時，我們會試圖生成一個物理對抗性廣告牌，它可能會誤導從不同距離和角度觀看的一系列行車記錄儀捕獲幀的轉向決策。捕獲幀的數(shù)量明顯取決于行車記錄儀的FPS和車輛從起始位置行駛到實際通過廣告牌的時間?？紤]到這樣一個真實的動態(tài)駕駛場景，在攻擊強度方面具有明顯的優(yōu)勢：由于對抗性廣告牌，任何車輛駕駛的誤導性轉向決策的可能性和程度都會大大增加。我們強調(diào)，這一考慮也從根本上區(qū)分了DeepBillboard的算法設計與應用更簡單的策略，如隨機搜索、平均值/最大值池、不同的順序等。應用這些更簡單的方法將改善單幀的誤導角度，但降低總體目標。經(jīng)過幾次迭代，這些方法很難改善目標。

3.2評估指標

我們的評估指標旨在反映攻擊強度的可能性。車輛可能以不同的速度和角度經(jīng)過我們的對手廣告牌，這可能會影響相機拍攝的圖像幀數(shù)和不同幀之間的廣告牌布局。假設?X={x0，x1，x2，…，xn}表示一組詳盡的圖像幀，這些幀可能由具有任何駕駛模式（例如駕駛速度和速度）的車輛捕獲，那么由任何車輛捕獲的幀顯然是子集X??X。我們的目標是生成可以影響（幾乎）?X中每一幀的物理可打印廣告牌，以便與潛在的現(xiàn)實世界駕駛場景相對應的任何子集X都有最大的受影響機會。為了實現(xiàn)這個目標，我們定義了兩個評估指標M0，M1，如下所示。

M0 測量?X中幀的平均角度誤差（AAE）：

其中f（·）表示目標轉向模型的預測結果，x′表示擾動幀。此指標度量對幀超集的平均攻擊強度。較大的M0值意味著在通過廣告牌駕駛過程中誤導轉向角的可能性更大，誤差也更大。

M1測量X中角度誤差超過預定義閾值的幀的百分比，用τ表示。τ可以根據(jù)實際駕駛行為進行計算。M1的正式定義由如下公式給出：

例如，如果我們想在0.2秒的時間間隔內(nèi)以1米的離軌距離誤導40英里/小時的自動駕駛車輛，那么τ可以計算為16.24。我們主要采用M1作為物理世界案例研究的評估指標，因為M1可以根據(jù)實踐中的安全標準，在給定任何合理的預定義閾值的情況下，清楚地反映導致不可接受的轉向決策（例如，可能導致事故的決策）的幀數(shù)。

3.3挑戰(zhàn)

對物體的物理攻擊應該能夠在不斷變化的條件下工作，并且能夠有效愚弄分類器。我們使用目標公告牌分類來構建這些條件的討論。這些條件的一個子集也可以應用于其他類型的物理學習系統(tǒng)，如無人機和機器人。

1.Spatial Constraints（空間約束）。現(xiàn)有的對抗性算法主要側重于干擾數(shù)字圖像，并將對抗性干擾添加到圖像的所有部分，包括背景圖像（例如天空）。然而，對于一個實體廣告牌，攻擊者不能操縱除了廣告牌區(qū)域之外的背景圖像。此外，攻擊者不能假設存在一個固定的背景圖像，因為它會隨著經(jīng)過車輛的行車記錄儀的距離和視角而變化。

2.Physical Limits on Imperceptibility（不可感知的物理極限）。現(xiàn)有的對抗性學習算法的一個吸引人的特點是，它們對數(shù)字圖像的擾動往往在量級上很小，以致于偶然的觀察者幾乎察覺不到這些擾動。然而，當將這種最小的擾動傳輸?shù)秸鎸嵤澜绲奈锢韴D像時，我們必須確保相機能夠感知這些擾動。因此，擾動不可測性存在物理約束，這也依賴于傳感硬件。

3.Environmental Conditions（環(huán)境條件）。在自動駕駛汽車上，攝像頭相對于廣告牌的距離和角度可能會不斷變化。被輸入分類器的捕獲幀是在不同的距離和觀看角度拍攝的。因此，攻擊者在廣告牌上添加的任何干擾都必須能夠在這種動態(tài)下生存。其他影響環(huán)境的因素包括光照/天氣條件的變化，以及相機或廣告牌上的碎片的存在。

4.Fabrication Error（制造錯誤）。要實際打印出包含所有構造擾動的圖像，所有擾動值必須是可以在現(xiàn)實世界中打印的有效顏色。此外，即使制造設備（如打印機）可以產(chǎn)生某些顏色，也可能存在某些像素不匹配錯誤。

5.Context Sensitivity（上下文敏感度）。考慮到上下文，?X中的每一幀都必須受到干擾，以最大化整體攻擊強度（例如，最大化M0）。每個被擾亂的幀可以被映射到具有一定視角和距離的可打印的對抗性圖像上。每個獨立幀都有自己的最佳擾動。然而，我們需要考慮所有幀的上下文，以生成一個可打印的、全局最優(yōu)的、所有幀的對抗圖像。

為了對深度學習分類器進行物理攻擊，攻擊者應該考慮到上述物理世界的限制，否則有效性可能會顯著減弱。

3.4DeepBillboard的設計

我們設計了DeepBillboard，它可以生成一個可打印的圖像，可以粘貼在路邊廣告牌上，方法是分析給定的視頻，其中車輛通過不同駕駛模式的路邊廣告牌行駛，從而不斷誤導任何自動駕駛車輛的轉向角決策。Deep Billboards用于為給定視頻的每個幀fi生成擾動，而不考慮幀上下文和其他物理條件。然后我們描述如何更新算法來解決前面提到的物理世界的挑戰(zhàn)。最后我們詳細描述了DeepBillboard的算法偽代碼。我們注意到，實際上不可能構建圖像幀的詳盡集合(即X)，可能是由具有任何駕駛模式(例如，駕駛速度和路線)的路過車輛捕獲的。盡管如此，由于更大的?X，處理更多的駕駛視頻將明顯增強DeepBillboard的測試效率，但代價是時間復雜性增加。

單幀對抗性示例生成搜索要添加到輸入x的擾動σ，以便目標DNN轉向模型f（·）可以預測擾動input x′=x+δ，如下所示。

其中，H是一個選定的距離函數(shù)，Ax是地面真實轉向角。通常，在我們的評估中，地面真實轉向角是不應用對抗廣告牌的原始預測轉向角，根據(jù)我們的定義為f(x)。為了解決上述約束優(yōu)化問題，我們將其重新表述為拉格朗日松弛形式，類似于之前的工作[9,30]:

其中L為損失函數(shù)，用于測量模型預測值與地面真實值Ax之間的差異。本文的攻擊場景可以看作是一種以不被正確推斷為目的的推理躲避。

Joint Loss Optimization（聯(lián)合優(yōu)化損失）。如前所述，我們的目標是生成一個單一的對抗圖像，可能會誤導自動駕駛汽車的轉向角度，在每一幀行車時，儀表盤攝像頭可能捕捉到的廣告牌。當從不同的角度和距離觀看時，對抗性廣告牌的外觀可能會有所不同。因此，為了達到目標，我們需要生成一個可打印的對抗性擾動，它可以誤導駕車過程中捕獲的每一幀圖像。這顯然是一個超越單幅圖像的優(yōu)化問題。由于廣告牌上的一處改動會影響到所有的框架，因此有必要將所有的框架放在一起考慮。為此，問題變成為圖像集X中的每一張圖像x找到一個單一的擾動?，從而對公式3進行優(yōu)化。我們將這種擾動生成形式化為下面的優(yōu)化問題。

其中，pi是可打印的擾動?在每個單獨幀中的投影函數(shù)。

Handling Overlapped Perturbations（處理重疊干擾）。每一幀都可能產(chǎn)生一組擾動，這些擾動由多個像素組成，這些像素將在最終可打印敵方圖像上更新。多幀的擾動可能會遇到重疊像素，這可能會在這些幀之間產(chǎn)生干擾。為了最大限度地提高攻擊強度，DeepBillboard僅按順序為每個幀更新固定數(shù)量的k個像素，以盡量減少多個幀之間的重疊干擾。這k個像素是對誤導決策影響最大的像素。我們假設覆蓋攝像頭捕捉到的n個幀的最終敵對廣告牌圖像由m個像素組成。k是滿足n * k < m的值，這有助于減少幀間擾動重疊的總體機會。對于每個重疊像素，我們通過貪婪地選擇一個最大化客觀度量的值(例如M0)來更新它。

Enhancing Perturbation Printability（增強擾動可打印性）。為了使擾動在物理世界中工作，每個擾動像素都需要是現(xiàn)有打印機硬件的可打印值。設 P?[0,1]^3是可打印的RGB三元組集合。我們定義像素的非打印性評分(NPS)來反映該像素與任意像素之間的最大距離。NPS值越大，就意味著準確打印出相應像素的機會越小。我們將像素的NPS定義為:

我們將擾動的NPS定義為該擾動中所有像素的NPS值之和。

Adjust Color Difference under Various Environment Conditions（在各種環(huán)境條件下調(diào)整色差）。對于不同的環(huán)境條件，屬于廣告牌圖像的同一像素的可見顏色在行車記錄儀捕獲的視頻中可能看起來不同。這種差異可能會影響不同條件下的對抗效能。在我們的物理世界實驗中，我們用單色p={r，g，b}來預填充整個廣告牌。在特定的環(huán)境條件下，相機顯示的實際顏色可能會變?yōu)閜′={r′，g′，b′}。基于我們的初步實驗，我們觀察到同一圖像中像素的這種色差幾乎相同。為了簡化這個問題，我們?yōu)槊總€圖像引入了一個顏色調(diào)整函數(shù)ADJi=di（p，p′）來調(diào)整色差。

Algorithm overview（算法概述）。DeepBillboard生成對抗廣告牌圖像的過程如圖2所示。為了生成對手廣告板圖像，我們首先用單色預填充廣告牌，并用對比色繪制其四個角，以便（1）數(shù)字定位廣告牌的坐標，（2）獲得顏色調(diào)整功能ADJi。然后，我們使用儀表盤攝像頭錄制視頻，以不同的駕駛行為（例如，不同的駕駛速度和駕駛模式）沿路開車經(jīng)過廣告牌。然后，我們將預先錄制的視頻發(fā)送到我們的算法輸入，以生成可打印的對手廣告牌圖像。如前所述，輸入更多的駕駛視頻將明顯增強DeepBillboard的測試效率，但代價是增加了時間復雜性。

我們的對抗算法的偽代碼在Alg1中進行了說明。我們的算法本質上是基于迭代的。在每次迭代中，我們首先根據(jù)反映每個像素對最終目標影響的梯度，獲得一批隨機選擇的圖像的擾動建議。然后，我們只貪婪地應用那些可能導致更好的對抗性效果的擬議擾動。我們應用足夠多的迭代次數(shù)來最大化轉向角分歧和擾動的穩(wěn)健性。

如Alg1開始時所見。1、輸入包括：預錄視頻中的幀列表、每個幀中廣告牌四角的坐標列表、增強迭代次數(shù)、批量大小、顏色調(diào)整因子列表和目標數(shù)字擾動的維度。如Alg1所示，擾動是由RGB像素值組成的先驗擾動矩陣（第2行）。我們使用COLOR_INIT函數(shù)以一個單色c∈ {0|255}^3預填充可打印擾動矩陣。基于我們廣泛的數(shù)字和物理實驗，使用單色預填充矩陣可以得到更好的結果和更快的收斂速度。根據(jù)我們的實驗，對于我們的測試目的來說，金色、藍色和綠色是最有效的單色。pert_data是一個矩陣列表，它存儲了一批圖像的建議擾動(第2行)。第5到22行通過增強迭代循環(huán)，目的是最大化對抗有效性和擾動魯棒性。在第6行，我們隨機打亂捕獲幀的處理順序。目的是避免在早期視頻幀中快速收斂到非最優(yōu)點(類似于深度神經(jīng)網(wǎng)絡訓練)。從第7行開始，我們循環(huán)處理所有分割成批次的圖像。對于每個圖像批，我們在循環(huán)處理批內(nèi)的每個圖像之前（第10行）初始化并清除pert_data（第8-9行）。

對于批次中的每個圖像x，我們計算其梯度，即目標函數(shù)對輸入圖像的偏導數(shù)[14]（第11行）。通過迭代改變梯度上升，目標函數(shù)可以很容易地最大化。我們注意到，我們可以通過選擇坡度的正值或負值，故意誤導目標轉向模型向左或向右轉向，坡度由DIRECTION值-1,1控制（第11行）。然后我們對梯度應用域約束(第12行)，以確保我們只更新屬于廣告牌對應區(qū)域的像素，并且梯度上升后的像素值在一定范圍內(nèi)(例如，0到255)。在實施過程中，如前所述，我們引入了一個參數(shù)k，只應用對對抗效果影響最大的頂梯度值。這是為了減少所有圖像之間的重疊擾動。與JSMA[28]中使用的顯著性地圖不同，它代表了當前圖像中X被歸入目標類別的信心分數(shù)，我們考慮了對這個場景中所有圖像的聯(lián)合目標函數(shù)的影響，尋求最大化與地面真實的平均轉向角差異。在約束適用的梯度之后，我們將每個圖像的梯度值投影到批處理圖像的擬議擾動（第13行）。ADJ（即環(huán)境因素調(diào)整的輸入列表）用于糾正不同照明條件下的色差。例如，如果純黃色（255,255,0）變?yōu)椋?00,200,0），則ADJ設置為（55,55,0）。當投影到物理廣告牌上時，梯度值應增加（55,55,0）。

在批處理中的所有圖像都得到梯度后，它們之間可能存在重疊的擾動。也就是說，對于對應于重疊擾動的每個像素，它可能具有最終可打印對抗示例的多個建議更新值。為了處理這種重疊（第14行），我們實現(xiàn)了三種方法：

（1）用提出的擾動中的最大梯度值更新重疊像素；

（2）用所有梯度值的總和更新重疊像素，

（3）用對目標函數(shù)整體影響最大的建議值之一更新重疊像素。

然后在第15行，我們通過將梯度添加到當前物理擾動擾動來計算建議的更新的tmpt_pert。在顏色校正和不可打印的分數(shù)控制（第16行）之后，根據(jù)坐標（第17行）將物理廣告牌的擬議擾動投影到圖像中。我們計算擾動圖像的總轉向角差（第18行）。如果提議的擾動可以改善目標，或滿足模擬退火以避免SA指示的局部最優(yōu)（第19行）[37]，我們接受提議的擾動（第20行），并用這些擾動更新所有圖像（第21行）。然后記錄當前迭代的總轉向角發(fā)散，并將其用作下一迭代的起點。當所有增強操作完成時，我們返回物理擾動作為結果輸出。我們注意到，雖然我們的主要目標是產(chǎn)生物理擾動，但輸出也可以直接拼接到數(shù)字圖像。

4評估

在本節(jié)中，我們評估了DeepBillboard對各種轉向模型和道路場景的數(shù)字和物理效果。

4.1實驗設置

數(shù)據(jù)集和轉向模型。我們使用四個預先訓練的大眾CNN作為目標轉向模型，這些模型已廣泛用于自動駕駛測試[18,29,33,39]。具體來說，我們測試了基于英偉達DAVE自動駕駛汽車架構的三個模型，分別為Dave_V1[24]、Dave_V2[12]、Dave_V3[31]，以及來自Udacity挑戰(zhàn)賽[34]的Epoch模型[35]。（轉向模型來源）

具體來說，Dave_V1是NVIDIA的Dave系統(tǒng)[4]中呈現(xiàn)的原始CNN架構。Dave_V2[12]是Dave_V1的變體，它將隨機初始化的網(wǎng)絡權重標準化，并移除第一批標準化層。Dave_V3[31]是另一個公開可用的轉向模型，它通過刪除兩個卷積層和一個完全連接層，并在三個完全連接的層之間插入兩個丟失層，來修改原始Dave模型。由于預先訓練的Epoch權重不公開，我們按照相應作者使用Udacity自動駕駛挑戰(zhàn)數(shù)據(jù)集提供的說明進行訓練[34]。

（數(shù)據(jù)集）

我們實驗中使用的數(shù)據(jù)集包括：

（1）Udacity自動駕駛汽車挑戰(zhàn)數(shù)據(jù)集[34]，其中包含101396張由安裝在儀表板上的駕駛汽車攝像頭拍攝的訓練圖像，以及駕駛員對每張圖像同時應用的方向盤角度；

（2） Dave測試數(shù)據(jù)集[7]，其中包含GitHub用戶記錄的45568張圖像，用于測試NVIDIA Davemodel；

（3）Kitti[11]數(shù)據(jù)集，包含配備四臺攝像機的大眾帕薩特旅行車拍攝的六個不同場景的14999張圖像。

用于我們實際案例研究的數(shù)據(jù)集包括安裝在駕駛汽車擋風玻璃后面的行車記錄儀記錄的視頻，用于駕駛校園內(nèi)預先放置的路邊廣告牌。我們使用上述預先訓練的轉向模型來預測每一幀，并使用最終的轉向角決定作為基本事實。（具體的現(xiàn)實實驗操作）

4.2

實驗設計。根據(jù)在第3.2節(jié)中的討論，我們通過測量場景中所有幀的平均角度誤差（數(shù)字和物理）來評估算法的效率。對于數(shù)字測試，我們的場景選擇標準是，布告牌應完全出現(xiàn)在第一幀中，像素超過400像素（因為在物理世界中打印和應用時，包含低于400像素的布告牌太小，對對抗目的而言意義不大）。然后，我們從上述數(shù)據(jù)集中隨機選擇七個滿足此標準的場景，并對所有選定場景進行評估。每個數(shù)據(jù)集中選定的場景涵蓋直車道和彎車道場景。由于所有這些數(shù)據(jù)集都不包含廣告牌的坐標，因此我們必須在選定場景的每個幀中標記廣告牌的四個角。在半自動標記過程中，我們使用Adobe After Effects[1]的運動跟蹤器功能自動跟蹤連續(xù)幀中廣告牌四個角的移動。然后，我們對某些坐標不夠精確的幀進行必要的調(diào)整。我們在表1中列出了所有研究場景的統(tǒng)計數(shù)據(jù)，其中第一列列出了場景名稱，第二列顯示了每個場景中的圖像數(shù)量，第三到第五列顯示了圖像的分辨率和每個場景中廣告牌的最小/最大尺寸。在數(shù)字測試中，在不同的環(huán)境條件下沒有顏色調(diào)整。最后一個對抗性示例根據(jù)投影函數(shù)被拼接到每個幀中。然后，我們使用轉向模型預測修補后的圖像，并將其與給定數(shù)據(jù)集中記錄的地面真實轉向決策進行比較。

我們比較的基線是每個給定的訓練模型的推理轉向角。我們的方法是尋求與基線的最大距離，無論基線是地面實況還是推理結果。

由于實驗中使用的驅動數(shù)據(jù)集可能沒有地真轉向角，因此我們選擇以推斷為基線的結果進行展示。由于存在許多身體正確的駕駛行為，我們使用統(tǒng)計方法(例如，平均值，百分比)來測試整個駕駛環(huán)節(jié)的有效性，而不是在每個單獨的幀內(nèi)。

（物理測試主要是為數(shù)字測試采集行駛錄像數(shù)據(jù)包含地面真實轉向角度，但這里的物理測試并不是真實嚴格的路況場景）

在物理測試中，我們使用安裝在車輛上的測速記錄儀以不同的真實駕駛速度記錄多個視頻。我們在路邊放一塊廣告牌，然后沿著路的中央直朝廣告牌開過去。我們在距離廣告牌約100英尺處開始錄音，當車輛經(jīng)過廣告牌時停止錄音。我們在三種不同的天氣條件下進行多種物理測試，包括晴天、陰天和黃昏天氣。物理測試由以下兩個階段組成:

(1)第一階段:我們用一個白色的廣告牌，四個角涂成黑色，然后用一個金色的廣告牌，四個角涂成藍色。對于每一塊廣告牌，我們記錄并以10英里/小時的慢速沿著道路中央行駛，以捕獲足夠的幀(即訓練視頻)。

(2)第二階段:我們將輸入視頻發(fā)送到我們的測試算法，以自動生成對抗性擾動，然后將其粘貼到廣告牌上。然后我們以20英里每小時的正常速度開車經(jīng)過對面的廣告牌，并記錄視頻(即測試視頻)。我們計算視頻每幀的平均角度誤差與地面真相轉向角度的比較。

（嚴格測試應該采用真實路況的行駛場景，但由于條件現(xiàn)實，提出替代方法）

我們注意到，嚴格來說，一個真實世界的測試將涉及實際的自動駕駛車輛駛過廣告牌來觀察對抗性影響。不幸的是，由于缺乏實際的自動駕駛汽車，為了在現(xiàn)實環(huán)境中驗證DeepBillboard，我們采用了類似的方法應用于以下先進的自動駕駛研究[29,33,39]，該研究也沒有將實際的自動駕駛汽車納入評估。具體來說，我們將不同駕駛模式的視頻作為輸入，可以盡可能詳盡地覆蓋所有潛在的觀看角度，在不同的車輛到廣告牌的距離。在物理世界評估中，我們試圖預先記錄盡可能多的異常駕駛視頻，以覆蓋實際自動駕駛汽車中大多數(shù)可能被誤導的駕駛場景。這樣的視頻已經(jīng)應用在對抗性建設/訓練階段。我們在以下匿名鏈接中展示了這段異常駕駛視頻:https://github.com/deepbillboard/DeepBillboard。這段視頻顯示，DeepBillboard能夠在每一幀內(nèi)連續(xù)偏離一輛車。這將模擬許多實際的自動駕駛場景中的一個，即車輛在每一幀中都被deepbillboard連續(xù)誤導(即，每一幀中的誤導角度與本視頻中顯示的角度相似)。

4.2數(shù)字擾動結果

數(shù)字擾動的結果如表2所示，其中每列代表一個特定的場景，每行代表一個具體的轉向模型。單元格中的每個圖像都顯示一個具有中間轉向角度發(fā)散的代表性幀。例如，單元格中的圖像（Dave_V1，Udacity_Scene1）表示Udacity數(shù)據(jù)集Scene1中的圖像，當Dave_V2轉向模型預測時，Scene1在同一場景中的所有幀中具有平均角度誤差。兩個箭頭顯示每個圖像中的轉向角決策分歧，其中藍色的是基本事實，紅色是生成的對抗示例的轉向角。我們注意到，在所有場景中，DeepBillboard都會使所有轉向模型產(chǎn)生可觀察到的平均轉向角偏差。