arXiv論文“ANTI-CARLA: An Adversarial Testing framework for Auto-nomous Vehicles in CARLA“，2022年7月，Vanderbilt University和Tech Uni of Munich的工作。

盡管自動(dòng)駕駛系統(tǒng)最近取得了進(jìn)步，但這些系統(tǒng)仍然容易受到corner case的影響。在系統(tǒng)部署之前，必須對(duì)其進(jìn)行徹底測(cè)試和驗(yàn)證，以避免此類事件發(fā)生。在開放世界場(chǎng)景中進(jìn)行測(cè)試可能很困難，耗時(shí)且昂貴。

這些挑戰(zhàn)，可以通過CARLA等駕駛模擬器來解決。這種測(cè)試的一個(gè)關(guān)鍵部分是對(duì)抗性測(cè)試，其目標(biāo)是找到導(dǎo)致給定系統(tǒng)故障的場(chǎng)景。CARLA雖然已經(jīng)在測(cè)試方面做出了一些努力，但尚未提供一個(gè)完善的測(cè)試框架，以支持對(duì)抗性測(cè)試。因此，提出ANTI-CARLA，CARLA中的一個(gè)自動(dòng)測(cè)試框架，用于模擬不利天氣條件（如暴雨）和導(dǎo)致系統(tǒng)故障的傳感器故障（如攝像頭遮擋）。

應(yīng)測(cè)試給定系統(tǒng)的操作條件，用場(chǎng)景描述語言（scenario description language，SDL）指定。該框架提供了一種高效的搜索機(jī)制，用于搜索讓測(cè)試系統(tǒng)失敗的對(duì)抗操作條件。通過這種方式，ANTI-CARLA擴(kuò)展了CARLA模擬器，能夠在任何給定的駕駛流水線上執(zhí)行對(duì)抗性測(cè)試。用ANTI-CARLA測(cè)試通過欺騙式學(xué)習(xí)（LBC， Learning By Cheating）訓(xùn)練的駕駛流水線。仿真結(jié)果表明，盡管LBC在CARLA基準(zhǔn)中達(dá)到100%的精度，但ANTI-CARLA可以有效地自動(dòng)找到一系列故障案例。

代碼將在：https://github.com/scope-lab-vu/ANTI-CARLA.

如圖所示：ANTI-CARLA提出的對(duì)抗性測(cè)試框架集成到CARLA模擬器中。給定任意駕駛流水線，用戶指定所需的測(cè)試條件，框架自動(dòng)生成對(duì)抗性測(cè)試用例。

如圖是ANTI-CARLA框架和組件：

• 場(chǎng)景生成器

框架的第一個(gè)組件是場(chǎng)景生成器。它包括用于建模場(chǎng)景的場(chǎng)景描述語言，以及用于指定和選擇測(cè)試參數(shù)的規(guī)范文件。根據(jù)場(chǎng)景定義一個(gè)測(cè)試用例，該場(chǎng)景是環(huán)境中系統(tǒng)路徑的時(shí)間序列軌跡，持續(xù)30秒-60秒。

一個(gè)場(chǎng)景使用環(huán)境條件（E）和AV系統(tǒng)參數(shù)（A）表示。E可以用結(jié)構(gòu)特征（例如道路類型和道路曲率）和時(shí)域特征（例如天氣和交通密度）來定義。A包括啟動(dòng)位置、車載傳感器和執(zhí)行器等信息。E和A一起構(gòu)成測(cè)試參數(shù)集。其中一些參數(shù)的值可以從指定的分布中采樣。

此外，采樣過程由一組物理約束控制，這些約束限制了這些參數(shù)的演化速率。例如，一天中的時(shí)間有一個(gè)固定的變化率。在采樣過程中包括這些約束，會(huì)產(chǎn)生更有意義的場(chǎng)景。

場(chǎng)景描述語言：用textX元語言設(shè)計(jì)了一個(gè)SDL，用于場(chǎng)景建模。語法包含元語言描述場(chǎng)景的規(guī)則。元模型包含場(chǎng)景的實(shí)際描述。元模型結(jié)構(gòu)的可視化如圖所示。

一個(gè)場(chǎng)景s是表示不同環(huán)境條件和智體參數(shù)的實(shí)體{e1，e2，…，ek}集合。例如，高交通量駕駛（High Traffic Driving）場(chǎng)景由Track以及Weather和Traffic條件指定。實(shí)體由一組屬性{p1，p2，…，pm}進(jìn)一步指定。例如，Weather可以具有Rain和Fog的特性。每個(gè)屬性都有一個(gè)名稱n和一個(gè)數(shù)據(jù)類型t。例如，Rain是均勻分布，而Waypoints是整數(shù)數(shù)組。特殊數(shù)據(jù)類型（如分布）也可以具有屬性，例如均勻分布的范圍。元模型允許對(duì)Carla模擬器中的任何所需場(chǎng)景進(jìn)行結(jié)構(gòu)化描述。

規(guī)范文件：提供了一組規(guī)范文件，其中包含用戶可以選擇的場(chǎng)景參數(shù)。這些文件用作SDL建模概念的抽象表示。基于用戶采樣器的選擇，從各自的分布中對(duì)所選參數(shù)進(jìn)行采樣。其余參數(shù)為默認(rèn)值。

將信息分為三個(gè)規(guī)范文件。首先，用戶選擇場(chǎng)景說明符。如圖顯示了場(chǎng)景說明符文件的摘要。它指定了做為地圖的城鎮(zhèn)、要行駛的軌道、天氣交通密度、行人密度和采樣約束的分布。用戶還指定使用哪種違規(guī)度量以及記錄數(shù)據(jù)的頻率。其次，需要一個(gè)智體說明符，包括與智體相關(guān)的信息，如可用的控制器、傳感器列表及其位置，以及可記錄的傳感器數(shù)據(jù)。第三，采樣器說明符從可用采樣器列表中確定要使用哪個(gè)采樣器。

最后，該語言有一個(gè)解釋器。它連接規(guī)范文件、SDL和概率采樣器。首先，解釋器從規(guī)范文件中提取需要采樣的參數(shù)和固定參數(shù)。然后將需要采樣的參數(shù)發(fā)送給采樣器。采樣器根據(jù)這些參數(shù)的分布范圍生成這些參數(shù)值。最后，將采樣參數(shù)和固定參數(shù)解析為SDL元模型，生成駕駛模擬器的人工文件。

• 適配器合并代碼

該框架還需要一個(gè)正在測(cè)試的駕駛流水線。集成不同的流水線并非易事，因?yàn)榭赡軟]有框架中使用的正確接口。例如，由于嚴(yán)格的接口要求，在CARLA之外開發(fā)的駕駛流水線可能不會(huì)直接用于模擬器。它們可能需要“調(diào)整”以滿足模擬器的接口期望。為了解決這個(gè)問題，生成了一個(gè)適配器，以模擬器API所需的格式將駕駛流水線代碼與傳感器和執(zhí)行器連接起來，如圖所示。適配器是從智體規(guī)范文件合成的，該文件包含駕駛流水線所需的傳感器列表、位置和采樣率。

適配器從模擬器API中的自主智體類讀取可用傳感器，并用規(guī)范文件中要求的傳感器對(duì)其進(jìn)行擴(kuò)展。因此，生成所請(qǐng)求的傳感器代碼結(jié)構(gòu)，并將其提供給駕駛流水線代碼。此外，模擬器所需的致動(dòng)器從API中讀取，并在代碼中實(shí)現(xiàn)。通過適配器提供所需的傳感器和執(zhí)行器，用戶需要提供駕駛流水線代碼。

控制器的任何實(shí)用程序文件和模型權(quán)重都有特定的目錄，它們與代碼框架鏈接。用戶只需處理此界面即可正確設(shè)置其控制器。如果致動(dòng)器和傳感器未正確設(shè)置，模擬器將拋出錯(cuò)誤。未來將包括一個(gè)自動(dòng)檢查，以確保代碼、傳感器和執(zhí)行器之間的結(jié)構(gòu)設(shè)置正確。

• 評(píng)分函數(shù)

為了評(píng)估AV系統(tǒng)在生成場(chǎng)景中的駕駛熟練度，該框架還提供了一個(gè)稱為測(cè)試分?jǐn)?shù)（TS）的評(píng)分函數(shù)。評(píng)分基于系統(tǒng)在給定場(chǎng)景中執(zhí)行的所有違規(guī)行為進(jìn)行。在CARLA測(cè)量的違規(guī)行為包括路線偏離、車道違規(guī)、交通規(guī)則違規(guī)、跑過停車標(biāo)志、闖紅燈和越野駕駛。為每個(gè)違規(guī)Ik分配權(quán)重wk。在當(dāng)前設(shè)置中，這些權(quán)重設(shè)置為CARLA挑戰(zhàn)中用的值。然而，可以根據(jù)當(dāng)前用例而變化。

由違規(guī)行為生成的測(cè)試分?jǐn)?shù)TS與測(cè)試用例參數(shù)一起存儲(chǔ)在測(cè)試用例表中。這些測(cè)試用例和分?jǐn)?shù)，用于在線驅(qū)動(dòng)活躍采樣器向搜索空間中導(dǎo)致高測(cè)試分?jǐn)?shù)的區(qū)域移動(dòng)。該測(cè)試用例表還可用于離線后分析（post-analysis ），識(shí)別給定控制器的故障條件，從而重新訓(xùn)練和改進(jìn)控制器。

• 采樣器

集成幾個(gè)采樣器執(zhí)行基于搜索的測(cè)試用例生成。采樣器通過解釋器連接到SDL，解釋器向其提供場(chǎng)景參數(shù)和分布，從中可以對(duì)參數(shù)的不同值進(jìn)行采樣。

在框架中包括了兩種可用的采樣器。首先，實(shí)現(xiàn)幾種被動(dòng)采樣器，因?yàn)樗鼈兯俣瓤烨覒?yīng)用廣泛。在抽樣過程中不使用以前結(jié)果的反饋。隨機(jī)搜索（Random Search），從其各自的隨機(jī)分布均勻地采樣參數(shù)值。網(wǎng)格搜索（Grid Search），徹底搜索給定網(wǎng)格中的所有參數(shù)組合。

Halton 序列搜索（Sequence Search）是一種偽隨機(jī)技術(shù)，使用共-素?cái)?shù)作為基對(duì)參數(shù)進(jìn)行采樣。雖然這些采樣器表現(xiàn)良好，但其非反饋采樣方法導(dǎo)致無方向搜索，可能會(huì)錯(cuò)過幾個(gè)重要的故障測(cè)試用例。此外，其并不平衡搜索空間的探索與開發(fā)，這是生成多樣故障案例所必需的。

為了克服這些限制，還包括了兩個(gè)對(duì)抗性采樣器， 隨機(jī)鄰域搜索（Random Neighborhood Search，RNS）和引導(dǎo)貝葉斯優(yōu)化（Guided Bayesian Optimization，GBO）。在對(duì)當(dāng)前測(cè)試用例的參數(shù)進(jìn)行采樣時(shí)，這些采樣器使用系統(tǒng)先前性能的反饋。此外，它們還捕獲不同測(cè)試參數(shù)之間的約束和相關(guān)性，生成有意義的測(cè)試用例。反饋和約束的總體思想，是將采樣過程移向搜索空間中很可能使系統(tǒng)失效的區(qū)域。

RNS采樣器使用kd- tree最近鄰域搜索算法擴(kuò)展傳統(tǒng)的隨機(jī)搜索，為隨機(jī)采樣器提供了開發(fā)的能力。如果隨機(jī)抽樣參數(shù)生成的測(cè)試用例導(dǎo)致高測(cè)試分?jǐn)?shù)，則利用這些參數(shù)值周圍的區(qū)域。否則，將再從整個(gè)分布中隨機(jī)采樣參數(shù)。GBO擴(kuò)展了有約束的傳統(tǒng)貝葉斯優(yōu)化采樣器，該約束限制了采集函數(shù)查找下一個(gè)采樣變量的區(qū)域。

評(píng)估結(jié)果如下：

如圖比較隨機(jī)采樣器和RNS采樣器采樣的100個(gè)場(chǎng)景。RNS采樣器生成不同的故障群集。x軸表示一天中的時(shí)間，y軸表示降水量水平，z軸表示云量水平。