隨著人工智能技術(shù)的深入發(fā)展，自動(dòng)駕駛已經(jīng)成為人工智能技術(shù)的典型應(yīng)用，近十年得到了長(zhǎng)足的發(fā)展，作為一類非確定性系統(tǒng)，自動(dòng)駕駛車輛的質(zhì)量和安全性得到越來越多的關(guān)注.對(duì)自動(dòng)駕駛系統(tǒng)，特別是自動(dòng)駕駛智能系統(tǒng)（如感知模塊，決策模塊，綜合功能及整車）的測(cè)試技術(shù)得到了業(yè)界和學(xué)界的深入研究.本文調(diào)研了56篇相關(guān)領(lǐng)域的學(xué)術(shù)論文，分別就感知模塊、決策模塊、綜合功能模塊及整車系統(tǒng)的測(cè)試技術(shù)、用例生成方法和測(cè)試覆蓋度量等維度對(duì)目前已有的研究成果進(jìn)行了梳理，并描述了自動(dòng)駕駛智能系統(tǒng)測(cè)試中的數(shù)據(jù)集及工具集.最后，對(duì)自動(dòng)駕駛智能系統(tǒng)測(cè)試的未來工作進(jìn)行了展望，為該領(lǐng)域的研究人員提供參考.

正文

在過去的幾十年中,隨著計(jì)算機(jī)和通信技術(shù)的高速發(fā)展,交通系統(tǒng)正逐步引入智能要素,自動(dòng)駕駛技術(shù)應(yīng)運(yùn)而生.由于造成交通事故最主要的原因之一是人為因素,引入自動(dòng)駕駛技術(shù)能夠大大降低交通事故發(fā)生的概率.近十年來,隨著感知組件和智能算法的快速發(fā)展,全球有多家企業(yè)和研究機(jī)構(gòu)正積極開發(fā)自動(dòng)駕駛技 術(shù).國(guó)際自動(dòng)化工程師學(xué)會(huì)/美國(guó)汽車工程師學(xué)會(huì)(SAE)于 2014 年提出了自動(dòng)駕駛五級(jí)分級(jí)方案,該方案成為 了當(dāng)前被普遍接受的標(biāo)準(zhǔn).自動(dòng)駕駛分級(jí)方案從 L0 遞增到 L5(L0 為傳統(tǒng)駕駛,不算在五級(jí)分級(jí)方案中)分別 代表了自動(dòng)駕駛汽車的智能程度由淺至深.L1 級(jí)別為輔助駕駛,在特定的條件下自動(dòng)駕駛汽車具有一個(gè)或多 個(gè)自動(dòng)控制功能,但不能脫離駕駛員的控制.具有 L1 級(jí)別的自動(dòng)駕駛車輛往往包含高級(jí)駕駛輔助系統(tǒng) (ADAS),并且目前高級(jí)駕駛輔助功能已經(jīng)逐漸成為中高端車型的標(biāo)準(zhǔn)配置.盡管目前已有越來越多的機(jī)構(gòu)在 為 L5 級(jí)別自動(dòng)駕駛功能提供解決方案,但目前的技術(shù)尚難以滿足 L5 級(jí)別自動(dòng)駕駛即完全自動(dòng)駕駛的需求. 自動(dòng)駕駛系統(tǒng)的架構(gòu)一般由三個(gè)部分組成:感知模塊,決策模塊以及控制模塊.感知模塊負(fù)責(zé)自動(dòng)駕駛汽車周 圍環(huán)境認(rèn)知,往往由攝像頭和雷達(dá)等組件組成.決策模塊需要根據(jù)感知模塊感知到的信息,根據(jù)一定的算法得 出自動(dòng)駕駛汽車下一步行為并傳遞給控制模塊.控制模塊負(fù)責(zé)將決策指令傳遞給汽車硬件,例如方向盤,油門 等,完成對(duì)自動(dòng)駕駛車輛的控制.

然而,與任何依賴軟件算法的系統(tǒng)一樣,自動(dòng)駕駛系統(tǒng)容易在一些特殊的場(chǎng)景下做出錯(cuò)誤的判斷并導(dǎo)致 事故的發(fā)生,同時(shí)也容易受到惡意攻擊進(jìn)而導(dǎo)致系統(tǒng)失效.如由 Uber 生產(chǎn)的自動(dòng)駕駛汽車在 2018 年發(fā)生了 事故,導(dǎo)致了一名行人死亡.因此,自動(dòng)駕駛車輛需要經(jīng)過嚴(yán)格且全面的驗(yàn)證才能保證車輛的安全使用.目前 已有多個(gè)工作研究自動(dòng)駕駛系統(tǒng)的測(cè)試和驗(yàn)證技術(shù).眾所周知,直接采用真實(shí)車輛進(jìn)行檢測(cè)的成本是非常昂 貴的,因此自動(dòng)駕駛車輛在進(jìn)行真車測(cè)試之前往往會(huì)在虛擬環(huán)境中進(jìn)行測(cè)試.通過在仿真軟件中提供與真實(shí) 駕駛場(chǎng)景相似的仿真場(chǎng)景,來測(cè)試自動(dòng)駕駛算法的健壯性及正確性.根據(jù)測(cè)試對(duì)象的受控程度,虛擬測(cè)試又分 為 軟 件 在 環(huán) (Software-in-the-Loop, SiL) 、 硬 件 在 環(huán) (Hardware-in-the-Loop, HiL) 、 模 型 在 環(huán) (Model-in-the-Loop,MiL)和車輛在環(huán)(Vehicle-in-the-Loop, ViL).由于自動(dòng)駕駛測(cè)試場(chǎng)景的多樣性和真實(shí)駕駛 事故中場(chǎng)景的突發(fā)性,如何生成有效測(cè)試用例以及如何評(píng)價(jià)測(cè)試場(chǎng)景有效性成為了目前廣泛研究的課 題.Koopman 等人[1]總結(jié)了自動(dòng)駕駛的測(cè)試和驗(yàn)證的挑戰(zhàn).其認(rèn)為自動(dòng)駕駛的測(cè)試與驗(yàn)證面臨著以下五個(gè)挑 戰(zhàn)領(lǐng)域:駕駛員非在環(huán)、復(fù)雜需求、不確定性算法、歸納學(xué)習(xí)算法和故障操作系統(tǒng).

目前 Li 等人,Kang 等人和 Garcia 等人針對(duì)自動(dòng)駕駛系統(tǒng)的測(cè)試進(jìn)行了總結(jié).Li 等人[2]總結(jié)并討論了人工智能和人工智能測(cè)試之間的關(guān)系,并將自動(dòng)駕駛作為具體案例討論了人工智能在其中的測(cè)試挑戰(zhàn),包括測(cè)試 任務(wù)的定義、測(cè)試框架及其形式化定義以及并行測(cè)試.Garcia 等人[3]分析了 Baidu Apollo 和 Autoware 兩個(gè)開 源項(xiàng)目的 16851 次提交中的 499 個(gè)與自動(dòng)駕駛相關(guān)的錯(cuò)誤,并將這些錯(cuò)誤進(jìn)行了分類,從中總結(jié)出了 13 種導(dǎo) 致錯(cuò)誤的根本原因、20 種錯(cuò)誤癥狀和 18 種自動(dòng)駕駛組件.Kang 等人[4]整理了 37 個(gè)開源或者半開源的自動(dòng) 駕駛數(shù)據(jù)集和 22 個(gè)虛擬仿真環(huán)境.整理出的數(shù)據(jù)集全部來自真實(shí)采集的數(shù)據(jù),且至少包含來自攝像頭,激光 雷達(dá)或毫米波雷達(dá)采集的數(shù)據(jù).與上述針對(duì)自動(dòng)駕駛系統(tǒng)測(cè)試的總結(jié)性論文不同,本文充分調(diào)研了近年來與 自動(dòng)駕駛測(cè)試相關(guān)的論文,整理了針對(duì)自動(dòng)駕駛系統(tǒng)與智能相關(guān)的模塊的測(cè)試,總結(jié)了相關(guān)測(cè)試的測(cè)試用例 生成方法以及覆蓋度量指標(biāo),并對(duì)自動(dòng)駕駛測(cè)試的未來發(fā)展做出了展望.本文也是針對(duì)自動(dòng)駕駛智能系統(tǒng)測(cè) 試的首篇綜述,為該領(lǐng)域的相關(guān)研究團(tuán)隊(duì)提供參考.

如前文所述,自動(dòng)駕駛系統(tǒng)往往由感知模塊、決策模塊以及控制模塊組成.其中控制模塊往往與智能無 關(guān),因此本文只針對(duì)感知模塊和決策模塊的測(cè)試技術(shù)進(jìn)行了總結(jié).目前的研究中部分是單獨(dú)針對(duì)感知模塊進(jìn) 行測(cè)試,部分針對(duì)決策模塊進(jìn)行測(cè)試,也有許多研究針對(duì)整車進(jìn)行測(cè)試.與此同時(shí),一些高級(jí)功能模塊同時(shí)包 含了感知模塊和決策模塊甚至控制模塊的相關(guān)組件,例如高級(jí)輔助駕駛系統(tǒng)(ADAS),有許多學(xué)者致力于針對(duì) 這樣的功能模塊進(jìn)行測(cè)試.因此本文針對(duì)自動(dòng)駕駛智能系統(tǒng)測(cè)試的總結(jié)框架如圖 1 所示.

為完成本文的研究問題,我們首先使用“Autonomous Vehicle Testing”, “Automative Systems Testing”, “Self-driving Testing”, “Automated Vehicle Testing”等關(guān)鍵詞在國(guó)內(nèi)外知名的學(xué)術(shù)搜索引擎(例如 CNKI、必應(yīng) 學(xué)術(shù)、谷歌學(xué)術(shù)、DBLP 等)上進(jìn)行搜索,并篩選出與本綜述相關(guān)的文章.隨后,通過檢索篩選出來的文章的參 考文獻(xiàn)和相關(guān)作者的發(fā)表論文列表,進(jìn)一步補(bǔ)充相關(guān)文獻(xiàn).最終,我們確定了與本文相關(guān)的論文 56 篇,其中 19 篇發(fā)表在 CCF-B 類及以上或 SCI-2 區(qū)及以上,9 篇論文托管在 arxiv 上,其余論文多發(fā)表在 IEEE 等知名學(xué)術(shù) 機(jī)構(gòu)下,論文大多發(fā)表在 2016 年及以后,其中發(fā)表在 2019 年及以后的文章有 20 篇,占全部文章 35.7%.論文在 各個(gè)章節(jié)的分布參見圖 2.具體的年份分布參見圖 3. 本文余下部分的結(jié)構(gòu)如下:第一節(jié)介紹了針對(duì)自動(dòng)駕駛系統(tǒng)中感知模塊測(cè)試的相關(guān)研究,第二節(jié)描述了 針對(duì)自動(dòng)駕駛系統(tǒng)中決策模塊測(cè)試的相關(guān)研究,第三節(jié)總結(jié)了針對(duì)自動(dòng)駕駛系統(tǒng)中綜合功能模塊的測(cè)試,第 四節(jié)梳理了針對(duì)自動(dòng)駕駛整車的測(cè)試,第五節(jié)整理了當(dāng)前研究中用到的數(shù)據(jù)集和模擬器.最后,對(duì)自動(dòng)駕駛智 能系統(tǒng)測(cè)試的未來工作進(jìn)行了總結(jié)和展望.