引 言  

汽車行業(yè)普遍認(rèn)為，自動(dòng)駕駛系統(tǒng)和自動(dòng)駕駛汽車的出現(xiàn)，對(duì)質(zhì)量保證的方式，尤其是測試的執(zhí)行方式提出了巨大挑戰(zhàn)。針對(duì)這個(gè)話題，編者挑選出最近讀到的一篇文章與你分享，并加入了編者的評(píng)述。你遇到過、思考過其中哪些挑戰(zhàn)？認(rèn)同哪些挑戰(zhàn)？還有沒有別的挑戰(zhàn)，需要我們共同關(guān)注的么？

不同于大多學(xué)術(shù)論文的形式，本文采用與來自行業(yè)和學(xué)術(shù)專家進(jìn)行訪談的方式，系統(tǒng)地討論了在測試方法和工具方面的挑戰(zhàn)，并指出了有待發(fā)展的方向。文章將自動(dòng)駕駛汽車測試分為4個(gè)領(lǐng)域，共討論了31個(gè)挑戰(zhàn)；這4個(gè)領(lǐng)域分別是：基于場景的測試、基于仿真的測試、測試自動(dòng)化以及測試執(zhí)行。

題 目 : Thirty-One Challenges in Testing Automated Vehicles: Interviews with Experts from Industry and Research

作 者 : Felix Beringhoff, Joel Greenyer, Christian Roesener and Matthias Tichy

機(jī) 構(gòu) : Volkswagen AG, FHDW Hannover, Ulm University

編 者 : 陳君毅 邢星宇 劉鎮(zhèn)源

自動(dòng)駕駛汽車在其生命周期中面臨的可能的交通情況數(shù)量龐大，然而又要全面、透明地確保其質(zhì)量和安全性，同時(shí)盡量減少設(shè)計(jì)和執(zhí)行測試的工作量，這對(duì)自動(dòng)駕駛系統(tǒng)「ADS」的測試方法和工具提出了巨大挑戰(zhàn)。測試自動(dòng)駕駛系統(tǒng)這一復(fù)雜系統(tǒng)，將極大地考驗(yàn)汽車行業(yè)的開發(fā)和測試各個(gè)環(huán)節(jié)。

本文的主要研究對(duì)象及目標(biāo)是：針對(duì)于搭載SAE 4級(jí)的自動(dòng)駕駛汽車，在其ADS的測試實(shí)施和執(zhí)行方面主要存在哪些挑戰(zhàn)？

后續(xù)內(nèi)容將分為以下四個(gè)部分：

PART 1 訪談研究方法介紹

PART 2 研究結(jié)果：31個(gè)挑戰(zhàn)

PART 3 與其他相關(guān)研究結(jié)果的比較

PART 4 編者展望

本文首發(fā)于2022年9月

—  1  —

訪談研究方法介紹

訪談方式

通過網(wǎng)絡(luò)會(huì)議工具進(jìn)行半結(jié)構(gòu)化的訪談，每次持續(xù)時(shí)間為35-65分鐘，訪談內(nèi)容由本文的第一作者轉(zhuǎn)錄和分析。

訪談專家基本情況

共采訪了13位專家，其中10位來自行業(yè)，3位來自研究機(jī)構(gòu)。對(duì)專家的選擇，主要是依據(jù)他們?cè)谠擃I(lǐng)域的經(jīng)驗(yàn)和先前的出版物。這些專家在駕駛功能測試方面的經(jīng)驗(yàn)中位數(shù)為5年，在自動(dòng)駕駛領(lǐng)域的經(jīng)驗(yàn)中位數(shù)為7年。他們的職位主要為測試經(jīng)理、測試設(shè)計(jì)人員、測試實(shí)施人員、測試工具開發(fā)人員、研究人員或方法專家等，其中一些專家擔(dān)任過上述中的多個(gè)職位。原訪談是由德語進(jìn)行的，由原作者譯為英文進(jìn)行發(fā)表。

訪談研究的有效性

依據(jù)Runeson和H?st[7]分類方法，作者闡述了采用訪談方式對(duì)研究有效性的考慮與設(shè)計(jì)，包括以下四方面：

結(jié)構(gòu)有效性「Construct Validity」：在每次訪談開始時(shí)，主持人都會(huì)對(duì)訪談主題進(jìn)行介紹，并對(duì)訪談術(shù)語進(jìn)行定義。例如，闡明了所有問題都涉及SAE 4級(jí)自動(dòng)駕駛系統(tǒng)，包括硬件和軟件在內(nèi)的所有模塊。此外，當(dāng)受訪者要求解釋問題或可能對(duì)問題有誤解時(shí)，主持人會(huì)對(duì)問題進(jìn)行闡釋。

內(nèi)部有效性「Internal Validity」：運(yùn)用訪談指南，主持人盡可能保證每個(gè)訪談的結(jié)構(gòu)相似。但訪談是以半結(jié)構(gòu)化的方式進(jìn)行，所以允許改變問題的順序或提出額外的問題，以保證對(duì)話的順利進(jìn)行。由于問題順序的改變，不能排除專家的回答受到這一改變的影響。如果時(shí)間允許，受訪者可以在訪談結(jié)束時(shí)談?wù)撈渌P(guān)心的話題。由此，弱化了訪談指南對(duì)話題的限制，以減少在設(shè)計(jì)訪談指南時(shí)可能錯(cuò)過某些話題的影響。

外部有效性「External Validity」：為了獲得對(duì)測試自動(dòng)駕駛汽車挑戰(zhàn)的不同看法，作者團(tuán)隊(duì)選擇了來自不同公司和機(jī)構(gòu)的從業(yè)者，且最多兩人是來自同一部門。共13位專家參與了此次研究，但由于數(shù)量的原因，并不能保證對(duì)自動(dòng)駕駛汽車測試所面臨的挑戰(zhàn)進(jìn)行了全方位的總結(jié)。

可靠性「Reliability」：訪談的執(zhí)行、轉(zhuǎn)錄和分析均由本文的第一作者完成。通過由一個(gè)人完成所有步驟，有助于在處理信息過程中保持一致性。但對(duì)訪談?wù)Z句的標(biāo)注和分類，存在一定程度的主觀性，不免依賴于該作者的主觀判斷，這對(duì)研究的可靠性構(gòu)成了挑戰(zhàn)。

— 2 —

研究結(jié)果：31個(gè)挑戰(zhàn)

以下介紹本文的主要研究結(jié)果，即31個(gè)技術(shù)挑戰(zhàn)。這些挑戰(zhàn)分為基于場景的測試、基于仿真的測試、測試自動(dòng)化，以及測試執(zhí)行共四個(gè)領(lǐng)域（圖1）。

本文中對(duì)每一個(gè)挑戰(zhàn)都進(jìn)行了編碼，例如「CH-A1」：「CH」為挑戰(zhàn)一詞challenge的縮寫，「A」代表該挑戰(zhàn)屬于「基于場景的測試」這一領(lǐng)域，「1」為順序編號(hào)。

本文中每位受訪專家的原話用斜體及下劃線的形式進(jìn)行表示，并且對(duì)每位受訪專家也進(jìn)行了編碼，例如「ID13」：表示第13位受訪專家。

A、基于場景的測試 Scenario-based Testing

在訪談中，提到的大多數(shù)挑戰(zhàn)都與基于場景的測試「SBT」相關(guān)。

CH-A1術(shù)語「terminology」：由于SBT框架目前還沒有在汽車測試過程中確立，所以目前用于描述SBT過程的詞匯被使用時(shí)并不統(tǒng)一。一些受訪的專家提出，SBT的術(shù)語是否符合慣例是需要核查的。一位專家說：場景（scenario）這個(gè)詞很常見，每個(gè)人都用它來指代不同的東西（ID13）。一些從業(yè)者使用場景這個(gè)詞來描述仿真場景、測試用例，另一些人使用它來描述控制指令序列，這成為了準(zhǔn)確交流的阻礙。

CH-A2一致的場景描述「consistent scenario description」：場景描述的標(biāo)準(zhǔn)格式有助于避免誤解，往往人們討論相同的事情，但描述不同；反之亦然（ID09）。一位專家提到的一個(gè)例子是關(guān)于場景開始點(diǎn)和結(jié)束點(diǎn)的統(tǒng)一定義。然而，創(chuàng)建一個(gè)一致的場景描述格式，以應(yīng)對(duì)各種可能的駕駛場景的復(fù)雜性是具有挑戰(zhàn)性的。

CH-A3場景復(fù)雜性「complexity of scenarios」： 談到場景的復(fù)雜性，一位受訪者將自動(dòng)駕駛系統(tǒng)功能的測試場景與駕駛員輔助功能的測試場景進(jìn)行了比較。駕駛員輔助功能只能在動(dòng)態(tài)駕駛?cè)蝿?wù)的一個(gè)子集中輔助人類駕駛員。受訪者認(rèn)為，（自動(dòng)駕駛系統(tǒng)測試）場景的復(fù)雜性通常較高（ID02），以適合測試系統(tǒng)中的每個(gè)層級(jí)，例如，動(dòng)作規(guī)劃。因此，對(duì)場景的描述和執(zhí)行會(huì)有更高的要求；即便對(duì)于專家來說，也是如此。

CH-A4多功能場景描述「multifunctional scenario description」：場景不僅在自動(dòng)駕駛汽車測試中使用，而且在開發(fā)過程的各個(gè)層面都需要場景（ID13）。它們可能用于規(guī)范目的，也可能用于測試目的。它們對(duì)場景描述有不同的需求。據(jù)一位接受采訪的專家說，就目前已知的手動(dòng)流程來創(chuàng)建場景的各個(gè)層級(jí)而言，要沿著開發(fā)和測試過程的所有階段構(gòu)建（場景的）可追溯性幾乎是不可行的。

CH-A5場景和測試用例的耦合「coupling of scenarios and test cases」：為了實(shí)現(xiàn)可追溯性，需要將場景和測試用例的不同要素聯(lián)系起來。為此，正如一位專家所言，需要為每個(gè)要素提供明確的標(biāo)識(shí)符。然而，一位受訪專家表示，挑戰(zhàn)是在于找到測試用例和場景之間的聯(lián)系，也就是說，要找出哪些場景真正代表了這個(gè)測試用例，并且與之相關(guān)（ID11）。另一位專家提到，測試用例和場景之間的關(guān)系是他們目前遇到的一個(gè)問題。對(duì)于傳統(tǒng)的測試用例，例如硬件在環(huán)（HiL），是在信號(hào)層面，而自動(dòng)駕駛背景下的場景是在交通層面。這使得很難確定這兩個(gè)要素如何一起工作以及它們是否必須一起工作。

CH-A6一致的場景編譯「consistent scenario interpretation」： 仿真工具的通用情景描述格式并不能保證仿真工具對(duì)該格式實(shí)現(xiàn)一致的編譯。然而，正如一些受訪的專家所提到的那樣，需要在項(xiàng)目和仿真工具之間實(shí)現(xiàn)場景的可轉(zhuǎn)移性，并保證完全相同的場景的可重復(fù)性。雖然有OpenSCENARIO[8]這樣的標(biāo)準(zhǔn)格式，但是對(duì)場景格式的編譯不同，這就可能會(huì)導(dǎo)致這樣的問題出現(xiàn)（ID08）。

CH-A7場景獲取「scenario elicitation」：在許多訪談中，一個(gè)很重大的話題就是關(guān)于場景獲取的話題。本主題涉及到其中一位專家提出的問題：我要測試哪些場景？這是關(guān)鍵問題。我從哪里得到它們（ID05）? 根據(jù)受訪者的說法，需要確定哪些是相關(guān)的情景，以及如何獲取這些情景。這被認(rèn)為是一個(gè)連續(xù)的過程，因?yàn)殡S著自動(dòng)駕駛車輛的發(fā)布，相關(guān)的場景可能會(huì)改變。這些新的場景可能只有在自動(dòng)駕駛車輛進(jìn)入真實(shí)交通之后才會(huì)被確定，并需要在持續(xù)測試過程中找到它們。一位專家提到，通過大規(guī)模行駛發(fā)現(xiàn)這些新場景在未來有很大的潛力。然而，對(duì)于后臺(tái)的數(shù)據(jù)處理，還需要做很多工作。其中一位受訪者提到，對(duì)于基于場景的流程，包括場景選擇在內(nèi)，應(yīng)該有獨(dú)立的審核流程，這證明我們盡了一切可能來保證車輛的安全。在發(fā)布法規(guī)用例的場景集之前，可能還有很長的路要走。

CH-A8場景空間與邊緣用例「scenario space and use of corner cases」：除了從觀察交通中提取場景外，還存在通過結(jié)合幾個(gè)場景維度來人為創(chuàng)造場景的可能性。由于場景的參數(shù)空間是無止境的，一些受訪者提到，需要有智能掃描場景空間的工具，以確定以盡可能少的場景來覆蓋場景空間。一位受訪專家提到，將場景的各個(gè)方面結(jié)合起來創(chuàng)建邊緣用例是一個(gè)挑戰(zhàn)：在我看來，挑戰(zhàn)是在于如何智能地創(chuàng)建這些組合并自動(dòng)測試它們（ID06）。

CH-A9場景生成「scenario generation」：在創(chuàng)建場景概念模型后，需要將場景轉(zhuǎn)換成場景描述語言，隨后通過仿真工具等執(zhí)行。由于測試需要大量的場景，而一個(gè)場景腳本要包括計(jì)算軌跡和確定所有參與者的行動(dòng)，從而實(shí)現(xiàn)預(yù)期的交通狀況；因此，一位專家認(rèn)為所有必要場景均由手動(dòng)創(chuàng)建是不可能的（ID10）。

CH-A10 試驗(yàn)場上的SBT「SBT on proving grounds」：一位受訪專家提到當(dāng)不僅需要考慮參與者之間的相對(duì)條件，而且還需要考慮絕對(duì)條件，比如變道需要發(fā)生在場地中的某個(gè)位置，這就尤其具有挑戰(zhàn)性。該挑戰(zhàn)也引發(fā)了后續(xù)的其他幾項(xiàng)挑戰(zhàn)（CH-D2測試條件的實(shí)現(xiàn)和CH-D3精確控制交通參與者）。此外，在現(xiàn)實(shí)世界中執(zhí)行測試期間的安全問題也需要額外關(guān)注。

CH-A11場景串聯(lián)「scenario concatenation」：正如一位專家所說，在試驗(yàn)場進(jìn)行測試時(shí)，將多個(gè)場景串聯(lián)成一個(gè)連續(xù)的鏈條，對(duì)于提高測試時(shí)間效率非常有益。然而，開發(fā)這樣一種工具來確定每個(gè)參與者的串聯(lián)軌跡是具有挑戰(zhàn)性的。

CH-A12測試完成的標(biāo)準(zhǔn)「test end criteria」：在結(jié)束測試的問題上，一位專家對(duì)此表述如下：在某種程度上，我們必須說：我們測試得夠多了。我們需要正式確定，什么時(shí)候已經(jīng)測試充分了（ID05）。找到可靠的測試完成的標(biāo)準(zhǔn)被認(rèn)為是一個(gè)尚未解決的重要挑戰(zhàn)，并且一位受訪專家將其視為目前的研究課題。

CH-A13與里程指標(biāo)的比較「comparison to distance metrics」：由于SBT方法不是汽車行業(yè)測試的經(jīng)典方法，因此可能需要與目前使用的安全聲明進(jìn)行比較。目前，車輛通常是通過在道路上行駛達(dá)到一定的里程數(shù)進(jìn)行測試的。此外，統(tǒng)計(jì)平均的事故間隔里程數(shù)可以描述事故發(fā)生的可能性。其中一位受訪專家認(rèn)為，一項(xiàng)挑戰(zhàn)在于，要找到測試場景和里程數(shù)之間的轉(zhuǎn)換，以便與事故統(tǒng)計(jì)進(jìn)行比較：我認(rèn)為最大的挑戰(zhàn)是找到場景和里程之間的轉(zhuǎn)換方法（ID07）。

編者評(píng)述

在「A、基于場景1的測試」中，最基本的挑戰(zhàn)是CH-A1術(shù)語一致性和CH-A2場景描述一致性；離開了這兩個(gè)，其他挑戰(zhàn)都無從談起了；
最困難的挑戰(zhàn)是基于場景的測試終止條件，包括CH-A12測試完成的標(biāo)準(zhǔn)和CH-A13與里程指標(biāo)的比較；
最重要的挑戰(zhàn)是對(duì)CH-A3場景復(fù)雜性的充分理解（即從對(duì)動(dòng)態(tài)駕駛?cè)蝿?wù)中的一個(gè)子集進(jìn)行測試的場景，到對(duì)ODD內(nèi)的完整行駛?cè)蝿?wù)進(jìn)行測試的場景），也是引發(fā)后續(xù)很多挑戰(zhàn)的根本源頭；
最現(xiàn)實(shí)的挑戰(zhàn)是，提高場景的銜接性與生成及使用的效率；前者包括CH-A4多功能場景描述，以服務(wù)于整個(gè)V型開發(fā)流程的整體使用的銜接性和一致性；后者包括CH-A7場景獲取、CH-A8邊緣用例、CH-A9場景生成、CH-A11場景串聯(lián)等，提高效率。

B、基于仿真的測試 Simulation-based Testing

基于仿真的測試及其技術(shù)也是訪談中的一個(gè)重要話題。一些專家提到，僅靠真實(shí)世界的測試無法滿足日益增長的測試需求，必須將測試更多地轉(zhuǎn)移到虛擬環(huán)境中。然而，這也帶來了一些挑戰(zhàn)：

CH-B1純粹基于仿真的確認(rèn)還不可能「purely simulation-based sign-off not yet possible」： 一個(gè)關(guān)鍵的問題是，環(huán)境模擬與現(xiàn)實(shí)相差甚遠(yuǎn)。一些專家提到，目前還不可能完全放棄真實(shí)世界的測試。其中一位受訪專家認(rèn)為最近該問題沒有什么突破（ID09），所謂突破是指可以在仿真環(huán)境中進(jìn)行整體的測試，特別是最后的確認(rèn)與批準(zhǔn)。CH-B1體現(xiàn)了目前真實(shí)世界和仿真環(huán)境之間仍存在差距。

CH-B2仿真結(jié)果可信度的確定「determination of trustworthiness of simulation results」：為了能夠?qū)y試更大程度地轉(zhuǎn)移到虛擬環(huán)境中，仍然需要回答的一個(gè)問題是：我們什么時(shí)候可以信任一個(gè)仿真測試結(jié)果（ID07）？一些受訪者提到，除了仿真的缺陷之外，還必須能夠確定一個(gè)概率聲明，即仿真能多好地代表被測車輛在真實(shí)世界的性能。據(jù)一位專家說，這對(duì)于確定仿真測試足夠可以取代真實(shí)世界測試的時(shí)間點(diǎn)是必要的。CH-B2體現(xiàn)了確定仿真環(huán)境在代表真實(shí)環(huán)境方面程度的難題。

CH-B3仿真工具認(rèn)證「certification of simulation tools」：上述兩項(xiàng)挑戰(zhàn)涉及的是仿真與現(xiàn)實(shí)比較的技術(shù)難點(diǎn)，而對(duì)于ADS開發(fā)者來說，困難可能更多的是找到工具供應(yīng)商，證明他們的仿真工具能提供完全可信的結(jié)果。一位專家稱，他不知道有誰能證明或敢于保證他們的仿真軟件好到甚至不需要進(jìn)行真實(shí)的車輛測試（ID07）。另一位專家認(rèn)為，為了確保基于仿真的測試正確進(jìn)行，有必要使用經(jīng)過認(rèn)證的仿真工具。CH-B1和CH-B2就是CH-B3所描述的沒有認(rèn)證工具的結(jié)果。

CH-B4判斷測試用例是否適合仿真測試「identification of simulation-suitable tests」：由于上述的挑戰(zhàn)，并非所有的測試都能在虛擬環(huán)境中進(jìn)行。需要分析哪些測試可以在仿真環(huán)境中進(jìn)行，哪些測試需要在真實(shí)世界中進(jìn)行。你需要確定，哪些可以用仿真環(huán)境進(jìn)行測試（ID03）。一位受訪專家說，關(guān)鍵點(diǎn)是對(duì)于某些測試來說，要確定其在仿真中所需的細(xì)節(jié)。

CH-B5未知影響「unknown effects」：然而，現(xiàn)實(shí)世界中可能仍有一些影響，是在仿真中沒有考慮到的。因此，一位專家提到，人們需要提出這樣一個(gè)問題：是否有我還沒有考慮到的影響（ID06）。這同樣適用于仿真的保真度和場景的還原度。

CH-B6仿真方法的選擇「choice of simulation method」：一位受訪專家表示，在回答一項(xiàng)測試是否適合在仿真環(huán)境中進(jìn)行的問題的同時(shí)，還需要決定我想如何進(jìn)行模擬（ID08）？進(jìn)行仿真有不同的方式：開環(huán)測試（如回放模擬），閉環(huán)測試，或兩者的混合。

CH-B7缺乏仿真模型「lack of simulation models」：為了在仿真中進(jìn)行閉環(huán)測試，需要新的仿真模型，目前仍沒有現(xiàn)成的產(chǎn)品。據(jù)一位受訪者表示，這些模型將是一個(gè)巨大的挑戰(zhàn)（ID06）。

CH-B8仿真模型驗(yàn)證「validation of simulation models」：這些模型和整個(gè)仿真環(huán)境也需要驗(yàn)證。然而，仿真模型的驗(yàn)證是一項(xiàng)具有挑戰(zhàn)性的任務(wù)。正如一位受訪專家所說：實(shí)際上，我們需要經(jīng)過完全驗(yàn)證的仿真環(huán)境。而這是非常難以實(shí)現(xiàn)的（ID07）。

訪談中強(qiáng)調(diào)了兩種類型的模型：駕駛員模型和傳感器仿真模型。

CH-B9駕駛員模型「driver models」：考慮周圍交通的駕駛員模型是非常復(fù)雜的（ID05），并且缺乏描述標(biāo)準(zhǔn)。

CH-B10傳感器仿真「sensor simulation」：用于傳感器仿真的模型需要高質(zhì)量的環(huán)境模型，包括雷達(dá)的表面反射率和相機(jī)傳感器的高質(zhì)量可視化。正如一位受訪的專家所說：就傳感器物理模型的質(zhì)量而言，仍有很大的改進(jìn)空間（ID05）。另一位專家將傳感器仿真視為當(dāng)前的重點(diǎn)研究課題。

CH-B11天氣影響「weather effects」：與CH-B10相關(guān)的是天氣影響的話題，如暴風(fēng)雨、雨、雪、冰或霧等對(duì)感知模塊產(chǎn)生影響。一位專家甚至提到這是HiL測試的最大挑戰(zhàn)（ID03），因?yàn)樘鞖鈺?huì)影響多個(gè)傳感器，如相機(jī)、雷達(dá)、激光雷達(dá)和超聲波傳感器等，所以需要在仿真系統(tǒng)中分別模擬對(duì)這些傳感器的影響。

CH-B12測試對(duì)象在仿真環(huán)境中的集成「integration of the test object in the simulation environment」：另一個(gè)話題是被測車輛在仿真環(huán)境中的集成。據(jù)一位受訪專家稱，由于被測車輛和仿真的通信有延遲，因此這需要付出巨大的努力（ID03）。

編者評(píng)述

「B、基于仿真的測試」中的各個(gè)挑戰(zhàn)之間相互關(guān)聯(lián)非常緊密。

在底層，仿真系統(tǒng)中的環(huán)境建模（CH-B7）、傳感器建模（CH-B10），尤其是天氣影響下的建模與仿真（CH-B11）本身就是公認(rèn)具有挑戰(zhàn)性的技術(shù)難題，也是帶來仿真環(huán)境可靠性挑戰(zhàn)的核心原因；

在中層，模型的可驗(yàn)證性（CH-B8），仿真工具的可驗(yàn)證性（CH-B3），仿真結(jié)果的可信度（CH-B2），決定了采用仿真測試方法的可行性（CH-B4）和選擇性（CH-B6）；

在上層，也決定了完全基于仿真測試結(jié)果對(duì)ADS的確認(rèn)還不可能（CH-B1）。

CH-B5未知的影響，與CH-A7場景獲取有一定的關(guān)聯(lián)，從大規(guī)模行駛數(shù)據(jù)中，獲取和發(fā)現(xiàn)場景，有助于將更多的、對(duì)ADS性能表現(xiàn)有影響的場景因素納入仿真測試，使得「場景還原度 」提升，進(jìn)而對(duì)仿真工具提出新的要求，實(shí)現(xiàn)「仿真的保真度」的提升。

CH-B9駕駛員模型則是和上述內(nèi)容相對(duì)獨(dú)立的一個(gè)方面。傳統(tǒng)的駕駛員模型基本是屬于「應(yīng)激性」的。其中一類是以駕駛員制動(dòng)模型為代表，在以微觀時(shí)刻為考量的行為動(dòng)作上，能較好地代表駕駛員的「應(yīng)變能力」。另一類是以跟馳模型為代表的，在以宏觀交通流為考量的指標(biāo)上，能較好地代表交通流動(dòng)的「特征」。然而，面向ADS仿真測試所需考慮的周圍交通的駕駛員模型是非常復(fù)雜的（ID05），有待進(jìn)一步研究。

C、測試自動(dòng)化 Test Automation

測試自動(dòng)化通常用于重復(fù)性測試的執(zhí)行，但不限于測試過程的這一步。測試自動(dòng)化能夠?qū)崿F(xiàn)可重復(fù)的測試，同時(shí)降低測試成本和時(shí)間[9]。

CH-C1缺乏測試自動(dòng)化「lack of test automation」：由于自動(dòng)駕駛汽車的測試工作量預(yù)計(jì)會(huì)增加，因此測試自動(dòng)化被認(rèn)為是必須的。然而，目前測試過程中自動(dòng)化的使用被認(rèn)為不足以應(yīng)對(duì)L4或L5的ADS測試需求。根據(jù)一位專家的說法，測試自動(dòng)化需要進(jìn)一步適應(yīng)V型模式的所有層次，從軟件單元測試到車輛測試，并且涉及測試用例的生成和測試執(zhí)行。從受訪者的經(jīng)驗(yàn)來看，目前測試是手動(dòng)完成的，或者在很小的程度上是自動(dòng)化的。但是，就復(fù)雜性而言，這還沒有達(dá)到L4或L5的ADS所需要的程度（ID03）。

CH-C2測試自動(dòng)化、對(duì)象和基礎(chǔ)設(shè)施之間的交互「interaction between test automation, object and infrastructure」：擴(kuò)大測試自動(dòng)化的范圍，并從手動(dòng)測試轉(zhuǎn)向測試自動(dòng)化是具有挑戰(zhàn)性的。測試自動(dòng)化工具需要集成在測試環(huán)境中，并且需要?jiǎng)?chuàng)建與測試對(duì)象和其他仿真工具（如環(huán)境仿真）的接口。集成測試對(duì)象、環(huán)境仿真和測試自動(dòng)化軟件在技術(shù)上是可行的，但這是一項(xiàng)具有挑戰(zhàn)性的任務(wù)，直到所有東西都按照預(yù)期的方式一起工作（也參見CH-B12），并且只有所有東西都同步并匹配在一起時(shí)，才能避免在某些地方出現(xiàn)問題（ID04）。

CH-C3為實(shí)施測試所付出的精力「test implementation effort」：現(xiàn)今執(zhí)行測試往往是昂貴的，需要特定工具的，并且每次改變系統(tǒng)的細(xì)節(jié)時(shí)都需要手動(dòng)操作。測試用例是由人寫的，因此測試用例不能被自動(dòng)翻譯（ID01），例如，測試自動(dòng)化軟件的控制輸入。

編者評(píng)述

關(guān)于「C、測試自動(dòng)化」，總體情況是：在自動(dòng)駕駛汽車整個(gè)測試與驗(yàn)證流程中，

局部自動(dòng)化程度高、整體自動(dòng)化程度低；

仿真測試的自動(dòng)化程度高、半實(shí)物或全實(shí)物測試的自動(dòng)化程度低；

實(shí)施端的自動(dòng)化程度高、輸入/定義端的自動(dòng)化程度低。

目前，跨工具跨系統(tǒng)的瓶頸之一，仍是場景刻畫的一致性，包括描述（從使用者到軟件）的一致性和編譯（從軟件到計(jì)算和實(shí)施）的一致性，所以與「A、基于場景的測試」中的諸多挑戰(zhàn)是直接關(guān)聯(lián)的。

D、測試執(zhí)行 Test Execution

這個(gè)標(biāo)題下的挑戰(zhàn)與基于場景的測試、基于模擬的測試和真實(shí)世界的測試都有關(guān)，因此是單獨(dú)分類的。在下文中，測試的執(zhí)行被理解為測試運(yùn)行期間的所有行為，可以是模擬的運(yùn)行，也可以是在測試場地上的行駛。

CH-D1測試駕駛員無法直接干預(yù)測試過程「omission of the test driver」：當(dāng)測試帶有ADS的自動(dòng)駕駛汽車時(shí)，車輛不再受人類測試駕駛員的控制。因此，被測車輛的動(dòng)作取決于ADS的算法，并且不能輕易由測試駕駛員改變。一位受訪專家舉例到：作為一個(gè)測試駕駛員，我不能再靠近一點(diǎn)執(zhí)行切入，因?yàn)榭刂栖囕v的不再是我，而是車輛在控制（ID13）。

CH-D2測試條件的實(shí)現(xiàn)「realization of test conditions」：考慮到裝有ADS的自動(dòng)駕駛汽車在沒有人類測試駕駛員的情況下能自行控制車輛，因此實(shí)現(xiàn)測試條件的挑戰(zhàn)就出現(xiàn)了，許多專家在訪談中也都提到了這一點(diǎn)。在測試執(zhí)行過程中，必須以某些測試條件為前提，如交通情況處于某種程度的危險(xiǎn)，場景中的某種情景，或被測車輛的某種內(nèi)部系統(tǒng)狀態(tài)等。這個(gè)挑戰(zhàn)的重點(diǎn)在于，得實(shí)現(xiàn)某些交通場景或情景，才算作完成了測試目的；然而被測車輛可能會(huì)主動(dòng)嘗試避開該情景（ID07），或不符合測試設(shè)計(jì)人員的預(yù)期，這使得測試執(zhí)行更加具有挑戰(zhàn)性，甚至是不可實(shí)現(xiàn)的。

編者評(píng)述 

「CH-D2」可能是一個(gè)偽問題。針對(duì)在ODD內(nèi)完成相對(duì)連續(xù)、完整、多場景覆蓋的行駛?cè)蝿?wù)的L4自動(dòng)駕駛系統(tǒng)，其測試應(yīng)該以場景空間為手段；而不應(yīng)該以測試用例（特別以時(shí)刻、以測試條件為核心的測試用例）為手段。簡言之，測試方案需給被測系統(tǒng)留出足夠的自主空間，而非「逼其就范」。最直接的例子就是，針對(duì)具有一定預(yù)防性安全能力的ADS，如何測試標(biāo)準(zhǔn)化的「鬼探頭」「切入」用例？

這個(gè)挑戰(zhàn)應(yīng)該引發(fā)我們更突破性的思考，而不是強(qiáng)行去適配。是否應(yīng)該從“應(yīng)激式”轉(zhuǎn)換到“沉浸式”的測試思路？

CH-D3周邊交通的協(xié)調(diào)「coordination of the surrounding traffic」：其他交通參與者的移動(dòng)擴(kuò)展了一個(gè)場景的參數(shù)空間。問題是如何利用周圍交通參與者的移動(dòng)來創(chuàng)造情景的變化，以及哪些移動(dòng)是需要被考慮的。另一個(gè)挑戰(zhàn)是找到控制方法，使周圍交通的行為既真實(shí)又符合場景要求。正如一位受訪專家所說：困難之一是如何協(xié)調(diào)其他交通參與者的運(yùn)動(dòng)（ID11）。

編者評(píng)述

「CH-D3」這個(gè)挑戰(zhàn)包含了兩部分：認(rèn)識(shí)「WHAT」和實(shí)現(xiàn)「HOW」。

前者主要是圍繞對(duì)測試場景的認(rèn)識(shí)和構(gòu)建，主要方向是從時(shí)刻到片段，從測試工況到更大范圍的場景（含更多的交通參與者及描述參與者行為的維數(shù)）。是與CH-A3場景復(fù)雜性和CH-A11場景串聯(lián)等一脈相承的挑戰(zhàn)。

后者是實(shí)現(xiàn)問題，包括在仿真中的實(shí)現(xiàn)和在場地測試中的實(shí)現(xiàn)。與CH-B9駕駛員模型和CH-C2測試自動(dòng)化、對(duì)象和基礎(chǔ)設(shè)施之間的交互等有關(guān)。

— 3 —

與其他相關(guān)研究結(jié)果的比較

（1）與相關(guān)實(shí)證研究的對(duì)比

本文選取了兩個(gè)類似的包含訪談方式的研究（[5]、[6]）進(jìn)行了比較，具體對(duì)比內(nèi)容見下表。

（2）是否已有相關(guān)方法應(yīng)對(duì)上述挑戰(zhàn)？

本文列出了現(xiàn)有的、應(yīng)對(duì)前面提出的31個(gè)挑戰(zhàn)的方法，共分為3種程度（見下表第三列「相關(guān)文獻(xiàn)」）：

可解決的：有相關(guān)文獻(xiàn)直接應(yīng)對(duì)該挑戰(zhàn)

有借鑒的：不能直接與現(xiàn)有方法聯(lián)系起來，但有其相關(guān)的挑戰(zhàn)及對(duì)應(yīng)的方法可借鑒（藍(lán)底色）

仍空白的：沒有對(duì)應(yīng)的文獻(xiàn)（黃底色）

編者評(píng)述 

在上述表格的最右側(cè)（第四列），編者增加了一列我國相關(guān)科研項(xiàng)目與之的對(duì)應(yīng)情況。粗略地比較了重點(diǎn)研發(fā)計(jì)劃“新能源汽車”重點(diǎn)專項(xiàng)近4年內(nèi)的6個(gè)相關(guān)項(xiàng)目指南內(nèi)容（見下表）與對(duì)本文31個(gè)挑戰(zhàn)的呼應(yīng)情況。

從中也能看出，有些挑戰(zhàn)已經(jīng)超出了技術(shù)研究的范疇，需要有更高維度的牽動(dòng)和組織，或者兩者的緊密結(jié)合。

以下接原文中對(duì)該上述表格的補(bǔ)充介紹。

A、基于場景的測試

CH-A7：關(guān)于場景獲取，[15]和[16]提出了數(shù)據(jù)驅(qū)動(dòng)和知識(shí)驅(qū)動(dòng)方法的概述，可以被視為進(jìn)一步研究的起點(diǎn)。

CH-A3：為了應(yīng)對(duì)場景的復(fù)雜性，提出了一個(gè)用于場景描述的六層模型[13]和三個(gè)抽象層次，即功能、邏輯和具體場景[12]。

CH-A2：標(biāo)準(zhǔn)化小組還致力于為仿真開發(fā)一致的場景描述語言[8]。

CH-A12：測試完成標(biāo)準(zhǔn)的定義是一個(gè)當(dāng)前的研究課題，可由[20]和[21]解決。

然而，對(duì)于將測試場景轉(zhuǎn)換為里程指標(biāo)（CH-A13）以及場景串聯(lián)（CH-A11）等挑戰(zhàn)，則沒有找到相關(guān)的文獻(xiàn)。

B、基于仿真的測試

CH-B1：汽車行業(yè)很清楚虛擬測試和真實(shí)之間的差異，這阻礙了純虛擬測試。然而，ADS的相關(guān)認(rèn)證流程也可能借鑒現(xiàn)有的電子穩(wěn)定控制系統(tǒng)（ESC）的基于仿真的認(rèn)證流程[24]。

CH-B8：仿真模型驗(yàn)證的其他建議，在[22]、[24]、[27]中被報(bào)道。

CH-B10和CH-B11：對(duì)于傳感器模型，[29]對(duì)相關(guān)建模方法進(jìn)行了文獻(xiàn)綜述。

CH-B5：[16]討論了由于未知因素而遺漏相關(guān)場景的問題，并且參考了[25]和ISO/PAS 21448。

C、測試自動(dòng)化

CH-C1、CH-C2、CH-C3都是汽車行業(yè)中的熱點(diǎn)話題。關(guān)于標(biāo)準(zhǔn)化接口和測試實(shí)現(xiàn)的方法已有了一些，例如[31]和[32]。

D、測試執(zhí)行

CH-D2：實(shí)現(xiàn)測試條件的挑戰(zhàn)很突出，它被受訪者提及的比例非常高，這也可以在[1]中找到。然而，克服這個(gè)問題的解決方案在文獻(xiàn)和研究項(xiàng)目中討論得很少。

CH-D3：[34]中提出的一種用于網(wǎng)聯(lián)和自動(dòng)化車輛組隊(duì)協(xié)調(diào)的方法，可以應(yīng)用到控制被測車輛周圍交通中，盡管該方法的開發(fā)并不是為了用于自動(dòng)駕駛汽車的測試過程。同時(shí)，[33]中可以找到一種專門用于測試自動(dòng)駕駛汽車運(yùn)動(dòng)規(guī)劃的方法，使用進(jìn)化算法來優(yōu)化其他交通參與者的軌跡。

—  4  —

編者展望

最后，編者希望介紹應(yīng)對(duì)其中3個(gè)挑戰(zhàn)的方案。

CH-A4 多功能場景描述 => 場景分類

建議一套可以服務(wù)于V型開發(fā)流程（左側(cè)和右側(cè)），甚至AV整個(gè)生命周期的所需的、通用的場景分類和形式化描述方法，保障場景的銜接性和一致性。

CH-A11 場景串聯(lián) => 連續(xù)場景生成方法

通過將多個(gè)基元場景（包含一次交互動(dòng)作的短時(shí)場景）串聯(lián)形成復(fù)雜連續(xù)場景，服務(wù)于高等級(jí)自動(dòng)駕駛功能多個(gè)行為連續(xù)變換的測試，考察系統(tǒng)的綜合性能，提高測試效率。

CH-B9 駕駛員模型 => 用于自演繹場景生成的類人駕駛模型

借助對(duì)人類駕駛員在自然交通中的行駛軌跡信息，或借助駕駛能力模型、情緒和偏好模型、決策動(dòng)機(jī)模型等，以機(jī)器學(xué)習(xí)的方法獲得多元化的類人駕駛模型，生成自演繹場景，乃至構(gòu)成自演繹測試系統(tǒng)，提高測試效率并有助于發(fā)現(xiàn)未知（CH-B5）。

「參考文獻(xiàn)」

[1] P. Koopman and M. Wagner, “Challenges in autonomous vehicle testing and validation,” SAE International Journal of Transportation Safety, vol. 4, no. 1, pp. 15–24, 2016.

[2] On-Road Automated Driving (ORAD) committee, Taxonomy and Definitions for Terms Related to Driving Automation Systems for On-Road Motor Vehicles, apr 2021. [Online]. Available: https://doi.org/10.4271/J3016 202104

[3] C. Roesener, F. Fahrenkrog, A. Uhlig, and L. Eckstein, “A scenariobased assessment approach for automated driving by using time series classification of human-driving behaviour,” in 2016 IEEE 19th International Conference on Intelligent Transportation Systems (ITSC), 2016, pp. 1360–1365.

[4] A. Knauss, J. Schroder, C. Berger, and H. Eriksson, “Software-related challenges of testing automated vehicles,” in 2017 IEEE/ACM 39th International Conference on Software Engineering Companion (ICSE-C), 2017, pp. 328–330.

[5] A. Knauss, J. Schroder, C. Berger, and H. Eriksson, “Paving the ¨ roadway for safety of automated vehicles: An empirical study on testing challenges,” in 2017 IEEE Intelligent Vehicles Symposium (IV), 2017, pp. 1873–1880.

[6] Q. Song, E. Engstrom, and P. Runeson, “Concepts in testing of ¨ autonomous systems: Academic literature and industry practice,” in 2021 IEEE/ACM 1st Workshop on AI Engineering - Software Engineering for AI (WAIN), 2021, pp. 74–81.

[7] P. Runeson and M. Host, “Guidelines for conducting and reporting ¨ case study research in software engineering,” Empirical software engineering, vol. 14, no. 2, pp. 131–164, 2009.

[8] ASAM e. V., “Asam openscenario.” [Online]. Available: https://www.asam.net/standards/detail/openscenario/

[9] F. Witte, “Testautomatisierung,” in Testmanagement und Softwaretest, F. Witte, Ed. Wiesbaden: Springer Fachmedien Wiesbaden, 2019, pp. 231–241.

[10] DIN SAE Consortium, “Terms and definitions related to testing of automated vehicle technologies,” 2019. [Online]. Available: https://www.sae.org/standards/content/dinsaespec91381/

[11] M. Steimle, T. Menzel, and M. Maurer, “Toward a consistent taxonomy for scenario-based development and test approaches for automated vehicles: A proposal for a structuring framework, a basic vocabulary, and its application,” IEEE Access, vol. 9, pp. 147 828–147 854, 2021.

[12] T. Menzel, G. Bagschik, and M. Maurer, “Scenarios for development, test and validation of automated vehicles,” in 2018 IEEE Intelligent Vehicles Symposium (IV), 2018, pp. 1821–1827.

[13] J. Bock, R. Krajewski, L. Eckstein, J. Klimke, J. Sauerbier, and A. Zlocki, “Data basis for scenario-based validation of had on highways,” in 27th Aachen colloquium automobile and engine technology, 2018, pp. 8–10.

[14] F. Bock, C. Sippl, A. Heinz, C. Lauerz, and R. German, “Advantageous usage of textual domain-specific languages for scenario-driven development of automated driving functions,” in 2019 IEEE International Systems Conference (SysCon), 2019, pp. 1–8.

[15] S. Riedmaier, T. Ponn, D. Ludwig, B. Schick, and F. Diermeyer, “Survey on scenario-based safety assessment of automated vehicles,” IEEE Access, vol. 8, pp. 87 456–87 477, 2020.

[16] C. Neurohr, L. Westhofen, T. Henning, T. d. Graaff, E. Mohlmann, and ¨ E. Bode, “Fundamental considerations around scenario-based testing ¨ for automated driving,” in 2020 IEEE Intelligent Vehicles Symposium (IV), 2020, pp. 121–127.

[17] D. Bogdoll, J. Breitenstein, F. Heidecker, M. Bieshaar, B. Sick, T. Fingscheidt, and M. Zollner, “Description of corner cases in automated driving: Goals and challenges,” in Proceedings of the IEEE/CVF International Conference on Computer Vision, 2021, pp. 1023–1028.

[18] A. Heinz and J. S. Wolfram Remlinger, “Track-/scenario-based trajectory generation for testing automated driving functions,” in 8. Tagung Fahrerassistenz, 2017.

[19] H.-P. Schoner and W. Hurich, “Testing with coordinated automated ¨ vehicles,” in Handbook of Driver Assistance Systems, H. Winner, S. Hakuli, F. Lotz, and C. Singer, Eds. Cham: Springer International Publishing, 2016, pp. 261–276.

[20] F. Hauer, T. Schmidt, B. Holzmuller, and A. Pretschner, “Did we test all scenarios for automated and autonomous driving systems?” in 2019 IEEE Intelligent Transportation Systems Conference - ITSC, 2019, pp. 2950–2955.

[21] W. Wang, C. Liu, and D. Zhao, “How much data are enough? a statistical approach with case study on longitudinal driving behavior,” in IEEE Transactions on Intelligent Vehicles, 2017, pp. 85–98.

[22] M. Wood, P. Robbel, M. Maass, R. D. Tebbens, M. Meijs, M. Harb, J. Reach, K. Robinson, D. Wittmann, T. Srivastava, et al., “Safety first for automated driving,” Aptiv, Audi, BMW, Baidu, Continental Teves, Daimler, FCA, HERE, Infineon Technologies, Intel, Volkswagen, 2019.

[23] Y. Page, F. Fahrenkrog, A. Fiorentino, J. Gwehenberger, T. Helmer, M. Lindman, O. op den Camp, L. van Rooij, S. Puch, M. Franzle, ¨ et al., “A comprehensive and harmonized method for assessing the effectiveness of advanced driver assistance systems by virtual simulation: The pears,” in . ., 2015, pp. 1–12.

[24] H. Abdellatif and C. Gnandt, “Use of simulation for the homologation of automated driving functions,” ATZelectronics worldwide, vol. 14, no. 12, pp. 68–71, 2019.

[25] H. Lakkaraju, E. Kamar, R. Caruana, and E. Horvitz, “Identifying unknown unknowns in the open world: Representations and policies for guided exploration,” in Thirty-first aaai conference on artificial intelligence, 2017.

[26] M. Steimle, N. Weber, and M. Maurer, “Toward generating sufficiently valid test case results: A method for systematically assigning test cases to test bench configurations in a scenario-based test approach for automated vehicles,” IEEE Access, vol. 10, pp. 6260–6285, 2022.

[27] S. Riedmaier, J. Nesensohn, C. Gutenkunst, T. Duser, B. Schick, ¨ and H. Abdellatif, “Validation of x-in-the-loop approaches for virtual homologation of automated driving functions,” in 11th Graz Symposium Virtual Vehicle, 2018.

[28] J. Klimke, D. Becker, and L. Eckstein, “System design of an agent model for the closed-loop simulation of relevant scenarios in the development of ads,” in 29th Aachen Colloquium Sustainable Mobility 2020, 2020, pp. 1493–1530.

[29] M. Hoss, M. Scholtes, and L. Eckstein, “A review of testing objectbased environment perception for safe automated driving,” Automotive Innovation, pp. 1–28, 2022.

[30] T. Fricke, F. Schuck, J. Vogelpohl, J. Ax, R. Stolpe, and H. Amelunxen, “Collaborative development of a test environment for automated driving,” in 20th International Congress and Exhibition, ser. VDI-Berichte, 2021, vol. 2384, pp. 5–16.

[31] ASAM e. V., “Asam xil.” [Online]. Available: https://www.asam.net/standards/detail/xil/

[32] C. Karthaus, A. Bick, B. Douglas, and F. Hanke, “X-in-the-loop-a universal testing methodology,” ATZelectronics worldwide, vol. 16, no. 11, pp. 46–51, 2021.

[33] M. Klischat and M. Althoff, “Generating critical test scenarios for automated vehicles with evolutionary algorithms,” in 2019 IEEE Intelligent Vehicles Symposium (IV), 2019, pp. 2352–2358.

[34] J. Wu, S. Ahn, Y. Zhou, P. Liu, and X. Qu, “The cooperative sorting strategy for connected and automated vehicle platoons,” Transportation Research Part C: Emerging Technologies, vol. 123, p. 102986, 2021