鑒于自動(dòng)駕駛系統(tǒng)（Automated Driving System, ADS）和交通環(huán)境的復(fù)雜性以及安全事件的偶發(fā)性，自動(dòng)駕駛系統(tǒng)需要安全、可靠地處理由外界和自身變化帶來的多種不確定性，才能有效保障智能網(wǎng)聯(lián)汽車安全合規(guī)地行駛，并逐步提升舒適性和智能性。因此，在智能網(wǎng)聯(lián)汽車開發(fā)設(shè)計(jì)流程中，測試驗(yàn)證評價(jià)是必不可少的環(huán)節(jié)——這需要基于智能網(wǎng)聯(lián)汽車的設(shè)計(jì)運(yùn)行條件（Operational Design Condition，ODC）、安全邊界及最小風(fēng)險(xiǎn)策略等，對自動(dòng)駕駛功能開展全面的測試驗(yàn)證工作。[1]

為確保智能網(wǎng)聯(lián)汽車產(chǎn)品測試方案的可行性和測試結(jié)果的一致性，以及合理調(diào)配測試資源、有效降低測試成本，賽目科技參考國內(nèi)外相關(guān)法規(guī)和技術(shù)標(biāo)準(zhǔn)，基于長期積累的智能網(wǎng)聯(lián)汽車測試經(jīng)驗(yàn)，提出智能網(wǎng)聯(lián)汽車產(chǎn)品測試策略——構(gòu)建場景集，解決智能網(wǎng)聯(lián)汽車產(chǎn)品測試“測什么”的問題；提出智能網(wǎng)聯(lián)汽車測試場景和“三支柱”的匹配方法，解決智能網(wǎng)聯(lián)汽車產(chǎn)品測試“怎么測”的問題。

本系列文章將分上、下兩篇，分別闡釋賽目科技提出的測試策略研究如何解決智能網(wǎng)聯(lián)汽車測試“測什么”和“怎么測”兩個(gè)核心問題。

怎么測？

場景與“三支柱”測試方法匹配

為了合理規(guī)劃測試工作排期和測試工作量，對已經(jīng)生成的場景集要合理的與三支柱方法進(jìn)行適配，并確定具體的測試策略，其中，明確測試場景與“三支柱”測試方法的映射關(guān)系是重中之重。

1、場景與“三支柱”測試匹配分析的基本思想

模擬仿真測試、封閉場地測試和實(shí)際道路測試共同構(gòu)建形成完備的測試評估體系，以支撐智能網(wǎng)聯(lián)汽車安全要求驗(yàn)證確認(rèn)。場景與“三支柱”測試匹配分析主要需考慮場景可行性和測試方法可行性：

• 場景可行性

首先，需要考慮場景本身的安全性。若已識別出的邊緣場景、危險(xiǎn)場景和失效場景存在威脅駕駛員人身安全或嚴(yán)重影響道路交通安全的潛在風(fēng)險(xiǎn)，則應(yīng)首先在模擬仿真環(huán)境中進(jìn)行測試，確認(rèn)最小風(fēng)險(xiǎn)準(zhǔn)則可接受，再另行考慮是否進(jìn)行封閉場地測試或?qū)嶋H道路測試。

其次，出于測試成本方面的考量，應(yīng)盡可能的精簡封閉場地測試和實(shí)際道路測試的場景。基于模擬仿真遍歷測試，測試敏感性分析、連續(xù)場景通過性分析，篩選封閉場地測試的典型場景下的典型測試用例，篩選實(shí)際道路測試中需要測試的連續(xù)場景以及典型交通條件。

• 測試方法可行性

一方面需考慮測試的可重復(fù)性。模擬仿真測試可重復(fù)性高[2]，封閉場地可以適當(dāng)控制交通環(huán)境，而實(shí)際道路測試中場景與環(huán)境完全隨機(jī)，場景重復(fù)性低。因此，應(yīng)在模擬仿真測試中對同一個(gè)功能場景進(jìn)行盡可能多地遍歷參數(shù)組合，在封閉場地測試中選擇典型用例進(jìn)行測試，而在實(shí)際道路測試中，主要考慮真實(shí)交通場景中是否包含期望的場景要素，以及測試?yán)锍痰姆e累。

另一方面需考慮測試環(huán)境的真實(shí)性。實(shí)際道路測試的真實(shí)性高于封閉場地測試，模擬仿真測試盡管可以使用硬件在環(huán)、整車在環(huán)等虛實(shí)結(jié)合的方式，但測試環(huán)境仍是數(shù)字模擬的虛擬場景。[3]因此，若存在ADS在某些場景下通過性易受自然環(huán)境、整車狀態(tài)、駕駛員狀態(tài)、交通環(huán)境影響，則必需在物理世界進(jìn)行測試，即此類場景必需進(jìn)行封閉場地測試或?qū)嶋H道路測試。

• 三支柱測試基本思想

模擬仿真測試以高可信度的仿真工具鏈為支撐，充分發(fā)揮其在測試執(zhí)行效率、靈活度、成本等方面的優(yōu)勢，對自動(dòng)駕駛系統(tǒng)開展高覆蓋度的場景測試，以評估智能網(wǎng)聯(lián)汽車安全性，并基于測試結(jié)果識別出自動(dòng)駕駛系統(tǒng)存在潛在風(fēng)險(xiǎn)的危險(xiǎn)場景和邊緣場景，作為封閉場地測試和實(shí)際道路測試的重要場景輸入。

封閉場地測試根據(jù)其測試場景需求開展場景搭建、不確定性評估及測試工作，通過單一場景測試、組合場景測試等方式在可控的環(huán)境下對自動(dòng)駕駛系統(tǒng)的實(shí)車表現(xiàn)和模擬仿真的可信度進(jìn)行評估。

實(shí)際道路測試則在針對期望覆蓋的場景要素集合，重點(diǎn)圍繞測試路段、測試時(shí)長等因素制定有針對性的測試方案，并開展相關(guān)測試工作，以評估智能網(wǎng)聯(lián)汽車在真實(shí)交通場景中的產(chǎn)品安全性。[1]

圖 1“三支柱”測試流程圖

2、矩陣映射法——匹配場景與“三支柱”測試方法

為了詳細(xì)說明場景與“三支柱”測試方法匹配的分析思路，本文提出了一種矩陣映射法[4]，通過“場景-功能”矩陣和“功能-測試方法”矩陣的映射，得到“場景-測試方法”的關(guān)系矩陣。

• "場景-功能"矩陣

  承接本系列文章《智能網(wǎng)聯(lián)汽車測試策略研究》上篇中的場景庫構(gòu)建思路，通過多種分析方式，共篩選出m個(gè)需要進(jìn)行測試的場景，并在ADS要素分析過程中，確定其具有的n個(gè)功能。

首先，建立m個(gè)場景與n個(gè)功能的對應(yīng)關(guān)系表，該表通過定性分析ADS測試場景集中各個(gè)場景是否調(diào)用ADS各類功能可得到。表1 待測場景與ADS功能對應(yīng)表 
  

                                            
表中的  是零一變量，表示ADS在場景  運(yùn)行時(shí)，ADS是否需要調(diào)動(dòng)功能  ，如需調(diào)動(dòng)功能  ，則  ，反之  。  將表 1寫為“場景-功能”矩陣，記為：  ;  

• “功能-測試方法”矩陣

同樣的，建立n個(gè)功能與3種測試方法的對應(yīng)關(guān)系表，該表可參考目前國內(nèi)外已發(fā)布或在研的政策、法規(guī)、標(biāo)準(zhǔn)，將分析所得的對應(yīng)關(guān)系填入如表2所示的ADS功能與測試方法對應(yīng)表：表 2功能與測試方法對應(yīng)表
                                      
表中的  是零一變量，表示為驗(yàn)證功能  ，是否需要進(jìn)行  方法的測試，如功能  必須進(jìn)行  測試，則  ，反之  。 模擬仿真測試封閉場地測試實(shí)際道路測試 （滑動(dòng)查看完整公式）將表 2寫為“功能-測試方法”矩陣，記為  ：

• “場景-功能”與“功能-測試方法”的映射

設(shè)“場景-測試方法”矩陣為    如上式所示，“場景-功能”矩陣  與“功能-測試方法”矩陣  相乘，可得“場景-測試方法”矩陣：其中:              如  ，說明場景  需要進(jìn)行  方法的測試，如  ，說明場景  無需進(jìn)行  測試。

• 測試矩陣修正

參考上文的基本思想，模擬仿真測試由于成本低、測試效率高和可重復(fù)性強(qiáng)，應(yīng)在仿真環(huán)境中進(jìn)行所有場景的測試，因此，基于此原則，可能出現(xiàn)如下需對“場景-測試方法”矩陣進(jìn)行修正的情況：

由于模擬仿真仿真測試是封閉場地測試和實(shí)際道路測試的輸入，如存在場景  ，是  但  或  ，則需要在模擬仿真環(huán)境中增加場景  測試用例。
因此需要對“場景-測試方法”矩陣  進(jìn)行修正，令  ，修正后的“場景-測試方法”矩陣記為  。

綜上，根據(jù)修正后的“場景-測試方法”矩陣，可得如下表3形式的測試策略表，矩陣中元素大于0，則在對應(yīng)單元格中填入“必測”，元素等于0，則為填入“可選”：

表 3自動(dòng)駕駛系統(tǒng)場景-測試方法策略表（樣表）
模擬仿真測試封閉場地測試實(shí)際道路測試場景1必測/可選必測/可選必測/可選場景2             場景m
      

• 案例分析

以下通過一個(gè)簡單案例分析，以更直觀地說明場景-功能-測試映射分析法。為簡化案例分析維度，該案例僅分析1個(gè)場景，考慮2個(gè)ADS功能，分析“三支柱”測試方法測試策略。

表 4案例-場景與ADS功能對應(yīng)表

合理可預(yù)見

的用戶誤用

明確的介入請求

觸發(fā)條件且可識別

  前車切入有
無

表4說明在前車切入場景中，包含  合理可預(yù)見的用戶誤用，不包含  明確的介入請求觸發(fā)條件且可識別。因此可得“場景-功能”矩陣  ：   確定功能與測試方法的對應(yīng)關(guān)系如下表 5：

表 5案例-功能與測試方法對應(yīng)表

模擬仿真測試
封閉場地測試實(shí)際道路測試

合理可預(yù)見

的用戶誤用

可選
必測可選  

明確的介入請求

觸發(fā)條件且可識別

必測
必測可選可得“功能-測試方法”矩陣  ：

因此，“場景-測試方法”矩陣為：

下圖 2通過三維坐標(biāo)系的形式，更為形象地解釋了場景-功能-測試方法映射分析的原理：

 圖2 案例-場景-功能-測試方法映射分析原理圖‘

（點(diǎn)擊查看大圖）

因出現(xiàn)  但  ，則需要修正“場景-測試方法”矩陣：可得如表 6所示的測試策略表：

表 6案例-測試場景-測試方法策略表

模擬仿真測試封閉場地測試實(shí)際道路測試  前車切入必測必測可選

3、評價(jià)體系

測試評價(jià)是智能網(wǎng)聯(lián)汽車安全上路不可或缺的重要環(huán)節(jié)。針對模擬仿真測試、封閉場地測試和實(shí)際道路測試等不同的測試階段的測試結(jié)果，均應(yīng)進(jìn)行科學(xué)、全面和有效的評價(jià)。評價(jià)方法主要包括基于單一場景的評價(jià)方法和基于連續(xù)場景/里程的評價(jià)方法。

• 基于單一場景的評價(jià)方法

為考察自動(dòng)駕駛系統(tǒng)在單一場景下的表現(xiàn)，建立涵蓋安全性、合規(guī)性和舒適性等多維度的評價(jià)指標(biāo)體系，主要涉及模擬仿真測試和封閉場地測試?；趩我粓鼍霸u價(jià)方法的核心是在設(shè)計(jì)、驗(yàn)證和確認(rèn)階段，測試自動(dòng)駕駛系統(tǒng)在關(guān)鍵測試場景中的通過性。特別的，針對模擬仿真測試，在測試前，需要證明使用的模擬仿真測試工具鏈的置信度、仿真模型（包括傳感器模型和車輛動(dòng)力學(xué)模型等）的可信度；在測試后，通過仿真和實(shí)車對比等手段，驗(yàn)證模擬仿真測試的可信度，確認(rèn)仿真測試結(jié)果與真實(shí)物理世界測試結(jié)果的一致性。

• 基于連續(xù)場景/里程的評價(jià)方法

為考察自動(dòng)駕駛系統(tǒng)在連續(xù)場景下的表現(xiàn)和長時(shí)間運(yùn)行的穩(wěn)定性，通過連續(xù)場景、一段連續(xù)道路，或是一片行駛區(qū)域（例如：城區(qū)路網(wǎng)等)，即在真實(shí)的條件和環(huán)境下，或者接近于真實(shí)的條件和環(huán)境下，主要涉及模擬仿真測試和實(shí)際道路測試。
基于連續(xù)場景/里程的評價(jià)方法的核心是測試搭載自動(dòng)駕駛系統(tǒng)的車輛是否具備完善的自動(dòng)駕駛功能，以及是否會對交通產(chǎn)生負(fù)面影響。特別的，針對模擬仿真測試，可通過構(gòu)建測試道路（包括高速/城市等），設(shè)置隨機(jī)交通流等方式，評價(jià)被測自動(dòng)駕駛系統(tǒng)在連續(xù)場景/里程的通過性。

結(jié)語

本系列文章首先從測試內(nèi)容入手，提出了場景集的構(gòu)建方法，根據(jù)場景數(shù)據(jù)的不同來源，分別就標(biāo)準(zhǔn)法規(guī)場景集、預(yù)期功能安全場景集、實(shí)車采集數(shù)據(jù)場景集的構(gòu)建方法進(jìn)行說明；隨后從測試方法入手，提出了矩陣映射法，并展示了場景與“三支柱”測試方法匹配分析的實(shí)例；分別回答了智能網(wǎng)聯(lián)汽車測試“測什么”和“怎么測”的問題。

未來，賽目科技還將從測試規(guī)模、測試評價(jià)，以及模擬仿真與場地測試對比分析等方面展開深入研究，持續(xù)完善并分享智能網(wǎng)聯(lián)汽車“三支柱”測試方法論知識體系，敬請期待！

參考文獻(xiàn)

[1]劉法旺, 曹建永, 張志強(qiáng), et al. 基于場景的智能網(wǎng)聯(lián)汽車"三支柱"安全測試評估方法研究 [J]. 汽車工程學(xué)報(bào), 2023, 13(1): 7.

[2]劉法旺, 何豐, 周時(shí)瑩, et al. 基于場景的智能網(wǎng)聯(lián)汽車模擬仿真測試評估方法與實(shí)踐 [J]. 汽車工程學(xué)報(bào), 2023, 13(02): 135-45.

[3](GRVA) Proposal for a second iteration of the New Assessment/Test Method for Automated Driving — Master document [R]. Geneva: Economic Commission for Europe, 2022.

[4]白雪松, 鄧偉文, 任秉韜, et al. 一種自動(dòng)駕駛仿真場景要素的提取方法 [J]. 汽車工程, 2021, 43(07): 1030-6, 65.