三、仿真測試評價體系

3.1 仿真測試評價維度及具體評價內(nèi)容

1）兩個重要評價維度：真實性和有效性

a. 真實性評價：主要是針對場景庫真實合理性的評價，分為場景信息真實度、場景分布真實度兩個方面


真實度評價的兩個維度

場景信息真實度：在場景在構(gòu)建過程中，需要合理準(zhǔn)確的在虛擬環(huán)境中渲染測試場景中的靜態(tài)環(huán)境要素（如交通設(shè)施、道路及障礙物等）、動態(tài)環(huán)境要素（動態(tài)指示設(shè)施、通信環(huán)境信息）、交通參與者要素（機(jī)動車/非機(jī)動車、行人等）以及氣象環(huán)境要素（環(huán)境溫度、光照條件、天氣情況）等信息。

場景分布真實度：在參數(shù)重組場景中對于由特征元素組合和人工編輯合成的場景，由于人工修改參數(shù)后可能會出現(xiàn)真實世界不存在的場景，因此在人工編輯場景時需參考真實世界場景的參數(shù)值范圍去合理化地設(shè)置參數(shù)重組場景。

b. 有效性評價
目前尚未統(tǒng)一的有效性評價標(biāo)準(zhǔn)，當(dāng)前可參考的標(biāo)準(zhǔn)如下：

2）具體評價內(nèi)容：仿真測試自身評價以及自動駕駛車輛駕駛性能、駕駛協(xié)調(diào)性、標(biāo)準(zhǔn)匹配性、學(xué)習(xí)進(jìn)化性等方面；
圖片

自動駕駛仿真測試評價項目
注：評價項目內(nèi)容參考《2020中國自動駕駛仿真藍(lán)皮書》

3.2 仿真測試評價標(biāo)準(zhǔn)示例

評價方法：（兩種）
基于功能的評價方法：針對特定的自動駕駛功能，在給定測試場景的前提下，判斷測試的自動駕駛汽車是否可以在該場景中安全行駛
基于場景的評價方法：將測試車輛置于測試場景中，在自動駕駛汽車能夠安全行駛的前提下，判斷該場景的復(fù)雜程度，例如周圍環(huán)境的復(fù)雜程度或駕駛?cè)蝿?wù)的復(fù)雜程度等


評價指標(biāo)：（兩類）
通過性評價指標(biāo)：針對自動駕駛做出判斷以及規(guī)定場景內(nèi)必須實現(xiàn)目標(biāo)的評價；如安全性、完備性、經(jīng)濟(jì)性、人工干預(yù)度等評價指標(biāo)，量化上采取0/1機(jī)制
性能評價指標(biāo)：表征自動駕駛汽車在具體測試場景下預(yù)期功能實現(xiàn)的程度；如智能性、舒適性、擬人性等評價指標(biāo)，量化上采取差值機(jī)制
參考：評價標(biāo)準(zhǔn)參考《自動駕駛系統(tǒng)功能測試第7部分：仿真測試（征求意見稿）》

結(jié)語

自動駕駛仿真測試發(fā)展面臨的挑戰(zhàn)

1）場景庫建設(shè)
沒有統(tǒng)一的數(shù)據(jù)格式標(biāo)準(zhǔn)，企業(yè)之間的場景庫建設(shè)缺乏合作，資源重復(fù)性投入大；
場景庫數(shù)據(jù)的標(biāo)注、分析提取等環(huán)節(jié)仍然依靠大量人工，場景庫建設(shè)效率低，成本高；
場景庫的覆蓋率依然不高，不足以覆蓋常見的交通場景；
窮舉覆蓋全場景的測試用例與測試效率和測試精度如何平衡。

2）仿真平臺
測試場景有限，在測試方法的標(biāo)準(zhǔn)化與仿真虛擬測試應(yīng)用上還較為薄弱；
目前尚無一款完美的自動駕駛仿真軟件，能夠?qū)崿F(xiàn)所有模塊的仿真測試功能，仍然需要多個仿真軟件進(jìn)行聯(lián)合仿真；不同自動駕駛仿真軟件，往往需要開發(fā)不同的仿真接口，不僅增加了時間成本，也增加了工程師的學(xué)習(xí)成本；
仿真環(huán)境缺乏現(xiàn)實世界物理現(xiàn)實的真實性和豐富性，并且訓(xùn)練效果有限，可擴(kuò)展性差；
系統(tǒng)仿真軟件也存在自身固有的弱點，比如仿真模型需要對邊界條件進(jìn)行明確的假設(shè)，但現(xiàn)實中這些邊界條件不一定能明確或者不能真實地獲??；
傳感器模型、車輛動力學(xué)模型以及道路環(huán)境模型的準(zhǔn)確性都會影響到仿真測試結(jié)果準(zhǔn)確性，因此提高仿真測試結(jié)果的可信度也是當(dāng)前一個較大的挑戰(zhàn)。

3）測試評價體系
不同的企業(yè)采用的仿真軟件系統(tǒng)架構(gòu)和場景庫構(gòu)建方法不盡相同，導(dǎo)致很難建立統(tǒng)一規(guī)范的仿真測試評價體系；
仿真軟件自身的真實性和有效性方面的評價尚無統(tǒng)一的標(biāo)準(zhǔn)規(guī)范，且車輛的學(xué)習(xí)進(jìn)化性方面還缺乏相應(yīng)評價標(biāo)準(zhǔn)。

自動駕駛仿真測試技術(shù)發(fā)展趨勢展望

1）基于云平臺的高并發(fā)測試、加速測試是仿真測試未來重要的發(fā)展方向，是自動駕駛仿真企業(yè)的核心競爭力之一；云平臺具備海量數(shù)據(jù)存儲、處理和管理的能力，支持大規(guī)模仿真構(gòu)建，覆蓋海量駕駛場景；可有效建立城市級地理信息+虛擬交通流信息，可實現(xiàn)跨專業(yè)多用戶信息交互與共享。

2）功能安全場景庫、V2X場景庫以及預(yù)期功能安全場景庫將是未來場景庫建設(shè)的重點；不同廠商采用統(tǒng)一數(shù)據(jù)格式標(biāo)準(zhǔn)，共建基礎(chǔ)場景庫，形成通用的、可移植的場景庫。

3）混合交通仿真測試將是未來自動駕駛仿真技術(shù)的一個重要研究領(lǐng)域；自動駕駛汽車取代傳統(tǒng)汽車不是一蹴而就的事情，必然在相當(dāng)?shù)囊欢螘r間內(nèi)處于兩者共存的局面，因此傳統(tǒng)汽車與自動駕駛汽車混行將是一種常見的交通場景。甚至還需要建立自動駕駛車輛在不同滲透率下的混合交通仿真模型。

4）數(shù)字孿生技術(shù)將為自動駕駛仿真測試發(fā)展道路上的一大助力，是仿真測試的增效利器； 數(shù)字孿生就是在虛擬環(huán)境中建立一個和現(xiàn)實世界一致的模型。自動駕駛數(shù)字孿生測試VRIL(Virtual Reality in the Loop)即真實的車輛在真實的測試場地中進(jìn)行測試，將同時映射到虛擬的測試環(huán)境中，從而完成虛、實狀態(tài)的同步，實現(xiàn)整個數(shù)字孿生系統(tǒng)的閉環(huán)實時仿真測試。

5）當(dāng)前自動駕駛仿真測試主要還是偏向于傳統(tǒng)的主被動層面的安全性及可靠性等方面的測試驗證，以及用于感知、規(guī)劃決策及控制算法的研發(fā)或迭代升級；但是每個自動駕駛車輛都不是孤立存在的，必然是網(wǎng)聯(lián)化的，是作為整個智慧交通體系中的一個智能節(jié)點而存在，因此信息安全方向的驗證測試與評價也必然是未來自動駕駛仿真測試的一個重要研究方向。