一、引言

由于仿真是對真實世界進行抽象建模并通過編程實現(xiàn)，仿真得到的計算結(jié)果與真實仿真對象的表現(xiàn)存在差異，因此模擬仿真測試的可信度成為當前亟需解決的關(guān)鍵問題，需要提出有效的評估方法。傳感器建模是仿真測試的關(guān)鍵環(huán)節(jié)之一，其建模質(zhì)量決定了仿真測試中智能網(wǎng)聯(lián)汽車感知環(huán)境目標對象的保真度。延續(xù)《自動駕駛傳感器仿真模型的可信度研究》的思路，本篇文章對傳感器模型的可信度評估方法進行深入研究，并且提出基于“典型場景-感知目標集-評價指標”的方法論，為企業(yè)開展傳感器模型可信度評估工作提供參考。

二、可信度評估框架及方法

本章節(jié)的思路主要可分為兩部分：一方面，根據(jù)不同建模層級的傳感器模型，采用不同的評估方法；另一方面，根據(jù)不同的評估方法，基于ADS功能確定典型場景、觀測量并選取相應(yīng)的評價指標。

2.1評估框架：三個層級

根據(jù)對真實世界感知結(jié)果的保真度以及傳感器建模的復(fù)雜程度，傳感器模型可分為理想傳感器、混合傳感器、物理傳感器三個層級?；趥鞲衅鞯牟煌蛹壏诸愐约皞鞲衅鞣抡娼Ｔu價研究，可信度評估框架如圖1所示。

圖1 傳感器模型可信度評估框架

理想傳感器：理想傳感器的工作方式為直接從仿真軟件的環(huán)境數(shù)據(jù)中提取探測范圍內(nèi)的環(huán)境真值（Ground Truth，GT），并將其作為傳感器感知目標的檢測結(jié)果。若將理想傳感器的感知結(jié)果與真實傳感器的檢測結(jié)果作為真值進行對比，理想傳感器感知結(jié)果存在過精度（精度過高的情況）；若將理想傳感器的輸出結(jié)果直接與環(huán)境真值進行對比，由于其結(jié)果即為環(huán)境真值，則無需進行可信度評估。

混合傳感器：在理想傳感器的基礎(chǔ)上，考慮噪聲和目標物屬性等因素，在理想待輸出對象的數(shù)據(jù)信息中增加誤差信號。由于疊加的誤差參數(shù)可能不夠準確且不夠全面，混合傳感器在輸出目標列表時可能存在與真實傳感器輸出目標列表不一致的問題。因此，需通過對比修正后的目標列表，開展傳感器模型的可信度評估。

物理傳感器：對傳感器工作鏈路進行物理級建模，建模過程中考慮傳感器與目標物特性對信號產(chǎn)生的干擾與影響，以此間接獲得傳感器感知結(jié)果的偏差。由于該層級建模過程存在中間建模環(huán)節(jié)和中間量采集，因此，為更全面評估可信度，除在目標列表層級展開評估外，還應(yīng)盡可能通過對比圖像、點云等原始數(shù)據(jù)，或各模塊輸出的中間量，來對傳感器模型的可信度進行評估。

2.2評估方法

基于“典型場景-感知目標集-評價指標”的評估方法，主要通過典型場景設(shè)計，確定感知目標及其觀測量并選取評價指標，進行傳感器模型與真實傳感器輸出結(jié)果的比對。

圖2 傳感器模型可信度評估流程

2.2.1典型場景

基于自動駕駛感知功能及其設(shè)計運行域，確定場景元素，構(gòu)建典型場景?？紤]到不同測試場景中，場景元素的復(fù)雜程度會對感知結(jié)果產(chǎn)生影響，進而影響傳感器模型可信度的評估結(jié)果，賽目科技提出“簡單場景→復(fù)雜場景”的典型場景設(shè)計框架，如圖3所示。

圖3 典型場景設(shè)計框架

參考GB/T《智能網(wǎng)聯(lián)汽車 自動駕駛系統(tǒng)設(shè)計運行條件》[1]，基于ODD基礎(chǔ)元素集合，通過組合疊加不同類型的場景元素（包括道路、道路設(shè)施、目標物和天氣環(huán)境），構(gòu)建典型測試場景。典型場景中的感知目標應(yīng)全面覆蓋自動駕駛功能ODD范圍內(nèi)的各類要素。感知測試場景元素部分示例如圖4所示。

圖4 場景基礎(chǔ)元素-示例

2.2.2感知目標集

基于測試場景中常見的感知目標種類，可進一步區(qū)分其對應(yīng)的目標ID、顏色、位置、速度、加速度等屬性，梳理出場景中涉及的感知目標集（如圖5所示），其中①為目標類型，②~⑦為觀測量。更多感知測試項內(nèi)容還可參考T/CSAE 266.1—2022《智能網(wǎng)聯(lián)汽車 輔助駕駛前向視覺感知性能要求及測評方法 第1部分：通用方法及指標定義》[2]。

圖5 感知目標類型及觀測量

基于典型場景的特點并結(jié)合不同類型的傳感器，確定場景中需識別的目標對象，并選取對應(yīng)的目標列表/原始數(shù)據(jù)觀測量。以相機模型為例，在目標列表層面，將真實相機與仿真模型輸出的車道線三次方程進行對比；在原始數(shù)據(jù)層面，利用真實鏡頭效果的圖片和仿真鏡頭效果的圖片進行對比，統(tǒng)計每個像素點的對應(yīng)的RGB數(shù)值，以此來實現(xiàn)對圖像質(zhì)量的驗證。

圖6 “傳感器類型-目標列表/原始數(shù)據(jù)”觀測量

特別地，若針對相機傳感器進行物理級建模，還可通過對比模型輸出的中間量開展評估。

圖7 相機傳感器物理級建?？蚣?

2.2.3評價指標

根據(jù)感知系統(tǒng)觀測量在整個測試過程的試驗結(jié)果計算各評價指標，主要可分為以下兩種類型。① 目標識別正確與否的判斷：通過準確率、精確率、召回率、Jaccard系數(shù)等指標來進行評價，并利用這些指標計算出綜合的誤差進行比較，②觀測量為連續(xù)型數(shù)據(jù)：通過數(shù)值精度、擬合優(yōu)度等指標進行評價。感知目標集中觀測量類別對應(yīng)的評價指標[3]如表1所示。

表1 觀測量類別-評價指標

（1）準確率-Accuracy

指預(yù)測正確的結(jié)果占總樣本的百分比，用于判斷總的正確率，準確率的計算方法如公式（1）所示。

（2）精確率-Precision

所有被預(yù)測為正的樣本中實際為正的樣本的概率。精確率和準確率看上去有些類似，但是完全不同的兩個概念。精確率代表對正樣本結(jié)果中的預(yù)測準確程度，而準確率則代表整體的預(yù)測準確程度，既包括正樣本，也包括負樣本。精確率的計算方法如公式（2）所示。

（3）召回率-Recall

實際為正的樣本中被預(yù)測為正樣本的概率，又稱查全率。召回率的計算方法如公式（3）所示。

（4）F1分數(shù)-F1 score

精確率和召回率的調(diào)和平均數(shù)。F1分數(shù)的最大值是1，最小值是0，值越大意味著模型的性能越好。F1分數(shù)可以看作是模型精確率和召回率的一種調(diào)和平均，它的計算考慮了精確率和召回率的重要性。F1分數(shù)的計算方法如公式（4）所示。

（5）Jaccard系數(shù)

用于度量兩個集合的相似度，僅關(guān)心個體間共同具有的特征是否一致。Jaccard系數(shù)的取值范圍在0到1之間，值越大表示兩個集合越相似，值為0表示兩個集合沒有任何交集，值為1表示兩個集合完全相同。Jaccard系數(shù)的計算方法如公式（5）所示。

其中：

——集合A與B的交集中元素的個數(shù)；

——集合A與B的并集中元素的個數(shù)。

（6）多目標識別準確度（MOTA）

用于統(tǒng)計在識別過程中的誤差積累情況，包括誤檢數(shù)FP、漏檢數(shù)FN、誤配數(shù)IDSW以及真實結(jié)果GT。多目標識別準確率的計算方法如公式（6）所示。

其中：

FN  ——在第i幀中該目標沒有假設(shè)位置與其匹配；

FP  ——在第i幀中給出的假設(shè)位置沒有跟蹤目標與其匹配；

IDSW——在第i幀中跟蹤目標發(fā)生ID切換的次數(shù)（多發(fā)生在遮擋情況下）。

（7）多目標識別精確度（MOTP）

用于衡量目標位置確定的精確程度，包括正檢數(shù)TP、預(yù)測結(jié)果DUT和真實結(jié)果GT。多目標識別精確度的計算方法如公式（7）所示。

其中：TP——在第i幀中該目標有假設(shè)位置與其匹配，即第i幀目標與假設(shè)的匹配個數(shù)。

（8）數(shù)值精度（Mean accuracy）

用于表示觀測值與真值的接近程度，是預(yù)測結(jié)果與被測真值之間的百分比誤差，包括預(yù)測結(jié)果DUT和真實結(jié)果GT。數(shù)值精度的計算方法如公式（8）所示。

（9）擬合優(yōu)度（）

回歸分析中用來檢驗樣本數(shù)據(jù)點聚集在回歸線周圍的密集程度，用于評價回歸方程對樣本觀測值的擬合程度。的值越接近1，說明模型對觀測值的擬合程度越好。擬合優(yōu)度計算方法如公式（9）所示。

其中：

——樣本目標變量的真實值；

——使用回歸模型預(yù)測的目標變量值；

 ——樣本目標變量的平均值。

（10）歐幾里得度量（Euclidean Metric）

基于真實點云中每個點到模擬點云每個點的最小歐幾里得距離進行計算，真實的點云用GT＝（）表示，模擬的點云用DUT＝（）表示，最小歐幾里得距離的計算方法如公式（10）所示。

其中：

——點云距離度量；

——真實或模擬點云的最大點數(shù)。

3.可信評估方案應(yīng)用

本章節(jié)主要針對目標列表層面對應(yīng)典型場景的可信度評估方案進行應(yīng)用示例。根據(jù)自動駕駛系統(tǒng)感知功能設(shè)計典型場景，確定關(guān)鍵參數(shù)取值（如道路類型、車道線顏色、測試車輛初始速度等），并明確場景中的感知目標。以自適應(yīng)巡航控制系統(tǒng)（ACC）功能為例，基于2.3.1中的“簡單場景→復(fù)雜場景”設(shè)計理論，列舉典型場景示例如表2所示。

表2 典型測試場景-示例

（1）場景構(gòu)建

為驗證傳感器模型可信度，初步構(gòu)建一個“前方存在靜止目標車”的簡單場景開展對比試驗。

場景描述：一條雙向四車道長直道路，車道寬度為3 m。試驗車輛同車道前方79.86 m處存在靜止的目標車輛，試驗車輛以初始速度36 km/h從初始位置出發(fā)，按照預(yù)設(shè)軌跡路線行駛3 s后，以1.1 m/s2 的減速度減速至停止。

圖8 仿真場景搭建

（2）感知目標-觀測量

基于上述測試場景，確定場景中需識別的目標對象為車道線和目標車輛，基于不同傳感器種類，選取對應(yīng)的觀測量分別為三次多項式常數(shù)項和目標車輛相對距離。

（3）評價指標

本文初步采用數(shù)值精度的評價指標，通過公式（8）進行混合傳感器模型的可信度評估。

基于Sim Pro中混合相機傳感器模型開展驗證，輸出的車道線三次多項式的常數(shù)項（左正右負）與路采數(shù)據(jù)的對比結(jié)果如圖9所示。

圖9 混合相機-仿真與路采結(jié)果對比（車道線）

基于Sim Pro中混合相機傳感器模型、混合毫米波雷達傳感器模型、混合激光雷達傳感器模型開展驗證，輸出的目標車輛相對距離與路采數(shù)據(jù)的對比結(jié)果如圖10所示。

圖10 混合傳感器-仿真與路采結(jié)果對比（目標車輛相對距離）

小結(jié)

本篇文章基于三種傳感器建模層級的評估框架進行分析，對傳感器模型的可信度評估提出“典型場景-感知目標集-評價指標”的方法論，分別論述典型場景構(gòu)建、感知目標集確定以及對應(yīng)評價指標選取的思路。最后，基于傳感器模型可信度評估方案，以混合傳感器模型為例進行應(yīng)用對比驗證。未來，賽目科技還將從智能網(wǎng)聯(lián)汽車“三支柱”測試方法論知識體系持續(xù)開展研究，敬請期待！

參考文獻

[1] GB/T《智能網(wǎng)聯(lián)汽車 自動駕駛系統(tǒng)設(shè)計運行條件》[S].

[2] T/CSAE 266.1—2022《智能網(wǎng)聯(lián)汽車 輔助駕駛前向視覺感知性能要求及測評方法 第1部分：通用方法及指標定義》[S].

[3] 周志華等．機器學(xué)習(xí)[M]．清華大學(xué)出版社，2016.