本文譯自：

《Scenario Parameter Generation Method and Scenario Representativeness Metric for Scenario-based Assessment of Automated Vehicles》

文章來源：

IEEE Transactions on Intelligent Transportation Systems (Volume: 23, Issue: 10, October 2022)

作者：

Erwin de Gelder, Jasper Hof, Eric Cator, Jan-Pieter Paardekooper, Olaf Op den Camp,Jeroen Ploeg, Bart de Schutter

原文鏈接：

https://ieeexplore.ieee.org/document/9730798

摘要：基于自動駕駛汽車功能復雜操作決策域的原因，開發(fā)自動駕駛汽車性能的評價方法對自動駕駛技術推廣落地尤為重要。通過真實世界道路駕駛數(shù)據(jù)構(gòu)建測試用例的場景測評方法是自動駕駛汽車測評方法體系中重要組成部分。但是針對自動駕駛汽車的潛在危險性場景種類繁雜，僅僅使用觀測收集的真實場景數(shù)據(jù)進行測評是遠遠不夠的，因此必須要生成足夠數(shù)量的附加場景以滿足自動駕駛汽車的測評需求。本研究在兩個方面做出了貢獻，首先本研究提出了一種方法，在降低場景表征參數(shù)強假設的基礎上，從多維度確定描述用于描述場景參數(shù)，通過對場景參數(shù)概率密度的估計，生成真實的場景參數(shù)值；其次，本研究基于Wasserstein距離構(gòu)建場景代表性指標，該指標量化了生成參數(shù)值的場景在覆蓋真實世界場景實際參數(shù)變量的同時對于現(xiàn)實世界場景的表征程度。本研究提出的方法與依賴場景參數(shù)化和概率密度估計的其它方法進行比較，結(jié)果表明本研究提出的方法可以自動確定最佳的場景參數(shù)和概率密度估計。此外，本研究的場景代表性指標可用于選擇最佳描述場景的參數(shù)。本研究提出的方法具有廣泛的應用前景，因為參數(shù)化和概率密度估計可以直接應用于現(xiàn)有的重要性采樣策略，從而加速自動駕駛汽車的測試評價。

關鍵詞：評價方法，概率密度函數(shù)，時間序列分析，安全估計，蒙特卡洛方法

一、 引言

自動駕駛汽車開發(fā)的一個重要層面是評估自動駕駛汽車在安全性、舒適性、效率性方面的質(zhì)量和性能[1]-[3]。由于真實開放道路測試昂貴且耗時[4][5],因此提出了一種基于場景的測評方法[2][6]-[11]?；趫鼍暗臏y評方法在眾多場景中對自動駕駛汽車被測系統(tǒng)的響應進行測試，并評估該響應在真實世界的場景中引起變化。場景描述了自動駕駛汽車被測系統(tǒng)所處的狀態(tài)以及這種狀態(tài)如何隨著時間的推移而變化（在第3-A章節(jié)中，提供了屬于“場景”的精準定義）?；趫鼍暗臏y評方法的優(yōu)點之一是，通過選擇對自動駕駛汽車被測系統(tǒng)具有挑戰(zhàn)性的場景，測評可以更聚焦于具有挑戰(zhàn)性的情況。真實世界的駕駛數(shù)據(jù)已經(jīng)被使用作為場景測評的信息資源，從而保證測評場景對真實世界駕駛條件的表征[7]-[9]。

對于基于場景的測評方法，重要的是其生成的測試場景需要表征現(xiàn)實世界可能發(fā)生的情況。換句話說，場景應該是現(xiàn)實世界的表征[6]。只有這樣，測評的結(jié)果才能準確表示自動駕駛汽車被測系統(tǒng)在真實世界中運行的性能[10]。此外，生成的測試場景必須涵蓋與真實世界相同的多樣性。Riedmaier等人認為，由于真實世界包含無數(shù)種情況，因此場景生成方法必須提供大量的變量才能覆蓋無限多的真實情況[6]。

本研究采用數(shù)據(jù)驅(qū)動方法，通過觀測到的真實場景來生成用于描述新場景的參數(shù)值。區(qū)別于預設定的信號函數(shù)，例如將車輛速度參數(shù)擬合到該函數(shù)，本研究采用奇異值分解（Singular Value Decomposition, SVD）以數(shù)據(jù)驅(qū)動的方法確定描述場景的最佳參數(shù)。接下來，估計參數(shù)的概率密度函數(shù)（Probability Density Function, PDF），以便可以使用PDF對參數(shù)進行采樣生成類似的場景。為了不預先假設PDF的分布，因此采用核密度（Kernel Density Estimation, KDE）進行PDF的估計[13][14]。此外，KDE可以對場景參數(shù)之間可能存在的關聯(lián)性進行建模分析。本研究還提出一種稱為場景代表性（Scenario Representativeness, SR）指標，用于量化生成的場景在多大程度上具有代表性并且覆蓋了多少真實世界的多樣性。更具體的說，該指標使用Wasserstein距離[15]將一組生成的場景與一組觀測到的真實場景進行比較。

本文章的結(jié)構(gòu)安排如下。第2章節(jié)回顧本研究相關的工作；第3章節(jié)解釋了用于自動駕駛汽車測評場景的生成方法；第4章節(jié)提出了一種量化場景生成方法性能的新指標；第5章節(jié)進行工況分析；第6章節(jié)討論本研究方法的相關定義以及未來的研究方向；第7章節(jié)為結(jié)論。

二、相關工作

本章節(jié)首先回顧了有關生成測評自動駕駛汽車場景的相關工作，其次介紹與SR指標相關研究。

A. 場景生成

測評自動駕駛汽車的場景方法可以分為三種：基于對真實世界交通觀察的場景，基于被測自動駕駛汽車功能的場景，以及綜合前兩種方法的組合方法。目前大多是研究多聚焦于第一種方法。

參考文獻中提出了幾種方法，用于生成基于真實世界駕駛數(shù)據(jù)的評估場景。Lages等人提出了一種通過激光雷達探測到的真實世界數(shù)據(jù)在虛擬仿真環(huán)境中重建真實場景的方法[17]。Zofka等人介紹了基于已記錄的傳感器數(shù)據(jù)，通過修改記錄的方法創(chuàng)建可能可能導致危險對的場景參數(shù)[18]。Stepien等人通過從廣義極值分布中采樣場景參數(shù)值來生成場景，其中分布參數(shù)使用從自然駕駛數(shù)據(jù)中觀察到的安全關鍵場景中提取的場景參數(shù)值進行擬合[19]。參數(shù)化場景和重要性采樣可自動生成用于表征自動駕駛汽車被測系統(tǒng)關鍵相關（例如安全）行為的場景[10][20]-[24]。此外蒙特卡洛樹搜索和遺傳編程也可以生成用于表征自動駕駛汽車被測系統(tǒng)關鍵相關（例如安全）行為的場景[25][26]。Schuldt等人提供了一種使用組合算法生成場景的方法，該算法確保測試工況覆蓋自動駕駛汽車被測系統(tǒng)在真實世界中可能面臨的各種情況[27]。最近，Spooner等人提出了一個生成式對抗網(wǎng)絡（Generative Adversarial Network, GAN）用于生成行人過街場景。

現(xiàn)有文獻中，用于評估自動駕駛汽車的場景生成方法具體有以下一個或多的缺點：

?  觀測到的場景重建時不增加更多的變化[17]。在這種情況下，除非收集到不切實際的數(shù)據(jù)量，否則無法覆蓋真實世界中發(fā)現(xiàn)的所有場景

?  場景過于簡單化。例如，車輛的速度曲線遵循預設定的函數(shù)[10][19][21]。

?  對場景參數(shù)分布的假設可能會影響場景的質(zhì)量。例如，假設參數(shù)符合高斯分布或廣義極值分布，或者假設某些參數(shù)是不相關的[29][19][24]。

?  因為不知道場景參數(shù)的PDF,所以一旦在真實世界道路上部署該系統(tǒng)，就無法對系統(tǒng)的性能進行評價，因為無法確定場景的真實性和可能性。在第3章節(jié)將提出一種克服這些缺點的方法。

B. 場景代表性指標

生成的場景應該代表真實世界可能發(fā)生的場景。盡管參考文獻中存在不同的方法用于生成測評自動駕駛汽車場景，但對于生成的場景與真實交通的比較知之甚少。從第2-A中提到的，只有Shou Feng等人將研究生成的場景與真實自然駕駛數(shù)據(jù)進行的比較,他們比較了生成場景與真實數(shù)據(jù)中車速分布和車輛保險杠間距分布[30]。為了量化分布之間的相似性，使用了Hellinger距離和平均絕對誤差[30]。這種方法的缺點為：

1）即使生成場景中的車速和保險杠間距的分布與真實自然駕駛數(shù)據(jù)分布相似，生成的場景可能仍然存在很大差異，

2）僅考慮邊緣分布，但是車速和保險杠間距的相關性可能完全不同

三、場景生成

本研究采用數(shù)據(jù)驅(qū)動的方法生成測評自動駕駛汽車的真實場景：使用觀察到的場景生成新的場景。為此要將場景參數(shù)化，即定義表征場景的參數(shù)。例如，場景的持續(xù)時間可以是一個參數(shù)。接下來，估計參數(shù)的PDF。此PDF可用于為新場景生成參數(shù)值。此外，PDF包含參數(shù)的統(tǒng)計信息，一遍可以估計自動駕駛汽車的性能[10][32]。然而，選擇描述場景的參數(shù)并非易事：

?  選擇少量的參數(shù)可能會導致實際場景過于簡單化。因此并非所有可能性的場景都要被建模

?  由于維度災難問題，過多的參數(shù)會導致PDF估計過于復雜[33]。

為了解決這個問題，本研究首先考慮采用盡可能多的參數(shù)用于完整地描述場景，以避免場景過于簡單化。接下來，通過SVD方法使用原始場景參數(shù)的線性映射創(chuàng)建一組新的參數(shù)。這組新參數(shù)將根據(jù)這些參數(shù)在描述原始場景變化是做出的貢獻進行排序，本研究將只考慮最重要的參數(shù)以避免丟失太多信息，這樣在不依賴預先選擇參數(shù)的情況下避免了維度災難。

以下本研究將說明如何使用眾多參數(shù)來描述一個場景。第3-B章節(jié)將使用SVD方法來減少參數(shù)的數(shù)量。第3-C章節(jié)描述如何使用KDE來估計簡化參數(shù)集的PDF，以及如何使用估計的KDE來生成新場景。

A. 場景參數(shù)化

本研究方法的第一步是場景參數(shù)化。現(xiàn)階段沒有單一的最佳方法將各種各樣的場景參數(shù)化，因此為了處理場景多樣性難題，本研究使用場景和場景類別的定義區(qū)分定量場景和定性場景[34]。

定義1（場景）：場景是在初始事件和結(jié)束事件的時間間隔內(nèi)，本車車輛的相關特征活動和目標、靜態(tài)環(huán)境、動態(tài)環(huán)境以及與本車車輛相關的所有時間的定量描述。

定義2（場景類別）：場景類別是對本車車輛、靜態(tài)環(huán)境和動態(tài)環(huán)境的相關特征活動和目標的定性描述。

場景類別是場景的抽象，因此場景類別包含多個場景[34]。例如，場景類別“切入”包括所有可能的切入場景。本研究方法的目標是根據(jù)一組觀察到的場景確定同一類別場景的最佳參數(shù)化模型，并估計這些參數(shù)的PDF,這些參數(shù)可用于新場景生成的參數(shù)值。

觀察到的場景通過場景時間窗口期內(nèi)變化的場景內(nèi)容時間序列（例如，車輛速度）和固定的場景內(nèi)容附加參數(shù)（例如，車道線寬度和場景持續(xù)時間）進行描述。其中，表示場景在內(nèi)的時間序列，其中表示時間序列的維度，,%t_1%表示場景開始和結(jié)束的時間，附加參數(shù)由表示。

為了處理時間序列，連續(xù)的時間間隔t被離散化，使得兩個連續(xù)的時刻間隔。公式如下：

選擇以保證在離散化過程中不會丟失任何重要信息。因為在真實世界中由于傳感器讀數(shù)離散型，時間序列是在某些特定時刻而不是在連續(xù)時刻上獲得的，因此可能需要使用插值技術，例如樣條[35]，評估。

本研究假設個觀測到的場景可用于生成新場景。為了表示場景參數(shù)y和?屬于某一特定場景，使用索引,即第i個場景的參數(shù)為。為了進一步簡化表示方法，將組合成一個向量。

B. SVD方法減少參數(shù)

如公式（2）所示，個參數(shù)用于描述一個場景。即使少量的,,,場景參數(shù)的總數(shù)也會變得太大而無法保證聯(lián)合PDF估計置信度。避免維度災難的一種方法是假設每個參數(shù)都是獨立的，但公式（1）中的場景參數(shù)到是相關的，因此假設參數(shù)是獨立的并不是一個好的解決方法。

在機械學習領域，主成分分析（Principal Component Analysis, PCA）通常用于問題降維處理[36]。本研究綜合PCA方法和SVD方法，將參數(shù)轉(zhuǎn)換為參數(shù)的低維向量。在應用SVD之前，使用對參數(shù)進行加權(quán)，賦予參數(shù)重要性，用于補償參數(shù)向量中的不平衡。本研究定義了包含場景參數(shù)的矩陣：

其中表示向量的元素乘積，并且表示加權(quán)場景參數(shù)的平均值。        

其中X使用SVD方法，得到

和為正交矩陣，因此這兩個矩陣都可以分別對應為和的旋轉(zhuǎn)矩陣。矩陣具有跟相同的形式，該矩陣除了對角線皆為。對角線包含奇異值，用表示，。這些奇異值按降序排列，如下所示

隨著奇異值的降低，使用旋轉(zhuǎn)矩陣X將數(shù)據(jù)轉(zhuǎn)移到新的坐標系，使得第一個坐標具有最大的方差，該方差等于。類似上述方差啊，第二大方差等于并且處于第二坐標，以此類推。由于方差減少，場景參數(shù)可以僅使用新坐標系的前個坐標來近似，因為這個坐標表述了大部分的場景變化。因此第個場景的參數(shù)通過在時進行擬合：

其中是V的第個元素，是的第列，是保留的參數(shù)數(shù)量。因此第個場景的個參數(shù)可以使用個參數(shù)來近似。奇異值,向量,和用于將新場景參數(shù)映射到加權(quán)原始場景參數(shù)的近似值，。

的選擇并非易事，選擇過小的值會導致過多的細節(jié)損失，選擇過大的值在估計新參數(shù)PDF時產(chǎn)生問題。選擇值的一種方法是查看有前個奇異值的總體反差值。整體方差隨奇異值平方的總和而變化[12],即，

因此前個奇異值通過整體方差進行選擇，如下公式所示:

一種方法是設置使得公式（9）超過某個閾值，例如。選擇的另一種方法是檢查公式（7）中實際近似誤差并不斷增加直到近似誤差不太大。第4章節(jié)提出了一種替代方法來確定值，使用量化指標來確定值，即生成的場景代表真實場景并涵蓋真實場景的實際多樣性。

C. 概率密度函數(shù)估計

基于SVD方法構(gòu)建的公式（7），第個場景由以下向量描述：

當不等于時，和中的各參數(shù)無關聯(lián)性。盡管其具有線性獨立性，但由于高階相關性，中的不同參數(shù)可能仍然相互依賴。因此本研究將這些參數(shù)視為因變量。為了估計的概率密度函數(shù)，本研究采用KDE方法。KDE通常被成為非參數(shù)PDF估計方法，因為KDE不依賴與數(shù)據(jù)自給定參數(shù)集的概率分布假設[13][14]。因為KDE生成的PDF會自行適應數(shù)據(jù)，所以它更適合表征的真實基礎分布。KDE方法中，PDF表征如下：

是具有正定對稱帶寬矩陣的縮放核函數(shù)。核函數(shù)與縮放核函數(shù)的關系如下：

表示矩陣行列式，核函數(shù)選擇的重要性不如帶寬矩陣選擇[37][38]。本研究采用高斯核函數(shù)，如下所示：

表示的平方。

使用形式的帶寬矩陣，其中表示的單位矩陣。帶寬通過交叉驗證法確定，因為它可以根據(jù)Kullback-Leibler散度最小化真實PDF和估計PDF之間的差異[37][41][42]。使用對場景進行采樣，首先隨機選擇一個具有相等似然性的整數(shù)，其次從具有協(xié)方差H和均值高斯核中隨機抽取樣本，最后使用公式（7）中的近似值計算場景參數(shù)。從計算工作量分析，從KDE中采樣場景參數(shù)是有效的，因為不需要實際評估PDF。確定最佳帶寬矩陣雖然需要更多的計算工作，但是每個數(shù)據(jù)集只需執(zhí)行一次即可。用于帶寬估計及的交叉驗證方法的計算復雜度與成正比。

四、場景代表性指標

理想情況下，生成場景的參數(shù)是從具有相同分布的基礎真實場景參數(shù)得到的?，F(xiàn)階段的問題為以上的分布是未知的。然而可以定義一個指標來量化用于生成場景的參數(shù)分布和基礎真實場景的參數(shù)分布的相似性。第4-A章節(jié)將進一步說明SR指標的作用,第4-B章節(jié)解釋了Wasserstein距離，并將其應用于第4-C章節(jié)中的指標。

A. 場景對比問題

參數(shù)描述的觀察場景集用于生成場景參數(shù)。為了簡化符號，本研究采用表示觀測到的場景集。本研究假設由相同場景類別組成的場景根據(jù)函數(shù)分布并且相互獨立。本研究采用表示生成的場景參數(shù)向量集，其中于公式（2）中的參數(shù)化類似，是生成場景參數(shù)向量的數(shù)量。表示生成場景參數(shù)向量的PDF,其是采用公式（7）從變化的變量中得到。理想狀態(tài)下，所以本研究的指標目標是量化的相似性。為了估計的相似性，本研究不能簡單的賈昂與進行比較。選取雖然能帶了最好的結(jié)果，但并不理想，因為理想情況下，生成的參數(shù)需要覆蓋真實世界的所有場景，而不僅僅是在中觀察到的各種場景。因此，需要另一組可用于測試的場景，標記為,其中。因此，和分別稱為訓練集和測試集。總之，本研究的目標是使用觀察到的場景參數(shù)集和以及生成場景參數(shù)集找到一個指標來量化的相似性。

B.經(jīng)驗Wasserstein指標

第個Wasserstein指標用于比較在集合上定義的兩個PDF和。該指標如下所示：

(14)
其中表示從到的距離，將會在下面的章節(jié)定義。表示具有邊緣分布,的聯(lián)合分布的集合。只管說，如果將的PDF視為不同形狀但質(zhì)量為的兩堆土，通過公式（14）將計算出將土堆改變?yōu)橥炼阉ㄙM的最小消耗，因此Wasserstein也被稱為推土機距離[44]。本研究的目標是構(gòu)建一個度量指標來比較,因為是未知的，所以考慮基于的近似： (15)表示狄拉克函數(shù)?？紤]到Z的高緯度，使用的Wasserstein指標積分的近似值對估計會導致計算量過大。因此考慮采用基于經(jīng)驗估計的經(jīng)驗Wasserstein指標用于估計[14]，如下所示：
(16)將公式（15）（16）的經(jīng)驗估計帶入，得到經(jīng)驗Wasserstein指標，如下所示：  (17)是變換矩陣第個元素，符合以下條件：   (18)   (19)(20)對于距離函數(shù)，本研究根據(jù)第3-B章節(jié)中將權(quán)重縮放場景參數(shù)后，使用場景參數(shù)差異的平方數(shù)值，如下：

   (21)

C.測試場景代表性指標本研究提出的SR指標基于以下假設：假設是的近似值。因為和基于相同的基礎PDF，所以和的期望近似。但是，如果地期望明顯小于，則表明訓練數(shù)據(jù)過渡擬合，因為生成的場景過于偏向訓練數(shù)據(jù)。為了避免訓練數(shù)據(jù)的過渡擬合，本研究的SR指標在大于情況下的修正，因此SR指標變?yōu)椋?

(22)

β為修正的權(quán)重。在第5章節(jié)中的案例研究表明，與公式（22）相關聯(lián)的公式（14）Wasserstein指標比公式（17）經(jīng)驗Wasserstein指標。

五、工況研究

工況研究章節(jié)將說明第3章節(jié)的生成場景參數(shù)和第4章節(jié)的SR指標如何應用。第5-A章節(jié)解釋了研究中考慮的場景類別，并描述了關于場景參數(shù)化的選擇；第5-B章節(jié)說明了使用SVD對原始參數(shù)的近似；第5-C章節(jié)除了演示了場景參數(shù)生成方法，還表明SR指標可用于選擇值；第5-D章節(jié)將本研究的場景參數(shù)生成方法與其它方法進行了比較；第5-E章節(jié)表明了跟經(jīng)驗Wasserstein指標相比，SR指標和Wasserstein指標的相關性更好[17][22]。

A. 場景類別和參數(shù)

本研究中考慮兩種場景類別。第一種場景類別為前方目標車輛減速（LVD）導致后面跟隨的本車減速或轉(zhuǎn)向，如圖1所示。第二種場景為本車前方目標車輛切入，本車需要剎車或者改變方向以避免碰撞，如圖2所示。為了獲得場景，使用參考文獻中描述的數(shù)據(jù)集[46]。該數(shù)據(jù)集來自于一輛自然駕駛車輛，其中 20 名司機被要求按照規(guī)定的路線駕駛，共產(chǎn)生 63 小時的駕駛數(shù)據(jù)，包含 1150個 LVD場景和 289個切入場景，其中大部分場景發(fā)生在高速公路上。為了感知周圍的交通情況，車輛配備了三個雷達和一個攝像頭,通過融合雷達和攝像頭的數(shù)據(jù)來測量周圍的交通[47]。為了從具有融合數(shù)據(jù)的數(shù)據(jù)集中提取 LVD 和切入場景，本研究在數(shù)據(jù)中搜索特定駕駛行為：前方目標車輛的減速行為表示 LVD 場景；前方目標車輛的車道變換行為表示切入場景。有關提取場景過程的更多信息，請參閱參考文獻[48]。

圖1 前方目標車輛減速場景（LVD）

圖2 前方目標車輛切入場景（Cut-In）

在1150個LVD場景中，訓練數(shù)據(jù)使用80%（）,測試數(shù)據(jù)使用剩余的20%（）,這是根據(jù)80/20比例將數(shù)據(jù)拆分為訓練集和測試集。訓練數(shù)據(jù)用于生成個新的場景參數(shù)向量。為了描述前方目標車輛的減速行為，使用前方目標車輛在個加速度參數(shù)。作為附件參數(shù)，考慮場景的持續(xù)時間，,目標車輛的初始速度以及目標車輛和本車之間的初始時間間隔（）,因此。圖3顯示了100個隨機選擇的LVD場景的前方目標車輛的速度。第個權(quán)重是通過將選定的常數(shù)除以第個參數(shù)的標準偏差獲得的：

  (23)

第k個參數(shù)對整體方差的貢獻如公式（8）所示只取決于。當選擇,前方目標車輛的加速度對整體方差貢獻在倍以上，因為有個元素用于描述加速度。針對LVD場景，本研究希望將加速度賦予與其它每個參數(shù)相同的重要性，因此選擇以及。

圖3 LVD場景前方目標車輛速度

在289個Cut-IN場景中，訓練數(shù)據(jù)使用80%（）,測試數(shù)據(jù)使用剩余的20%（）,這是根據(jù)80/20比例將數(shù)據(jù)拆分為訓練集和測試集。訓練數(shù)據(jù)用于生成個新的場景參數(shù)向量。使用前方變道車輛的速度以及相對于本車車道中心的橫向位置在個時間點描述一個臨界場景。在左側(cè)切入場景下，當切入車輛嶺位于本車車道中心做左側(cè)時，橫向位置為正，反之為負。此外，額外參數(shù)用于描述切入場景：場景持續(xù)時間，本車的初始速度以及切入車輛相對于本車的初始縱向距離。因此。為了對變道車輛的速度，橫向位置和其它3個額外參數(shù)賦予相同的重要性，使用公式（23）計算權(quán)重，其中以及。

B. SVD方法場景擬合

第3-C章節(jié)說明使用太多參數(shù)會導致對參數(shù)PDF估計不佳。本研究使用SVD來減少能夠描述原始場景參數(shù)的數(shù)量。本章節(jié)說明使用SVD方法后獲得的參數(shù)對原始參數(shù)的近似情況。

經(jīng)過公式（7）近似后，縮放參數(shù)向量使用的前列的線性組合來近似，即。圖4和表1顯示了LVD場景和U的前4列。圖4顯示LVD場景平均以減速開始，以減速結(jié)束。表1顯示場景平均持續(xù)時間為4.73秒，前車平均初始速度為22.11km/h，平均初始時間間隔為1.49秒。由于每種情況都是通過圖4和表1的值估計的，因此可以看出近似值不包含復雜的加速度曲線，意味著加速度將被平滑從而丟失部分細節(jié)。平滑量取決于值，即用于逼近原始參數(shù)向量的U的向量數(shù)量。選擇值是一種權(quán)衡：值越大，平滑度越低，近似誤差越小，但過大的值會導致參數(shù)PDF估計是出現(xiàn)問題。

表1 3個附加參數(shù)經(jīng)過縮放后和U前4列表征結(jié)果

圖5顯示了五種LVD場景，分別對應跟隨車輛最高的平均減速度。1號線表示需要最高平鍵減速度的LVD場景。表2中列出了的的數(shù)值，用于根據(jù)共公式（7）近似原始場景。圖5中的灰線顯示LVD場景的近似速度。表2顯示了圖5中五個場景的初始時間間隔。這五個場景說明加速是平滑，但場景的主要特征是通過近似值得到的：平均減速度，場景持續(xù)時間，初始速度和初始時間間隔。

圖4 LVD場景50個加速度參數(shù)經(jīng)過縮放后和U前4列表征結(jié)果

表2 5個LVD場景跟隨車輛的初始間隔及對應加速度

圖5 五個LVD場景跟隨車輛最高平均減速度。黑線為觀測值，灰線為基于d=4的近似值，表2列出相應的初始時間間隔

C. 生成場景參數(shù)

生成場景參數(shù)向量的一個重要方面為確定縮減參數(shù)的數(shù)量（d）。一種方法是如公式（9）查看前個奇異值的解釋方差，如表3所示。表中前4個奇異值已經(jīng)表明了LVD場景中90.4%的方差，因此可能是一個合適的選擇。圖6顯示了100個使用的參數(shù)生成的LVD場景中前車速度。

表3 LVD場景解釋方差-d值

圖6 100個生成場景的前車速度

另外一種確認值的方法是根據(jù)公式（22）定義的SR指標。圖7展示了時應用SR指標的結(jié)果，以及經(jīng)驗Wasserstein指標，修正指標，。圖7每一個點表示應用該指標200次時的中值，每次使用不同分區(qū)的訓練數(shù)據(jù)和測試數(shù)據(jù)。圖7的中值標準差采用自舉檢驗，等于或小于0.005[50]。針對SR指標，修正使用進行加權(quán)，在第5-E章節(jié)證明其是合理的。

圖7 生成的LVD場景參數(shù)集的指標中值

圖7中最左邊的電表示訓練數(shù)據(jù)集X直接用于對場景采樣，是從中替換個場景的選擇，即(24)其中表示邊界為1和的連續(xù)均勻分布。直接將訓練數(shù)據(jù)用于“生成場景”會導致低數(shù)值經(jīng)驗Wasserstein指標，缺點是生成的場景之間沒有太大的變化，因此修正值也是最高，導致。當時，與直接使用訓練集對比，經(jīng)驗Wasserstein指標大致相似。由于從KDE中對場景參數(shù)進行采樣，生成的場景比訓練集包含更多的變化，導致修正值較低。因為進一步增加值會導致更高的指標評估，因此似乎是正確的選擇。圖8與采用與圖7類似的方式顯示了切入場景參數(shù)的生成結(jié)果。圖8中所有點的標準偏差均小于0.008。在時獲得了最低修正，但是較大值的經(jīng)驗Wasserstein距離表明丟失了很多信息。最好的結(jié)果在時獲得，SR指標和指標最低。

D.方法對比

本研究提出的方法利用SVD來獲取場景參數(shù)和多變量KDE來估計這次參數(shù)的PDF。為了說明這些選擇的優(yōu)點，本研究方法與其它方法進行了比較。首先，區(qū)別于使用SVD來獲取參數(shù)，這次采用了固定參數(shù)化；其次，區(qū)別于使用KDE來估計參數(shù)PDF,這次是假設的高斯分布；最后，假設參數(shù)是獨立的[10][18][21][29]。

圖8 生成的Cut-IN場景參數(shù)集的指標中值

當對 LVD 場景使用固定參數(shù)化時，使用了4 個參數(shù)描述場景[10]：前方目標車輛的減速度、前方目標車輛的最終速度、場景的持續(xù)時間以及前方目標車和本車之間的初始時間間隔。假設前方目標車輛的速度遵循正弦函數(shù)，使得場景開始和結(jié)束時的加速度為零。在切入場景的情況下，使用了5個參數(shù)描述場景：車輛切入的平均速度、其相對于本車車道中心的初始橫向位置、場景的持續(xù)時間、本車初始速度，以及目標車輛相對于本車切入的初始縱向位置。假設車輛切入的速度是恒定的，并且假設其橫向位置遵循正弦函數(shù)，使得車輛在本車車道的中心結(jié)束。為了估計這些參數(shù)PDF，比較考慮了4種可能性：多變量 KDE、多單變量 KDE、多變量高斯分布和多單變量高斯分布。表4顯示了生成場景參數(shù)的不同方法的結(jié)果。對于LVD場景，本研究提出的方法（表 4中的第一行）導致最低的。對于切入場景，是否使用SVD來獲取參數(shù)對結(jié)果影響不大，這是因為較小的數(shù)據(jù)集會導致更高的帶寬，使得使用高斯核的KDE結(jié)果看起來更像高斯分布。在假設參數(shù)獨立的情況下使用SVD和KDE會產(chǎn)生更好的結(jié)果：1.30->1.28（標準差為 0.005）。這表明使用SVD獲得的3個參數(shù)是獨立的假設是可以接受的。

表4 不同方法生成場景的指標

E. SR指標評價

為了確定本研究提出的指標(公式22)是否與Wasserstein指標(公式14)的相關性優(yōu)于經(jīng)驗Wasserstein指標(15)，需要知道Wasserstein指標(14)。但這事實上是不可能的，因為數(shù)據(jù)的真實基礎分布是未知的。為了估計Wasserstein指標(公式14)，經(jīng)驗 Wasserstein指標(公式15)可以與大量測試場景和生成的場景參數(shù)一起使用，即分別具有較大的Nz和Nw值。由于本研究無法獲得大量測試場景，因此我們假設的某個分布來自于生成訓練數(shù)據(jù)和測試數(shù)據(jù)的。方法如下（數(shù)字表示LVD場景，括號內(nèi)數(shù)字中顯示了Cut-IN場景數(shù)量）：

1)基于1150（289）個原始場景，以下場景參數(shù)通過第3章節(jié)的設定（）生成：

• 一個新的訓練集

• 一個新的測試集

• 一個大的測試集

2)基于，生成()個場景參數(shù)并收集在一個集合

3)本研究提出的SR指標是通過以及在的條件下計算得到的

4)Wasserstein指標（公式14）是使用經(jīng)驗Wasserstein指標基于來估計的。

本研究將這種方法重復了 200 次，每次都使用不同分區(qū)的訓練數(shù)據(jù)X和測試數(shù)據(jù)Z的。圖9和圖10分別顯示了這種方法在LVD場景和切入場景中的結(jié)果。結(jié)果表明當訓練數(shù)據(jù)直接用于生成的場景參數(shù)時，經(jīng)驗 Wasserstein 指標是最小的。因此，經(jīng)驗Wasserstein指標表明，生成新場景參數(shù)的最佳方法是簡單地從訓練數(shù)據(jù)中采樣參數(shù)。使用 估計的實際 Wasserstein指標表明，使用本研究提出的方法優(yōu)于直接從訓練數(shù)據(jù)中采樣參數(shù)。

為了證明的選擇是合理的，圖11顯示了所提出的指標的中值與不同值的之間的相關性。 ，即 ，針對LVD場景的相關性為0.974，針對切入場景的相關性為0.824。相關性隨著的增加而增加，直到 LVD 場景的和切入場景的處獲得最大相關性值（0.992 和 0.987）。增加會進一步降低相關性，這表明選擇是合適的。

圖9 Nw=10000個LVD場景參數(shù)集的指標中值

圖10 Nw=10000個Cut-IN場景參數(shù)集的指標中值

在給出的初始選擇（用表示）的前提下，可用以迭代方式確定和：

1. 設置

2. 確定 ，即使用 最小化的最佳參數(shù)數(shù)量

3. 生成 和 ，其中

4. 將 增加 1

5. 通過最大化兩者之間的相關性來確定,如圖11所示

6. 重復步驟2 7）如果結(jié)束，否則返回步驟3。

圖11 和的相關性

作為初始選擇，是合適的，更具體地在時，在一次迭代之后尋找的最佳選擇。

Ⅵ.討論

本研究提出生成場景參數(shù)的方法的優(yōu)點之一是對場景參數(shù)化較少假設：

• 不需要對時間序列數(shù)據(jù)的預定函數(shù)形式進行假設。例如，在LVD場景中，通常假設速度遵循多項式函數(shù)[10]、正弦函數(shù)或線性函數(shù)[21]。在預定函數(shù)形式的情況下，將參數(shù)擬合到函數(shù)形式。本研究中SVD自動確定參數(shù)化的最佳選擇，而不依賴于預定的函數(shù)形式。

• 不需要對參數(shù)分布進行假設。例如，可以假設特定的分布，例如其它方法需要采用參數(shù)已擬合的高斯分布[29]或均勻分布，并且對參數(shù)的獨立性做出假設[24]。本研究中KDE自動調(diào)整其形狀以適應數(shù)據(jù)，并考慮不同參數(shù)之間的依賴性。

如果有理由相信一個或多個假設是有效的，那么利用這些假設生成場景參數(shù)的方法可能比本研究提出的方法效果相同或更好[51].但是在大多數(shù)情況下，很難對有關函數(shù)假設（例如，車速）和場景參數(shù)的PDF 提供明確的證明。在任何情況下，本研究提出的SR指標適用于基于任何假設的有關場景參數(shù)化和參數(shù)分布研究。

生成的場景參數(shù)代表現(xiàn)實生活中可能發(fā)生的場景，涵蓋了與現(xiàn)實世界交通相同的多樣性。最有可能的是，這些場景中的大多數(shù)對于自動駕駛汽車來說較為簡單。為了進行有效的評估，重點應該放在可能導致碰撞概率很高的危急情況的場景上。這就是為什么所謂的重要性抽樣 [52，第5.6章] 經(jīng)常用于評估自動駕駛汽車的性能，例如，參見文獻[5]、[10]、[53]、[54]。通過重要性抽樣，使用不同的PDF 對場景參數(shù)進行采樣，從而更好的構(gòu)建可能導致危急情況的場景。為了獲得無偏的結(jié)果，使用場景參數(shù)x的測試結(jié)果按原始概率密度 與用于重要性采樣的PDF概率密度[10]的比率加權(quán)[52]-[54]。在未來的工作中，我們生成場景的方法將與重要性采樣[10]、[53]、[54]相結(jié)合，以評估 自動駕駛汽車性能。

在某些情況下，可能希望從條件PDF中進行采樣，例如，在對LVD場景的參數(shù)進行采樣，使得初始時間間隔等于指定值。從KDE中采樣以便預先確定一個或多個參數(shù)是直接的 [55]。本研究的例子中，從采樣使得時間間隔等于指定值會導致對樣本的線性約束，因為(公式10)的縮減參數(shù)向量來自原始參數(shù)的線性映射(公式2)的，即從 (公式11) 的中采樣 ，使得 受線性約束

      (25)

其中和分別是矩陣和向量。參考文獻提供了一種算法，用于從使用 KDE 估計的 PDF 中進行采樣，使得生成的樣本受到 (公式25) 的約束[40]。其主要思想是根據(jù) 與約束(公式25)的匹配程度對 KDE 中的每個參數(shù)向量 進行加權(quán)。本研究考慮采用預先確定完整軌跡的車輛數(shù)據(jù)，這對于所呈現(xiàn)的場景非常有效，但在駕駛員行為取決于本車車輛行為的場景中，完整的軌跡不是預先確定的[56]。為了處理這種情況，一種選擇是使用具有預定義參數(shù)的駕駛員行為模型（例如，[57]、[58]），而不是描述完整的軌跡。駕駛員行為模型的參數(shù)是的一部分。本研究所提出的用于生成場景參數(shù)值的方法仍然適用于這些場景。本課題組正在研究側(cè)重于如何使用駕駛員行為模型評價自動駕駛汽車可能響應本車車輛行為的場景。

由于使用KDE，生成的場景參數(shù)代表數(shù)據(jù)的變化。然而，如果數(shù)據(jù)不包含可能導致危急情況的場景，例如即使使用了重要性采樣 [10]、[53]、[54]，也不太可能生成緊急制動操作或魯莽的邊緣場景。因此，在將生成的場景用于自動駕駛汽車（安全）評估時，重要的是要有足夠的數(shù)據(jù)以使數(shù)據(jù)包含此類場景。盡管尚未就所需的數(shù)據(jù)量達成共識，但已經(jīng)提出了一些指標 [39]、[59]，用于確定在使用數(shù)據(jù)評估自動駕駛汽車時是否收集了足夠的數(shù)據(jù)。

本研究采用Wasserstein指標來提出SR指標來評估生成的場景參數(shù)。本文章說明了提出的指標如何用于確定適當數(shù)量的參數(shù) () 以及用于對場景參數(shù)的 PDF 建模的分布類型。此外，帶寬或帶寬矩陣也可以通過SR指標進行優(yōu)化。

將來需要更多的研究來確定對修正權(quán)重β選擇造成怎樣影響，以及如何選擇最佳的修正權(quán)重。本研究已經(jīng)證明了一種方法來驗證β的初始選擇是否合適，但還不確定為什么的權(quán)重是合適的選擇。實際選擇可能取決于、、以及場景參數(shù)的基本分布的。未來對更大數(shù)據(jù)集的研究將能夠更好地確定最佳以及如何影響機制。

未來的工作包括本研究所提出的指標的使用，并結(jié)合替代方法來生成用于評估自動駕駛汽車的場景。例如，Spooner 等人使用GAN來創(chuàng)建行人過街場景[28][60]。GAN方法的困難之一是要知道GAN何時真正重構(gòu)了底層分布。目前已經(jīng)提出評估GAN性能的指標中，其中一個就是 Wasserstein指標，其能將生成的數(shù)據(jù)與測試數(shù)據(jù)進行比較[61]。本研究提出的指標基于數(shù)據(jù)集可以考慮用于評估GAN，因此為了判斷本研究提出的指標在以上應用中的潛力，需要更多的研究。

Ⅶ. 結(jié)論

開發(fā)評估方法對于部署自動駕駛汽車至關重要?；趫鼍暗脑u估，其中測試用例源自真實世界的道路交通場景，被認為是評估自動駕駛汽車的可行方法。本研究提出了一種生成參數(shù)化場景的方法，用于評估自動駕駛汽車的場景。為了不依賴一小組參數(shù)，本研究使用了奇異值分解 (SVD) 來減少參數(shù)。場景的參數(shù)值是通過從簡化的參數(shù)集的估計概率密度函數(shù) (PDF) 中抽取樣本來生成的。為了處理PDF的未知分布，本研究提出使用核密度估計 (KDE) 來估計 PDF。本研究還提出了一種新的指標，即所謂的場景代表性 (SR) 指標，它基于 Wasserstein 指標，用于評估生成的場景參數(shù)是否代表真實場景，同時涵蓋在真實世界交通中發(fā)現(xiàn)的相同種類。

一個案例研究說明了所提出的用于生成場景參數(shù)值的方法，該方法使用LVD場景和Cut-IN場景。案例研究還表明，所提出的指標正確量化了生成的場景參數(shù)值,其代表了真實世界場景，同時涵蓋了真實交通中發(fā)現(xiàn)的相同種類的場景。

未來的工作涉及將所提出的方法應用于更復雜的場景，例如包含多個不同參與者的場景，以生成基于場景的測試用例用于自動駕駛汽車的安全評估。此外，將重要性采樣應用于自動駕駛汽車的評估與生成場景的方法相結(jié)合將是有意義的。未來研究也包括調(diào)查使用建議的指標與生成評估自動駕駛汽車場景的替代方法相結(jié)合。

參考文獻

[1]    K. Bengler, K. Dietmayer, B. Farber, M. Maurer, C. Stiller, and H. Winner, “Three decades of driver assistance systems: Review and future perspectives,” IEEE Intell. Transp. Syst. Mag., vol. 6, no. 4, pp. 6–22, Oct. 2014.

[2]    J. E. Stellet, M. R. Zofka, J. Schumacher, T. Schamm, F. Niewels, and J. M. Z?llner, “Testing of advanced driver assistance towards automated driving: A survey and taxonomy on existing approaches and open questions,” in Proc. 18th Int. Conf. Intell. Transp. Syst., Sep. 2015, pp. 1455–1462.

[3]    P. Koopman and M. Wagner, “Challenges in autonomous vehicle testing and validation,” SAE Int. J. Transp. Saf., vol. 4, no. 1, pp. 15–24, Apr. 2016.

[4]    N. Kalra and S. M. Paddock, “Driving to safety: How many miles of driving would it take to demonstrate autonomous vehicle reliability?” Transp. Res. A, Policy Pract., vol. 94, pp. 182–193, Dec. 2016.

[5]    D. Zhao, X. Huang, H. Peng, H. Lam, and D. J. LeBlanc, “Accelerated evaluation of automated vehicles in car-following maneuvers,” IEEE Trans. Intell. Transp. Syst., vol. 19, no. 3, pp. 733–744, Mar. 2018.

[6]    S. Riedmaier, T. Ponn, D. Ludwig, B. Schick, and F. Diermeyer, “Survey on scenario-based safety assessment of automated vehicles,” IEEE Access, vol. 8, pp. 87456–87477, 2020.

[7]    H. Elrofai, J.-P. Paardekooper, E. de Gelder, S. Kalisvaart, and O. Op den Camp, “Scenario-based safety validation of connected and automated driving,” Netherlands Org. Appl. Sci. Res., TNO, The Hague, The Netherlands, Tech. Rep., 2018. [Online]. Available: http://publications.tno.nl/publication/34626550/AyT8Zc/TNO-2018streetwise.PDF

[8]    A. Pütz, A. Zlocki, J. Bock, and L. Eckstein, “System validation of highly automated vehicles with a database of relevant traffic scenarios,” in Proc. 12th ITS Eur. Congr., 2017, pp. 1–8. [Online].Available:https://www.pegasusprojekt.de/files/tmpl/PDF/12th%20ITS%20European%20Co% ngress_Folien.PDF

[9]    R. Krajewski, J. Bock, L. Kloeker, and L. Eckstein, “The high D dataset: A drone dataset of naturalistic vehicle trajectories on German highways for validation of highly automated driving systems,” in Proc. 21st Int. Conf. Intell. Transp. Syst. (ITSC), Nov. 2018, pp. 2118–2125.

[10]  E. de Gelder and J.-P. Paardekooper, “Assessment of automated driving systems using real-life scenarios,” in Proc. Intell. Veh. Symp. (IV), 2017, pp. 589–594.

[11]  J. Antona-Makoshi, N. Uchida, K. Yamazaki, K. Ozawa, E. Kitahara, and S. Taniguchi, “Development of a safety assurance process for autonomous vehicles in Japan,” in Proc. 26th Int. Tech. Conf. Enhanced Saf. Veh. (ESV), 2019, pp. 1–18. [Online]. Available: https://wwwesv.nhtsa.dot.gov/Proceedings/26/26ESV-000286.PDF

[12]  G. H. Golub and C. F. Van Loan, Matrix Computations, vol. 3.Baltimore, MD, USA: John Hopkins Univ. Press, 2013.

[13]  M. Rosenblatt, “Remarks on some nonparametric estimates of a density function,” Ann. Math. Statist., vol. 27, no. 3, pp. 832–837, 1956.

[14]  E. Parzen, “On estimation of a probability density function and mode,” Ann. Math. Statist., vol. 33, no. 3, pp. 1065–1076, Sep. 1962.

[15]  L. Rüschendorf, “The Wasserstein distance and approximation theorems,” Probab. Theory Rel. Fields, vol. 70, no. 1, pp. 117–129, 1985.

[16]  L. Li, W.-L. Huang, Y. Liu, N.-N. Zheng, and F.-Y. Wang, “Intelligence testing for autonomous vehicles: A new approach,” IEEE Trans. Intell. Veh., vol. 1, no. 2, pp. 158–166, Jun. 2016.

[17]  U. Lages, M. Spencer, and R. Katz, “Automatic scenario generation based on laserscanner reference data and advanced offline processing,” in Proc. Intell. Vehicles Symp. (IV), Jun. 2013, pp. 146–148.

[18]  M. R. Zofka, F. Kuhnt, R. Kohlhaas, C. Rist, T. Schamm, and J. M. Z?llner, “Data-driven simulation and parametrization of traffic scenarios for the development of advanced driver assistance systems,” in Proc. 18th Int. Conf. Inf. Fusion, Jul. 2015, pp. 1422–1428. [Online]. Available: https://ieeexplore.ieee.org/abstract/document/7266724

[19]  L. Stepien et al., “Applying heuristics to generate test cases for automated driving safety evaluation,” Appl. Sci., vol. 11, no. 21, p. 10166, Oct. 2021.

[20]  S. Feng, Y. Feng, C. Yu, Y. Zhang, and H. X. Liu, “Testing scenario library generation for connected and automated vehicles, Part I: Methodology,” IEEE Trans. Intell. Transp. Syst., vol. 22, no. 3, pp. 1573–1582, Mar. 2021.

[21]  S. Thal et al., “Incorporating safety relevance and realistic parameter combinations in test-case generation for automated driving safety assessment,” in Proc. Intell. Transp. Syst. Conf. (ITSC), 2020, pp. 666–671.

[22]  S.     Feng,      Y.    Feng,      X.   Yan,S.    Shen,      S.    Xu,  and  H.   X.   Liu, “Safety assessment of highly automated driving systems in test tracks: A new framework,” Accident Anal. Prevention, vol. 144, Mar. 2020, Art. no. 105664.

[23]  L. Li, N. Zheng, and F.-Y. Wang, “A theoretical foundation of intelligence testing and its application for intelligent vehicles,” IEEE Trans. Intell. Transp. Syst., vol. 22, pp. 6297–6306, 2020.

[24]  S. Feng, X. Yan, H. Sun, Y. Feng, and H. X. Liu, “Intelligent driving intelligence test for autonomous vehicles with naturalistic and adversarial environment,” Nature Commun., vol. 12, no. 1, pp. 1–14, Dec. 2021.

[25]  M. Koren, S. Alsaif, R. Lee, and M. J. Kochenderfer, “Adaptive stress testing for autonomous vehicles,” in Proc. Intell. Veh. Symp. (IV), 2018, pp. 1898–1904.

[26]  A. Corso and M. J. Kochenderfer, “Interpretable safety validation for autonomous vehicles,” in Proc. 23rd Int. Conf. Intell. Transp. Syst. (ITSC), 2020, pp. 1–6.

[27]  F. Schuldt, A. Reschka, and M. Maurer, “A method for an efficient, systematic test case generation for advanced driver assistance systems in virtual environments,” in Automotive Systems Engineering II. Cham, Switzerland: Springer, 2018, pp. 147–175.

[28]  J. Spooner, V. Palade, M. Cheah, S. Kanarachos, and A. Daneshkhah, “Generation of pedestrian crossing scenarios using ped-cross generative adversarial network,” Appl. Sci., vol. 11, no. 2, p. 471, Jan. 2021.

[29]  O. Gietelink, “Design and validation of advanced driver assistance systems,” Ph.D. dissertation, Transp. Res. Centre Delft, Delft Univ. Technol., Delft, The Netherlands, 2007. [Online]. Available: http://resolver.tudelft.nl/uuid:b2f0e7f6-6255-4932-8b5e-d3ef67cd81ec

[30]  S. H. Cha, “Comprehensive survey on distance/similarity measures between probability density functions,” Int. J. Math. Models Methods Appl. Sci., vol. 1, no. 4, pp. 300–307, Nov. 2007.

[31]  S. Kullback and R. A. Leibler, “On information and sufficiency,” Ann. Math. Statist., vol. 22, no. 1, pp. 79–86, 1951.

[32]  D. Zhao et al., “Accelerated evaluation of automated vehicles safety in lane-change scenarios based on importance sampling techniques,” IEEE Trans. Intell. Transp. Syst., vol. 18, no. 3, pp. 595–607, Mar. 2017.

[33]  D. W. Scott, Multivariate Density Estimation: Theory, Practice, and Visualization. Hoboken, NJ, USA: Wiley, 1992.

[34]  E. de Gelder et al., “Towards an ontology for scenario definition for the assessment of automated vehicles: An object-oriented framework,” IEEE Trans. Intell. Veh., early access, Jan. 25, 2022, doi: 10.1109/TIV.2022.3144803.

[35]  C. de Boor, A Practical Guide to Splines, vol. 27. New York, NY, USA: Springer, 1978.

[36]  H. Abdi and L. J. Williams, “Principal component analysis,” Wiley Interdiscipl. Rev., Comput. Statist., vol. 2, no. 4, pp. 433–459, 2010.

[37]  B. A. Turlach, “Bandwidth selection in kernel density estimation: A review,” Inst. Statistik ?konometrie, Humboldt-Univ. Berlin, Berlin, Germany, Tech. Rep., 1993.

[38]  T. Duong, “KS: Kernel density estimation and kernel discriminant analysis for multivariate data in R,” J. Stat. Softw., vol. 21, no. 7, pp. 1–16, 2007.

[39]  E. de Gelder, J.-P. Paardekooper, O. Op den Camp, and B. De Schutter, “Safety assessment of automated vehicles: How to determine whether we have collected enough field data?” Traffic Injury Prevention, vol. 20, no. S1, pp. 162–170, 2019.

[40]  E. de Gelder, E. Cator, J.-P. Paardekooper, O. Op den Camp, and B. De Schutter, “Constrained sampling from a kernel density estimator to generate scenarios for the assessment of automated vehicles,” in Proc. Intell. Veh. Symp. Workshops, 2021, pp. 203–208.

[41]  R. P. W. Duin, “On the choice of smoothing parameters for Parzen estimators of probability density functions,” IEEE Trans. Comput., vol. C-25, no. 11, pp. 1175–1179, Nov. 1976.

[42]  A. Z. Zambom and R. Dias, “A review of kernel density estimation with applications to econometrics,” Int. Econ. Rev., vol. 5, no. 1, pp. 20–42, 2013. [Online]. Available: http://www.era.org.tr/makaleler/13120083.PDF

[43]  A. Gramacki, Nonparametric Kernel Density Estimation Its Comput. Aspects, J. Kacprzyk, Ed. Cham, Switzerland: Springer, 2018.

[44]  Y. Rubner, C. Tomasi, and L. J. Guibas, “The earth mover’s distance as a metric for image retrieval,” Int. J. Comput. Vis., vol. 40, no. 2, pp. 99–121, Nov. 2000.

[45]  M. Sommerfeld and A. Munk, “Inference for empirical Wasserstein distances on finite spaces,” J. Roy. Stat. Soc., Ser. B Stat. Methodol., vol. 80, no. 1, pp. 219–238, Jan. 2018.

[46]  J.-P. Paardekooper et al., “Automatic identification of critical scenarios in a public dataset of 6000 km of public-road driving,” in 26th Int. Tech. Conf. Enhanced Saf. Veh. (ESV), 2019, pp. 1–8. [Online]. Available: https://www-esv.nhtsa.dot.gov/Proceedings/26/26ESV-000255.PDF

[47]  J. Elfring, R. Appeldoorn, S. van den Dries, and M. Kwakkernaat, “Effective world modeling: Multisensor data fusion methodology for automated driving,” Sensors, vol. 16, no. 10, pp. 1–27, 2016.

[48]  E. de Gelder, J. Manders, C. Grappiolo, J.-P. Paardekooper, O. Op den Camp, and B. De Schutter, “Real-world scenario mining for the assessment of automated vehicles,” in Proc. Int. Transp. Syst. Conf. (ITSC), 2020, pp. 1073–1080.

[49]  B. Doerr and A. M. Sutton, “When resampling to cope with noise, use median, not mean,” in Proc. Genetic Evol. Comput. Conf., Jul. 2019, pp. 242–248.

[50]  B. Efron, “Bootstrap methods: Another look at the jackknife,” in Breakthroughs Statistics. New York, NY, USA: Springer, 1992, pp. 569–593.

[51]  S. Siegel, “Nonparametric statistics,” Amer. Stat., vol. 11, no. 3, pp. 13–19, Jun. 1957.

[52]  R. Y. Rubinstein and D. P. Kroese, Simulation Monte Carlo Method. Hoboken, NJ, USA: Wiley, 2016.

[53]  S. Jesenski, N. Tiemann, J. E. Stellet, and J. M. Z?llner, “Scalable generation of statistical evidence for the safety of automated vehicles by the use of importance sampling,” in Proc. 23rd Int. Conf. Intell. Transp. Syst. (ITSC), 2020, pp. 1–8.

[54]  Y. Xu, Y. Zou, and J. Sun, “Accelerated testing for automated vehicles safety evaluation in cut-in scenarios based on importance sampling, genetic algorithm and simulation applications,” J. Intell. Connected Veh., vol. 1, no. 1, pp. 28–38, Oct. 2018.

[55]  M. P. Holmes, A. G. Gray, and C. Lee Isbell, “Fast nonparametric conditional density estimation,” 2012, arXiv:1206.5278.

[56]  M. Althoff, M. Koschi, and S. Manzinger, “CommonRoad: Composable benchmarks for motion planning on roads,” in Proc. IEEE Intell. Veh. Symp. (IV), Jun. 2017, pp. 719–726.

[57]  M. Treiber, A. Hennecke, and D. Helbing, “Congested traffic states in empirical observations and microscopic simulations,” Phys. Rev. E, Stat. Phys. Plasmas Fluids Relat. Interdiscip. Top., vol. 62, no. 2, pp. 1805–1824, Aug. 2000.

[58]  A. Kesting, M. Treiber, and D. Helbing, “General lane-changing model MOBIL for car-following models,” Transp. Res. Rec., vol. 1999, pp. 86–94, Jan. 2007.

[59]  W. Wang, C. Liu, and D. Zhao, “How much data are enough? A statistical approach with case study on longitudinal driving behavior,” IEEE Trans. Intell. Veh., vol. 2, no. 2, pp. 85–98, Jun. 2017.

[60]  I. J. Goodfellow et al., “Generative adversarial nets,” in Proc. 27th Int. Conf. Neural Inf. Process. Syst. (NIPS), vol. 2, 2014, pp. 2672–2680.

[61]  A. Borji, “Pros and cons of GAN evaluation measures,” Comput. Vis. Image Understand., vol. 179, pp. 41–65, Feb. 2019.