淺談自動(dòng)駕駛安全評估

作者簡介：小南郭，某OEM 智駕功能安全工程師，負(fù)責(zé)高低速智駕功能安全開發(fā)與流程管理。4年系統(tǒng)功能安全開發(fā)經(jīng)驗(yàn)，熟悉智駕產(chǎn)品功能安全&SOTIF方案。

自動(dòng)駕駛安全性的評估一直是行業(yè)發(fā)展的重點(diǎn)，如何對自動(dòng)駕駛進(jìn)行完整的安全論證，目前業(yè)界有哪些成熟或在研的方法？本文將就這些內(nèi)容展開討論。

自動(dòng)駕駛汽車什么時(shí)候上市？這個(gè)問題多年來一直困擾著汽車行業(yè)和社會。自動(dòng)駕駛技術(shù)的發(fā)展及實(shí)施在過去十年中取得了快速進(jìn)展，但如何證明這些系統(tǒng)安全性的挑戰(zhàn)尚未解決。

由于沒有安全證明（proof of safety）的市場投放，既不會被社會接受，也不會被立法者接受，因此近年來研究學(xué)者，企業(yè)等已投入大量時(shí)間和資源進(jìn)行安全評估，以開發(fā)有效評估的新方法。[1]在上一篇文章里有提到幾種安全評估的方法：real world test，scenario based test，formal verification，還提到MiR(Microscopic Risk,微觀風(fēng)險(xiǎn))指標(biāo)是針對scenario based test定義的指標(biāo)。本文將延續(xù)之前對可接受準(zhǔn)則的介紹，繼續(xù)探討如何對自動(dòng)駕駛功能進(jìn)行safety assessment（安全評估）。后面將主要介紹現(xiàn)在業(yè)界常見的自動(dòng)駕駛安全評估方法以及其優(yōu)缺點(diǎn)。

在評估自動(dòng)駕駛汽車的安全性時(shí)，必須考慮各個(gè)方面。首先，必須確保安全功能（即所謂的預(yù)期功能安全，SOTIF），它側(cè)重于在沒有EE故障的情況下可能因功能不足而引發(fā)危險(xiǎn)的預(yù)期功能。另一方面是確保預(yù)期功能不會因系統(tǒng)硬件或軟件中的隨機(jī)和系統(tǒng)故障（功能安全），而引起危害。本文確定將主要關(guān)注前者，即預(yù)期功能安全評估。[1]

目前業(yè)界有多種方法可用于評估ADS的預(yù)期功能安全，如圖 1 所示。包括Real world test，Scenario based test，F(xiàn)ormal verification，Shadow mode，F(xiàn)unction based test，F(xiàn)unction based testing。這些方法可用來評估自動(dòng)駕駛系統(tǒng)，但各自有其優(yōu)缺點(diǎn)。

圖1：安全評估方法概覽

值得注意的是，在Scenario based test方法中，首先需對系統(tǒng)的安全性做出微觀評估，即MiR指標(biāo)評估，然后必須將其轉(zhuǎn)化為宏觀評估，MaR（Macroscopic Risk）評估，對應(yīng)上一篇文章提到的可接受準(zhǔn)則，比如ADS事故率。這里可能不太好理解，舉個(gè)例子，比如我們要評估ADS功能導(dǎo)致追尾這類危害場景的事故率，使用TTC作為風(fēng)險(xiǎn)評估的MiR危險(xiǎn)度量（critical metric），通過對場景數(shù)據(jù)的采集，分層，泛化得到具體場景，然后對ADS算法進(jìn)行仿真測試，可以得到各參數(shù)（距離，速度等）概率分布下具體場景的危急指標(biāo)（critical metric）。然后基于場景的概率以及critical metric，推導(dǎo)出ADS功能引起追尾的總體事故率MaR。

如何推導(dǎo)，可以采用極值理論（extreme value theory，EVT）來推測極端事件（在這里指交通事故）發(fā)生的概率。極值理論 (EVT) 通常用于將測量結(jié)果（這里可以理解為critical metric）外推到觀察時(shí)間內(nèi)未發(fā)生的不太可能的事件，核心思想利用統(tǒng)計(jì)學(xué)中的概率分布。它在金融和保險(xiǎn)數(shù)學(xué)中很流行。而AD 安全評估的挑戰(zhàn)與此示例類似：很難收集足夠的數(shù)據(jù)來估計(jì)嚴(yán)重事故的概率，因?yàn)樗鼈儤O為罕見。如果發(fā)現(xiàn)危急指標(biāo)從危急情況指向某一類別的事故，則可以使用 EVT 推斷其可能性。收集足夠危急情況所需的里程低于收集事故信息所需的里程。[10]

圖2：跟車場景的MiR設(shè)計(jì)[5]

MaR指系統(tǒng)的平均風(fēng)險(xiǎn)，例如致命事故的發(fā)生率，被稱為宏觀風(fēng)險(xiǎn)（Macroscopic Risk，MaR）。我們可以用單位時(shí)間（每年）事故發(fā)生的次數(shù)，如10^-6/a，或者單位里程事故發(fā)生的次數(shù)，如10^-6/Km。MiR指單一交通場景（如cut in，crossroads）中的風(fēng)險(xiǎn)稱為微觀風(fēng)險(xiǎn)（Microscopic Risk，MiR），比如我們常見的縱向風(fēng)險(xiǎn)指標(biāo)TTC（Time to collision），橫向指標(biāo)TTLC（Time to lane change）。

回到安全評估，以下將介紹圖1中各類方法的優(yōu)缺點(diǎn)。

Real world test

實(shí)際道路測試指使用帶ADS功能的測試車輛在真實(shí)環(huán)境中測試，需要預(yù)先設(shè)計(jì)測試的里程以及測試場景。測試?yán)锍掏ǔＳ煽山邮軠?zhǔn)則推導(dǎo)得出，而測試場景中應(yīng)考慮目標(biāo)物的類型，目標(biāo)物動(dòng)態(tài)行為，道路與車道結(jié)構(gòu)類型，光線，天氣等要素及其比例。在實(shí)際交通中測試足夠里程的情況下，可以估計(jì)兩次事故之間的平均距離（例如，使用泊松分布）。為了能夠充分說明ADS在一定程度上優(yōu)于人類，根據(jù)論文[8]的數(shù)據(jù)，則需要大約88億英里的測試。

圖3：證明故障率達(dá)到特定精度所需的里程數(shù)[8]

此方法的優(yōu)點(diǎn)是，整個(gè)系統(tǒng)是在現(xiàn)實(shí)條件下測試的，可以反映ADS在真實(shí)環(huán)境的系統(tǒng)表現(xiàn)。然而，經(jīng)濟(jì)代價(jià)較大，可以觸發(fā)具有挑戰(zhàn)性的情況但難以找全。

Staged introduction of AVs

分階段引入ADS的方法，首先仍然是基于real world test，其目的是通過限制車輛的ODD，以限制發(fā)生的交通狀況的數(shù)量，從而以經(jīng)濟(jì)可行的方式逐步增加功能可用的區(qū)域。比較嚴(yán)格的ODD例如，只有在良好的環(huán)境條件下，路中有物理隔離帶的結(jié)構(gòu)化道路的固定路段（如G2京滬高速）。在固定路段完成足夠的現(xiàn)場測試?yán)锍毯笤僦鸩酵茝V到其他高速公路。此外，也可以在測試車輛上配置安全員，如果系統(tǒng)出錯(cuò)時(shí)，他可以立即干預(yù)。經(jīng)過一定里程后車輛被評估為安全的，則可以逐漸增加ODD和／或取消安全員。許多傳統(tǒng)的Tier1，OEM，主要采用此方式，比如戴姆勒和博世。很多L4的公司，也在固定區(qū)域配置安全員進(jìn)行無人載客的嘗試。但其實(shí)此方法仍然需要大量的實(shí)際道路測試，總體成本較高。[1]

Formal verification

形式驗(yàn)證為系統(tǒng)提供了抽象數(shù)學(xué)模型的形式證明，換句話說，如果系統(tǒng)表現(xiàn)能滿足設(shè)計(jì)的數(shù)學(xué)模型，則認(rèn)為其是安全可靠的。比較有代表性的是 Mobileye的RSS模型與英偉Safety Force Field（安全力場理論）。

RSS定義了自動(dòng)駕駛汽車應(yīng)遵循的五大準(zhǔn)則，這些準(zhǔn)則參照主流交通規(guī)則和駕駛常識，同時(shí)形式化定義了自動(dòng)駕駛的危險(xiǎn)場景，形式化定義了自動(dòng)駕駛汽車在危險(xiǎn)場景下應(yīng)做出的合理行為，并聲稱如果所有車輛（包括人類駕駛的車）都遵循RSS模型，則不會出現(xiàn)任何事故。

規(guī)則1：保持縱向安全距離（Safety Distance）

規(guī)則2：保持橫向安全距離（Cutting in）

規(guī)則3：不要搶路權(quán)（Right of Way）

規(guī)則4：要注意視野被遮擋的情況（Limited Visibility）

規(guī)則5：如果能避免碰撞，要盡力避免，可以突破規(guī)則1-4，但不能引發(fā)新的碰撞（Avoid Crashes）[6]

形式驗(yàn)證是簡單有效的方法，但RSS基于的假設(shè)是感知輸入的數(shù)據(jù)不會出錯(cuò)，因此更適合對決策規(guī)劃進(jìn)行安全評估，或者與其他評估方法聯(lián)合使用。

圖4：RSS模型縱向安全距離公式（Mobileye）[6]

圖5：各交通參與者安全力場（Nvidia）[7]

Scenario-based Testing

基于場景的測試是目前安全評估研究的重要方向。首先要區(qū)分幾個(gè)概念，scene，scenario，situation（詳見文獻(xiàn)[4]），scenario是scene的時(shí)間序列，場景包括靜態(tài)和動(dòng)態(tài)元素，以及所有交通參與者，和這些參與者之間的關(guān)系?；趫鼍暗臏y試將被測對象暴露于（預(yù)）定義的場景，并評估其反應(yīng)[2]。國外比較有名的PEGASUS項(xiàng)目就是基于場景的測試方法，其主要步驟如下：

1. 建立場景數(shù)據(jù)集：基于實(shí)際數(shù)據(jù)與知識經(jīng)驗(yàn)得到數(shù)據(jù)集；

2. 構(gòu)建具體測試場景：由功能場景，邏輯場景，逐步細(xì)化得到可執(zhí)行測試的具體場景，其中涉及到危險(xiǎn)場景的識別與具體場景參數(shù)的泛化；

3. 測試評估自動(dòng)駕駛功能：通過合理分配仿真測試，場地測試，現(xiàn)場測試，驗(yàn)證ADS功能；

4. 安全論證：收集論點(diǎn)，對ADS功能安全性形式化論證。

Note：功能場景指非形式化，人可讀，基于行為描述的交通場景。邏輯場景指系列場景參數(shù)化展示，范圍及分布確定，具體場景的場景參數(shù)為確定值。

圖6：PEGASUS項(xiàng)目簡介（來源PEGASUS項(xiàng)目）

基于場景的測試在汽車行業(yè)中已經(jīng)是一種比較成熟的測試方法，用于開發(fā)、認(rèn)證和評級目的，盡管它的名稱不同?；趫鼍暗?ADAS 和 AD 測試之間的主要區(qū)別在于場景抽象級別（相關(guān)參數(shù)的數(shù)量）和定義相關(guān)場景的來源。ADAS 場景主要基于事故統(tǒng)計(jì)數(shù)據(jù)，出于評級目的 (NCAP)，場景被顯著簡化（例如，理想的傳感條件、廣闊的試驗(yàn)場等）。AD 場景基于各種來源，事故統(tǒng)計(jì)的經(jīng)驗(yàn)數(shù)據(jù)、現(xiàn)場測試/自然駕駛研究和以前的測試（包括模擬）結(jié)果，以及基于頭腦風(fēng)暴、經(jīng)驗(yàn)、演繹。[2]

個(gè)人理解，基于場景的測試有以下幾個(gè)難點(diǎn)和重點(diǎn)：

1. 不論是實(shí)際路采數(shù)據(jù)，專家經(jīng)驗(yàn)還是事故數(shù)據(jù)，組成的場景數(shù)據(jù)庫，如何保證場景庫（scenario database）的完整性？

2. 以高速公路為例，單調(diào)低風(fēng)險(xiǎn)的場景占大多數(shù)，如何從場景數(shù)據(jù)集中篩選出危險(xiǎn)場景構(gòu)建場景庫？比如通過 critical metric（類似TTC這些指標(biāo)）篩選場景，如何設(shè)計(jì) critical metric以適應(yīng)各類場景下的危險(xiǎn)度量？

3. 當(dāng)篩選出危險(xiǎn)場景后，如何對場景特征參數(shù)泛化以達(dá)到足夠的場景覆蓋度，以及場景的概率分布如何提取，特征參數(shù)之間的物理約束如何考慮？

4. 測試方式包括基于仿真，場地，實(shí)際道路測試，仿真環(huán)境下如何保證傳感器模型與實(shí)際

5. 物理表現(xiàn)一致，需要做哪些 qualification？實(shí)際道路測試又需要對哪些場景采樣，對應(yīng)的比例需要如何設(shè)計(jì)？

6. 測試覆蓋度如何保證，才能聲明基于場景的ADS功能測試是充分的？

7. 基于場景的測試得到的是具體場景的危險(xiǎn)度量，也就是微觀指標(biāo)（MiR），如何推導(dǎo)出系統(tǒng)的平均風(fēng)險(xiǎn)度量（MaR）？

其中有些問題PEGASUS及其他類似項(xiàng)目已經(jīng)給出部分解決方案，有些仍然還在探索，涉及的內(nèi)容較多，在這里暫不展開討論。

Shadow Mode

影子模式是特斯拉測試新功能的常用方法，指在有人駕駛狀態(tài)下，系統(tǒng)包括傳感器仍然運(yùn)行但并不參與車輛控制，只是對決策算法進(jìn)行驗(yàn)證——系統(tǒng)的算法在“影子模式”下做持續(xù)模擬決策，并且把決策與駕駛員的行為進(jìn)行對比，一旦兩者不一致，該場景便被判定為“極端工況”，進(jìn)而觸發(fā)數(shù)據(jù)回傳。

然而，在模擬環(huán)境中其他道路使用者的行為與現(xiàn)實(shí)不相符，所以在驗(yàn)證ADS算法是有一定局限性。主要因?yàn)槠渌缆肥褂谜咭哺鶕?jù)自動(dòng)駕駛的行為規(guī)劃他們的行動(dòng)。如果某種情況下的人駕做出的決定與ADS不同，那么可能另一個(gè)道路使用者會做出不同的決定。

圖7：特斯拉影子模式（來源九章智駕）

Function based test

在基于功能的測試中，首先根據(jù)需求定義系統(tǒng)功能與use case，然后在測試場或模擬環(huán)境中進(jìn)行測試。這是ADAS測試過程中常用的方式。當(dāng)前的 ISO 標(biāo)準(zhǔn)（例如自適應(yīng)巡航控制的 ISO 15622）和 UN ECE 法規(guī)（例如高級緊急制動(dòng)系統(tǒng)的 UN ECE R131）遵循基于功能的方法，為各個(gè)系統(tǒng)定義了一些固定測試。但對ADS來說很難，因?yàn)椴豢赡茉诿總€(gè)可能的場景下定義ADS所需的功能。[1]

圖8：直線道路上的距離探測能力（來源ISO15622）

此外多種測試方式共同用于ADS的安全評估也得到越來越多的共識，有些傳感器供應(yīng)商對其產(chǎn)品的安全驗(yàn)證結(jié)合了Scenario-based Testing與Real world test，如圖，Ibeo激光雷達(dá)的考慮了隨機(jī)道路測試與基于場景測試，以達(dá)到最終的安全論證，發(fā)現(xiàn)基于場景的測試能更好地發(fā)現(xiàn)長尾場景。

圖9：Ibeo激光雷達(dá)測試簡介

（來源Ibeo公開材料，如有侵權(quán)，請及時(shí)聯(lián)系）

總結(jié)

所有方法都有不能忽視的缺點(diǎn)。在實(shí)際交通中進(jìn)行的測試可能具有最好的有效性，但在SOP之前完成這項(xiàng)工作是不可行的。形式驗(yàn)證可以對決策與規(guī)劃算法有較好的評估，但無法解決感知的limitation。基于場景的測試是一種經(jīng)濟(jì)有效的方法，但是需要有效的仿真模型，并且需要將微觀指標(biāo)轉(zhuǎn)換為系統(tǒng)平均風(fēng)險(xiǎn)度量。個(gè)人認(rèn)為，需要采用一種綜合方法來最終安全論證引入ADS的殘余風(fēng)險(xiǎn)是可接受的。以上就是個(gè)人的粗見，如有疏漏，還請各位專家見諒。

參考文獻(xiàn)

[1]STEFAN RIEDMAIER.etc. Survey on Scenario-based Safety Assessment of Automated Vehicles. Received March 19, 2020, accepted April 23, 2020, date of publication May 11, 2020, date of current version May 21, 2020

[2]Philipp Junietz, etc. evaluation of Different Approaches to Address Safety Validation of Automated Driving 2018 21st International Conference on Intelligent Transportation Systems (ITSC) Maui, Hawaii, USA, November 4-7, 2018

[3]N. Kalra and S. M. Paddock, “Driving to safety: How many miles of driving would it take to demonstrate autonomous vehicle reliability?” Transp. Res. A, Policy Pract., vol. 94, pp. 182–193, Dec. 2016. [Online]. Available: 

[4]Simon Ulbrich, Till Menzel, etc. Defining and Substantiating the Terms Scene, Situation, and Scenario for Automated Driving. 2015 IEEE 18th International Conference on Intelligent Transportation Systems

[5]Philipp Matthias Junietz, M.Sc. Microscopic and Macroscopic Risk Metrics for the Safety Validation of Automated Driving. Ph.D. dissertation, Tech. Univ. Darmstadt, Darmstadt, Germany, 2019 Bibliography

[6]Shai Shalev-Shwartz, Shaked Shammah & Amnon Shashua (2017): On a Formal Model of Safe and Scalable Self-driving Cars. arXiv:1708.06374.

[7] An Introduction to the Safety Force Field David Nistér, Hon-Leung Lee, Julia Ng, Yizhou Wang. NVIDIA Corporation 2788 San Tomas Expressway, Santa Clara, CA 95051 http://www.nvidia.com.

[8] Nidhi Kalra , Susan M. Paddock. Driving to safety: How many miles of driving would it take to demonstrate autonomous vehicle reliability?

[9] https://www.pegasusprojekt.de/en/

[10] Praprut Songchitruksa. The extreme value theory approach to safety estimation. Accident Analysis and Prevention 38 (2006) 811–822