*本文翻譯自Juan R.Pimental所著Safety of the Intended Functionality (SOTIF) Book 3 - Automated Vehicle Safety Series，中文版權(quán)歸軒轅實(shí)驗(yàn)室所有
驗(yàn)證高度自動(dòng)化車輛(HAVs)的安全性是一項(xiàng)重大的自動(dòng)駕駛挑戰(zhàn)。HAV安全驗(yàn)證策略僅僅基于原始的道路測(cè)試是不可行的。雖然模擬和使用邊緣案例場(chǎng)景可以幫助降低驗(yàn)證成本，但如果不采用驗(yàn)證數(shù)據(jù)收集和安全分析的更細(xì)致的觀點(diǎn)，僅使用這些技術(shù)不太可能為全面部署提供足夠的保證。驗(yàn)證方法可以通過(guò)使用高保真度測(cè)試來(lái)顯式驗(yàn)證低保真度測(cè)試的假設(shè)和簡(jiǎn)化，而不僅僅是獲得低保真度測(cè)試結(jié)果的抽樣復(fù)制，從而得到改進(jìn)。分離多個(gè)測(cè)試目標(biāo)可以通過(guò)分離需求的驗(yàn)證過(guò)程、環(huán)境模型的充分性、自治正確性、自治健壯性和測(cè)試場(chǎng)景的可靠性來(lái)提供幫助。對(duì)于具有隱式設(shè)計(jì)和需求的自主方法，如機(jī)器學(xué)習(xí)訓(xùn)練數(shù)據(jù)集，在主要結(jié)構(gòu)中建立觀察點(diǎn)可以幫助確保車輛在正確的原因下通過(guò)正確的測(cè)試。這些原則可以提高證明HAV安全性的效率和效率，作為包括驅(qū)動(dòng)測(cè)試和生命周期監(jiān)控以及階段性驗(yàn)證計(jì)劃（用于明確管理驗(yàn)證不確定性的）的一部分。
1 簡(jiǎn)介

盡管面臨著跨學(xué)科的重大挑戰(zhàn)，高自動(dòng)化車輛(HAVs)的大規(guī)模部署似乎迫在眉睫。目前，還沒(méi)有就驗(yàn)證這些車輛的非傳統(tǒng)軟件方面的安全性的技術(shù)策略達(dá)成普遍共識(shí)?？紤]到NHTSA（國(guó)家公路交通安全管理局）對(duì)自動(dòng)車輛技術(shù)安全的非監(jiān)管方法，似乎只要開(kāi)發(fā)團(tuán)隊(duì)認(rèn)為他們的車輛準(zhǔn)備好了，就會(huì)部署許多HAV，然后他們就會(huì)看到公共道路上的情況如何。即使試點(diǎn)部署的事故發(fā)生率低到可以接受的程度，但仍存在一個(gè)問(wèn)題：有限規(guī)模的部署能否準(zhǔn)確預(yù)測(cè)更大規(guī)模部署的安全性，以及隨之而來(lái)的軟件更新。
我們經(jīng)?？吹竭@樣的聲明：累積道路里程將驗(yàn)證HAV系統(tǒng)的安全性，特別是在試圖描述開(kāi)發(fā)工作進(jìn)展的情況下。即使提到了其他形式的驗(yàn)證，對(duì)這個(gè)主題更全面的討論仍然傾向于著重強(qiáng)調(diào)測(cè)試的作用。然而，即使使用封閉的車道和高可靠性的模擬，在部署之前進(jìn)行的車輛水平測(cè)試的數(shù)量也是有限制的。
本文的范圍是驗(yàn)證需要超越ISO 26262規(guī)范，并強(qiáng)調(diào)SAE 4級(jí)自治。第4級(jí)HAV只需要在指定的運(yùn)行設(shè)計(jì)域(ODD)內(nèi)進(jìn)行自主操作，這就避免了系統(tǒng)在特定的條件下運(yùn)行。
一種超越里程積累的HAV自主安全驗(yàn)證方法是非?？扇〉摹Ｗ詈?，它還應(yīng)該基于一個(gè)偽造的方法，包括具體的，可測(cè)試的安全目標(biāo)和要求。本文提出了一些方法來(lái)提高HAV有效性，從而得到一個(gè)更合理的安全論證。分層的驗(yàn)證步驟可以幫助支持這樣一個(gè)結(jié)論，即HAV系統(tǒng)是可接受的安全的，即使在沒(méi)有完全規(guī)定的自動(dòng)功能的傳統(tǒng)功能需求集的情況下也是如此。
方法

我們相信，HAV的驗(yàn)證工作可以通過(guò)應(yīng)用以下理念得到顯著加強(qiáng):
1．通過(guò)分別管理需求驗(yàn)證和設(shè)計(jì)驗(yàn)證，將測(cè)試的不同目標(biāo)分開(kāi)。
2．在低保真度模擬和測(cè)試中，使用高保真度模擬和測(cè)試來(lái)減少由于假設(shè)和差異而產(chǎn)生的剩余風(fēng)險(xiǎn)。
3．在HAV體系結(jié)構(gòu)中提供可觀察性，來(lái)確保測(cè)試以合理的原因通過(guò)。
4．在安全參數(shù)中明確不確定性的管理。
盡管這些想法是基于某些領(lǐng)域的現(xiàn)有實(shí)踐，但是HAV技術(shù)的新穎性和HAV商業(yè)化的速度促使我們對(duì)如何應(yīng)用這些想法來(lái)管理和降低HAV部署的風(fēng)險(xiǎn)進(jìn)行清晰、統(tǒng)一的描述。
術(shù)語(yǔ)

我們的術(shù)語(yǔ)通常與ISO 26262兼容。下列用語(yǔ)特別相關(guān):
風(fēng)險(xiǎn):對(duì)可能導(dǎo)致?lián)p失的事故的概率和后果的綜合衡量。
安全:沒(méi)有造成損失的意外事故的不合理風(fēng)險(xiǎn)。4級(jí)HAV損失事件包括可能由于HAV設(shè)計(jì)缺陷或操作故障而導(dǎo)致的死亡。對(duì)于最初的HAV部署，公共政策會(huì)對(duì)可能構(gòu)成合理風(fēng)險(xiǎn)的評(píng)估產(chǎn)生影響。
安全驗(yàn)證:證明系統(tǒng)級(jí)安全需求(安全目標(biāo))是確保一個(gè)可接受的安全水平的關(guān)鍵，并且已經(jīng)實(shí)現(xiàn)。
安全論證(安全案例):支持安全驗(yàn)證的書面論證和證據(jù)。
機(jī)器學(xué)習(xí)(ML):在系統(tǒng)設(shè)計(jì)中使用歸納學(xué)習(xí)的一種方法，其中運(yùn)行時(shí)系統(tǒng)使用學(xué)習(xí)過(guò)程的結(jié)果來(lái)執(zhí)行算法操作(例如，運(yùn)行具有預(yù)先計(jì)算的權(quán)值的深度卷積神經(jīng)網(wǎng)絡(luò))。本文假設(shè)在驗(yàn)證之前權(quán)重是固定的。驗(yàn)證在運(yùn)行時(shí)修改權(quán)重或以其他方式學(xué)習(xí)的動(dòng)態(tài)自適應(yīng)ML系統(tǒng)超出了本文的范圍。
2 汽車的測(cè)試和仿真

在描述提出的驗(yàn)證策略之前，首先回顧當(dāng)前HAV安全評(píng)估方法中測(cè)試和仿真的典型應(yīng)用。
在ISO 26262之外

處理許多潛在的設(shè)計(jì)和實(shí)現(xiàn)缺陷可以，而且應(yīng)該通過(guò)使用已建立的安全標(biāo)準(zhǔn)，如ISO 26262來(lái)完成。對(duì)于那些即使是一個(gè)完美工作的系統(tǒng)也可能不能提供完全安全的功能的領(lǐng)域，可以使用[9]來(lái)覆蓋預(yù)期功能的安全性(SOTIF)的新標(biāo)準(zhǔn)。SOTIF標(biāo)準(zhǔn)可能提供一種方法來(lái)處理具有統(tǒng)計(jì)有效功能的函數(shù)，例如基于雷達(dá)的障礙檢測(cè)函數(shù)。如[10]中所討論的，還必須解決針對(duì)基于MLB的系統(tǒng)的其他問(wèn)題?？偟膩?lái)說(shuō)，在功能性安全方法中，根據(jù)V模型進(jìn)行驗(yàn)證的典型問(wèn)題是ML系統(tǒng)功能對(duì)人是不透明的。這使得可跟蹤性問(wèn)題執(zhí)行可跟蹤性分析的人員不能分析設(shè)計(jì)工件。
我們并沒(méi)有根據(jù)V模型嘗試設(shè)計(jì)到測(cè)試的可跟蹤性方法，相反，我們探索了以測(cè)試為中心的方法在ISO 26262和SOTIF標(biāo)準(zhǔn)的實(shí)際應(yīng)用范圍之外可以做什么，這些標(biāo)準(zhǔn)并不是為ML驗(yàn)證設(shè)計(jì)的。
系統(tǒng)測(cè)試/調(diào)試/補(bǔ)丁作為基線策略

在自動(dòng)駕駛汽車原型設(shè)計(jì)中，道路測(cè)試一直是重點(diǎn)。機(jī)器人領(lǐng)域嚴(yán)重依賴于真實(shí)世界的測(cè)試，以便了解機(jī)器人需要什么特性。然而，隨著汽車從原型過(guò)渡到生產(chǎn)，驗(yàn)證方法必須變得更加全面。
將HAV安全論證完全建立在累積道路里程的基礎(chǔ)上是驗(yàn)證安全的一種不切實(shí)際的方法。這種方法需要大量的里程才能得出可信的統(tǒng)計(jì)數(shù)據(jù)。除此之外，累積的道路測(cè)試證據(jù)的有效性也會(huì)隨著軟件的變化而受到潛在的破壞，無(wú)論是對(duì)訓(xùn)練數(shù)據(jù)的更新，新行為的添加，還是僅僅是一個(gè)安全補(bǔ)丁。
作為一個(gè)實(shí)際問(wèn)題，如果在數(shù)十億英里的道路測(cè)試和模擬后，數(shù)據(jù)顯示HAV沒(méi)有達(dá)到預(yù)期的安全目標(biāo)，會(huì)發(fā)生什么?開(kāi)發(fā)團(tuán)隊(duì)(或者他們應(yīng)該)在發(fā)現(xiàn)任何觀察到的缺陷后，進(jìn)行另外的十幾億英里的道路測(cè)試嗎?或者團(tuán)隊(duì)只是修補(bǔ)那些容易復(fù)制的bug，測(cè)試幾英里，然后宣布勝利，然后繼續(xù)部署?來(lái)自市場(chǎng)競(jìng)爭(zhēng)的巨大壓力的現(xiàn)實(shí)將如何影響團(tuán)隊(duì)對(duì)結(jié)果的解釋和驗(yàn)證方法?
基本上，所有其他行業(yè)的軟件系統(tǒng)的功能安全驗(yàn)證都不是基于試用部署，而是基于測(cè)試和其他可以由獨(dú)立評(píng)估人員進(jìn)行評(píng)估的驗(yàn)證方法。如果HAV行業(yè)希望遵循這些先例，它將需要一種方法來(lái)建立一個(gè)系統(tǒng)的、可辯護(hù)的安全論證，可以由獨(dú)立的一方進(jìn)行評(píng)估，盡管存在許多獨(dú)特的驗(yàn)證挑戰(zhàn)。
車輛水平測(cè)試和仿真的局限性

實(shí)際上，不可能執(zhí)行足夠的普通系統(tǒng)級(jí)測(cè)試來(lái)確保生命關(guān)鍵系統(tǒng)的安全性。一般來(lái)說(shuō)，這是因?yàn)槠囓囮?duì)暴露在空氣中的時(shí)間太長(zhǎng)，對(duì)生命安全的要求又太嚴(yán)格，所以檢測(cè)無(wú)法積累足夠的暴露時(shí)間來(lái)證明安全性。
對(duì)于高速公路，測(cè)試不可行性問(wèn)題的一個(gè)表現(xiàn)是，異常情況必須安全處理，但在正常駕駛中相對(duì)少見(jiàn)。道路測(cè)試是觀察偶然發(fā)生的罕見(jiàn)事件的一種無(wú)效方法。通過(guò)將它們?cè)O(shè)置為明確設(shè)計(jì)的測(cè)試場(chǎng)景（例如，封閉過(guò)程測(cè)試）可以加速對(duì)已知罕見(jiàn)事件的暴露。通過(guò)將測(cè)試用例的分布向更復(fù)雜的已知場(chǎng)景傾斜，可以進(jìn)一步加速評(píng)估。例如，Waymo除了道路測(cè)試程序外，還使用封閉課程測(cè)試和廣泛的模擬。
由于資源的限制，即使覆蓋已知的場(chǎng)景也可能是具有挑戰(zhàn)性的，如果它只涉及到使用物理車輛。基于軟件的車輛仿真可以通過(guò)在多臺(tái)計(jì)算機(jī)上并行運(yùn)行仿真來(lái)擴(kuò)大測(cè)試場(chǎng)景的覆蓋范圍，但不可避免地會(huì)涉及保真度與運(yùn)行時(shí)成本之間的權(quán)衡，以及關(guān)于軟件模型的完整性和準(zhǔn)確性的問(wèn)題。模擬不包括模擬未預(yù)料到的情況(例如，未知的安全相關(guān)的罕見(jiàn)事件)的可能性。
影子模式駕駛和SAE 3級(jí)自動(dòng)駕駛部署可以通過(guò)監(jiān)視部署的車隊(duì)來(lái)增加對(duì)真實(shí)駕駛場(chǎng)景的暴露，其中人類駕駛員負(fù)責(zé)安全。然而，在三級(jí)系統(tǒng)中，人類駕駛員是否能夠有效地監(jiān)督安全存在爭(zhēng)議。
道路測(cè)試、封閉過(guò)程測(cè)試、仿真和對(duì)人工系統(tǒng)的監(jiān)控在演示HAV安全性方面都具有重要的地位。然而，為了同時(shí)有效和高效，它們應(yīng)該以一種互補(bǔ)的方式組織起來(lái)。(我們認(rèn)識(shí)到許多HAV開(kāi)發(fā)人員都有復(fù)雜但專用的驗(yàn)證方法。在本文中，我們假設(shè)一個(gè)樸素的里程計(jì)算基線方法來(lái)說(shuō)明這些問(wèn)題。)
仿真現(xiàn)實(shí)本身是低效的

當(dāng)被問(wèn)及為什么用真實(shí)車輛進(jìn)行道路測(cè)試比模擬測(cè)試更好時(shí)，一個(gè)典型的回答是它更真實(shí)。最終，在現(xiàn)實(shí)世界中測(cè)試一輛真實(shí)的汽車是很重要的。但是現(xiàn)實(shí)主義本身是對(duì)測(cè)試資源的無(wú)效的，并且最終是不可避免的。
仿真有效性的關(guān)鍵是具有適當(dāng)?shù)恼鎸?shí)性(仿真可靠性)來(lái)完成工作。眾所周知，所有的模型都是錯(cuò)誤的，但有些模型是有用的。由于模擬涉及系統(tǒng)模型、環(huán)境模型和系統(tǒng)使用模型，因此沒(méi)有模擬是完美的。
仿真的可靠性水平是對(duì)系統(tǒng)行為進(jìn)行簡(jiǎn)化和假設(shè)的程度。低保真度仿真通常通過(guò)使用簡(jiǎn)化的系統(tǒng)表示(有時(shí)稱為降階模型)來(lái)快速執(zhí)行，因此在某種意義上是錯(cuò)誤的。高可靠性仿真通常更復(fù)雜，執(zhí)行起來(lái)也更昂貴，但是包含的簡(jiǎn)化和假設(shè)更少，因此錯(cuò)誤更少。但是這兩種模型都是有用的。
提高測(cè)試效率的關(guān)鍵是要認(rèn)識(shí)到，并不是所有的現(xiàn)實(shí)主義對(duì)所有測(cè)試都有用。作為一個(gè)簡(jiǎn)單的例子，模擬路面摩擦系數(shù)通常與確定計(jì)算機(jī)視覺(jué)能力是否能看到路上的孩子無(wú)關(guān)。(摩擦系數(shù)可能與車輛是否能及時(shí)停車有關(guān)，但與特定的幾何和環(huán)境場(chǎng)景是否能檢測(cè)到兒童無(wú)關(guān)。)無(wú)論測(cè)試是在軟件模擬中(通過(guò)對(duì)不同路面進(jìn)行建模)，還是在模擬測(cè)試軌道場(chǎng)景中(通過(guò)在停機(jī)坪上的沙子或冰)，都是如此。
有效的仿真的關(guān)鍵是不僅要考慮被驗(yàn)證的系統(tǒng)，還要考慮系統(tǒng)和操作環(huán)境的各種可靠性模型所作的假設(shè)。因此，任何實(shí)際的驗(yàn)證都應(yīng)該被看作是一系列不同抽象和可靠性層次的模型。從這個(gè)角度看，封閉過(guò)程測(cè)試是模擬的一種形式，因?yàn)榧词股婕暗恼系K和車輛可能是真實(shí)的，場(chǎng)景也是模擬的。驗(yàn)證HAV安全性不僅需要確保HAV系統(tǒng)模型非常準(zhǔn)確，還需要驗(yàn)證用于創(chuàng)建測(cè)試計(jì)劃和測(cè)試模擬的環(huán)境和使用模型。