譯文

重新定義自動駕駛車輛的安全性

原文：Redefining Safety for Autonomous Vehicles

翻譯：季池、盧雪梨

審核：王葉、陳麗

基于計算機的系統(tǒng)安全的現有定義和相關概念框架應根據部署自主車輛的實際經驗進行重新審查。行業(yè)安全標準使用的當前術語強調減輕特定危險的風險，并基于人類監(jiān)督的車輛操作進行假設。沒有人類駕駛員的操作極大地增加了安全問題的范圍，特別是由于在開放世界環(huán)境中的運行、自我執(zhí)行運行限制的要求、參與系統(tǒng)的特定社會技術系統(tǒng)以及遵守法律和道德約束的要求?，F有的標準和術語只能部分解決這些新的挑戰(zhàn)。我們建議更新核心系統(tǒng)安全概念的定義，包括這些額外的考慮因素，作為演化安全方法的起點，以解決這些額外的安全挑戰(zhàn)。這些結果還可以為其他自動系統(tǒng)應用的安全術語框架提供信息。

01  引言

機器學習技術的廣泛應用要求我們重新審視計算機系統(tǒng)“安全”一詞的含義。是時候問一問，我們當前的安全定義是否適用于這樣的系統(tǒng)?，F有的定義框架可以進一步延伸，但已顯示出顯著的老化跡象。此外，由這些傳統(tǒng)定義所塑造的思維模式和流程本身也在這種新技術的沖擊下逐漸失效。

更新安全和相關術語的定義可以促進更穩(wěn)健的安全觀點。我們在現實世界中的自動駕駛汽車（AV）部署中，從已經看到的一些事件中找到了支撐我們提出的更新的基礎，并識別出了更廣泛的潛在主題。我們根據當前相關行業(yè)共識標準（ISO 26262、ISO 21448和UL 4600）中使用術語的發(fā)展需要，提出了一組更新的定義。

作為正在出現的問題類型的第一個例子，有許多關于舊金山自動駕駛出租車干擾應急響應操作的報告。這通常不涉及明顯危險的車輛運動，例如碰撞，而是涉及車輛為了減輕碰撞風險而使自己停滯在無法安全處理的情況下。然而，這種出于安全動機的行為可能會阻礙應急響應車輛的進展，從而增加社會風險。這不是當前安全標準的用戶通常預期的損失事件類型。

我們使用最近的自動車輛事故的例子來確定當前安全概念和術語的缺點。然后，我們提出了核心安全術語的調整定義。雖然我們在本文中關注的是術語和自動駕駛車輛，但這只是關于自治系統(tǒng)安全性的更廣泛討論的開始。技術的本質要求安全視角本身進行重大轉變和擴展，以應對這些挑戰(zhàn)。

本文的第2節(jié)使用與自動駕駛車輛安全相關的國際標準，總結了當前安全和相關概念的示例定義。在隨后的部分中，我們討論了這些定義為何在自動系統(tǒng)的要求下顯得力不從心，并通過現實世界的事件識別核心差距。然后，我們提出了更新的關鍵定義，以解決差距，同時不打破現有的安全工程實踐。

至于范圍，本文不涉及關于組織安全理念的討論，也不涉及如何最好地實現定義的安全目標，或如何將工程術語納入法規(guī)中。這些重要話題如安全改進方法和安全管理系統(tǒng)留待其他討論。同樣，危險識別和分析技術依然適用，但超出了我們的討論范圍。我們也承認，在法規(guī)領域有大量關于安全和風險的工作。這為我們的工作提供了信息，但我們并不尋求提出法規(guī)術語的重新定義——這將是另一篇論文的主題。

02  現有安全定義

從本質上講，我們的工作是探究在開發(fā)基于計算機的安全關鍵系統(tǒng)時，改變“安全”的本質——特別是必須在超越傳統(tǒng)功能安全和人類監(jiān)督系統(tǒng)安全的社會技術框架內運行的系統(tǒng)。

這項工作建立在初步工作發(fā)現的基礎上，即可接受的自動駕駛車輛安全需要的不僅僅是“優(yōu)于人類駕駛員”的凈風險方法。在這項工作中，我們確定了復雜的因素，包括：風險補貼，風險轉移，疏忽，響應者角色安全，指責的適當角色，標準一致性，監(jiān)管要求，道德問題，公平問題，以及風險的行為監(jiān)管問題而不是凈風險評估。但該工作未考慮是否應重新審視風險和安全語言本身以幫助解決所提出的問題。

首先，我們從自動駕駛車輛功能和系統(tǒng)安全標準的關鍵安全定義開始。汽車領域現有定義的首要概念是，汽車功能安全通常被認為是指不存在不合理風險（AUR），這通常在ISO 26262的一系列定義中有所描述。

2.1  ISO 26262

ISO 26262:2018是適用于道路車輛的功能安全標準，無論是否是自動駕駛。該標準第1部分的安全定義基于風險、危害和傷害的層次。核心定義概述如下，省略了交叉引用和支持注釋：

? 安全：不存在不合理的風險；

? 不合理風險：根據有效的社會道德觀念，在某種情況下被判定為不可接受的風險；

? 風險：傷害發(fā)生的可能性和傷害的嚴重程度的組合；

? 嚴重性：估計在潛在危險事件中可能對一個或多個人造成的傷害程度；

? 危險事件：危險和運行情況的組合；

? 危險：相關項故障行為造成的潛在危害來源；

? 傷害：人身傷害或人身損害；

? 故障行為：與其設計意圖有關的相關項故障或意外行為；

? 運行情況：車輛壽命期間可能發(fā)生的情況；

? 安全檔案：論證相關項或要素實現了功能安全，并通過從開發(fā)期間活動的工作產品中編譯的證據得到滿足。

在此我們停止進一步深入其他定義術語。就我們的目的而言，“相關項”是包括其運行時支持基礎設施的自動駕駛車輛，盡管根據標準它可以以其他方式解釋。故障與異常情況有關，包括由組件故障、軟件缺陷和任何其他來源引起的隨機故障和系統(tǒng)性故障。

作為一個功能安全標準，其重點是避免因故障行為而對人造成傷害。該方法隱含地假設，完美實現其設計意圖（包括風險緩解措施）的系統(tǒng)將是安全的。

在實踐中，汽車行業(yè)傾向于識別危險，分析每個危險的風險，并執(zhí)行緩解措施，以確保沒有個別危險導致不合理的風險。如果滿足該標準，則認為系統(tǒng)是安全的。

雖然在實踐中可能會發(fā)生這種情況，但沒有明確要求檢查多個不相關危險所帶來的風險之間的關系，量化整個系統(tǒng)所帶來的凈風險，也沒有要求考慮除違反設計意圖的故障行為以外的其他來源所帶來的風險。實際上，當車輛進入批量生產時被確定為安全，任何在發(fā)布后發(fā)現的安全缺陷本質上是由于有缺陷的開發(fā)或制造過程，可能導致監(jiān)管召回或制造商補救。標準中沒有在系統(tǒng)行為級別納入明確的數值故障率目標。然而，汽車安全完整性等級（ASIL）方法考慮了嚴重程度、暴露程度和可控性，以確定每個識別出的危險所需的緩解措施。對于沒有人類駕駛員來行使控制的車輛，解決可控性方面可能存在問題。

2.2  ISO 21448

ISO 21448:2022涵蓋了預期功能的安全性（SOTIF），擴展了ISO 26262的安全性定義，同時作為補充標準，范圍包括自動駕駛車輛的駕駛行為。

ISO 21448沒有改變風險和安全的定義，而是采用了ISO 26262的定義。然而，它確實增加了一個涵蓋SOTIF的新術語。同樣，列出的定義省略了支持材料：

? 預期功能的安全性（SOTIF）：不存在因預期功能或其實施的功能不足而導致的不合理風險；

? 危險：車輛級別的危險行為造成的潛在危害來源；

? 功能不足：規(guī)范不足或性能不足；

? 性能不足：導致危險行為的技術能力的限制，或在一個或多個觸發(fā)條件激活時，無法防止或檢測和緩解合理可預見的間接誤用；

? 運行設計域（ODD）：系統(tǒng)設計運行的特定條件。

SOTIF總體上處理兩種類型的功能不足，這通常超出了ISO 26262的范圍：（1）不完整的要求，以及（2）系統(tǒng)的技術局限性。功能不足可能在特定情況下產生危險行為，這被稱為觸發(fā)條件。

不完整需求方面旨在處理公共道路是復雜的運行環(huán)境這一事實。SOTIF方法基于減少“未知危險”場景類別，直到達到AUR（ISO 21448:2022圖8和圖10）。通過參考規(guī)范的潛在不足，確認需求差距的可能性。雖然本標準考慮了危險分析和場景識別所需的迭代實驗方法，但它假定可以制定足夠完整的規(guī)范，以在部署前實現AUR。它對危險的定義從ISO 26262中的定義進行了修改，以強調危險車輛級別的行為。

任何具有外部傳感器的系統(tǒng)的技術局限性將不可避免地需要基于有限的、不完整的、有噪聲的信息來建立外部世界的內部模型。并不是每個雷達脈沖都會產生回波。傳感器的范圍不是無限的。從任何特定傳感器的角度來看，一些對象被遮擋。并且各種類型的噪聲將把不確定性引入到外部世界的任何模型中。該標準認識到，盡管存在這些潛在的性能不足，但自動駕駛系統(tǒng)必須針對AUR進行設計。

同樣，重點是車輛的行為，一般假設損失事件主要是由于傳感器局限性、車輛行為缺陷或規(guī)范不足造成的碰撞。定義的運行設計域（ODD）概念的納入，在考慮安全的范圍限制方面提出了一個重要問題。在經典術語中，安全往往被限制在某個定義的ODD范圍內。例如，DEFSTAN 00-56中安全檔案的定義僅限于“給定的運行環(huán)境”[DEFSTAN00-56]。然而，關于如何將運行限制在該限定范圍內的考慮通常沒有得到解決，并且通常遵從一些人類操作員的判斷，例如應該避免在極端天氣條件下飛行的飛行員。對于自動系統(tǒng)，將安全性限制在定義的條件下是不夠的，因為某些參與者（默認情況下為自動系統(tǒng)）還必須通過避免在ODD之外操作來確保安全性。這可能包括拒絕在OOD之外開始任務，但也可能需要一些可接受的安全反應，以應對由于不可預見的情況或事件而在沒有足夠通知的情況下被強制彈出 ODD。因此，ODD 的執(zhí)行必須在安全范圍內。

2.3  ANSI/UL 4600

UL 4600是專門針對自動駕駛車輛的系統(tǒng)級安全標準[UL4600]。其術語旨在與ISO 26262和ISO 21448兼容，同時解決更廣泛的系統(tǒng)級范圍。定義與其他領域的安全標準進行了系統(tǒng)的協(xié)調，總結如下：

? 安全：在安全檔案定義的相關項級別具有可接受的緩解后風險；

? 可接受：足以達到安全檔案中確定的整體相關項風險；

? 風險：損失事件發(fā)生的可能性與損失事件嚴重程度的組合；

? 損失：實質性的不利后果，包括財產或環(huán)境損害、動物傷害或死亡、人員傷害或死亡；

? 安全檔案：由大量證據支持的結構化論證，提供令人信服的、可理解的和有效的案例，證明系統(tǒng)對于給定環(huán)境中的給定應用是安全的。

與前面討論的標準一樣，風險與特定損失事件的可能性和嚴重性有關。然而，風險可接受性的概念與整體相關項風險有關，而不是單個風險，例如高度推薦的相關項總風險求和方法（UL 4600提示要素6.1.1.3.）。此外，損失的定義超出了對人類的傷害，包含其他類型的負面結果。安全檔案的范圍擴大了，但其與術語“安全”定義的相互作用為安全檔案的作者提供了自由度。安全檔案的創(chuàng)建者有責任定義“安全”的含義，并確保安全檔案提供適當的論據，表明安全目標已經實現。安全檔案的定義來源為DEF Stan 00-56，將安全檔案的范圍限制到給定環(huán)境中的預定應用，如前所述。然而，UL 4600 提供了廣泛的提示要素列表，以鼓勵對 ODD 的潛在特殊方面進行穩(wěn)健的考慮。

2.4  其他安全定義

我們所知道的其他汽車安全標準，除了上面討論的那些之外，還采用了ISO 26262和可能的ISO 21448術語。

另一個在汽車行業(yè)被廣泛引用的安全定義是正風險平衡（PRB）。這是BMVI報告中提出的一個安全考慮因素。該報告還提出了其他對道德安全的限制，例如避免在無勝算的碰撞場景中使用個人特征來選擇受害者。但在更廣泛的汽車行業(yè)安全討論中，PRB通常被單獨挑出作為標準。

使用PRB作為唯一標準在很大程度上是有問題的，因為很難為人類駕駛車輛和自動駕駛車輛建立可比較的基線。盡管如此，它仍然是Waymo【Waymo23】和Cruise【Cruise23】在傳達安全信息時提出的主要標準。

在這樣的討論中，PRB通常被假定為產生AUR，盡管下一節(jié)中討論的AV安全問題的例子表明情況不一定如此。

AUR概念的一個重要監(jiān)管用戶是美國國家公路交通安全管理局（NHTSA）。當“該機構發(fā)現不合規(guī)或缺陷對安全造成不合理的風險”時，NHTSA會采取執(zhí)法行動。他們的方法往往有兩個要素。首先是符合聯(lián)邦機動車輛安全標準（FMVSS），該標準形成了一套主要適用于傳統(tǒng)車輛安全而不是自動駕駛車輛功能的特定安全功能的離散測試。

美國國家公路交通安全管理局（NHTSA）的第二個標準是，他們認為安全缺陷是一種特定的行為、設計缺陷或其他與損失事件模式相關的問題。美國國家公路交通安全管理局（NHTSA）可以展開調查并要求安全召回。美國國家公路交通安全管理局（NHTSA）的典型召回和調查涉及不符合美國聯(lián)邦汽車安全標準（FMVSS），或者較少涉及更難與特定技術缺陷聯(lián)系起來的事故和事件模式。美國國家公路交通安全管理局（NHTSA）的決定在歷史上沒有考慮車輛級別的凈PRB。

03  AV安全問題示例

在本節(jié)中，我們抽取了一些自動駕駛出租車在現實世界中遭受的事故和不幸事件，以便為識別當前安全術語的缺陷提供依據。這些例子來自自動駕駛出租車以及高度自動化的車輛。安全監(jiān)督員（人類駕駛員）是否在場對事故并無影響——在安全監(jiān)督員在場時發(fā)生的問題同樣可能在無人監(jiān)督時發(fā)生。

行人拖拽，一名行人被另一輛車撞倒，并被拋到一輛自動駕駛出租車的車道上。自動駕駛出租車急剎車但仍撞到了行人?？梢哉f，自動駕駛出租車本可以更具防御性地駕駛，以避免最初的撞擊。無論如何，在停下來之后，自動駕駛出租車失去了對行人的跟蹤。決定把車停在路邊，把行人拖到車下，結果行人幾乎完全被壓在車后。涉案的自動駕駛出租車公司試圖將此描述為一個不可預見的反常事件。盡管如此，在沒有首先確定剛剛被同一車輛撞擊的受傷行人的位置的情況下移動車輛是非常有問題的。

與消防車相撞，一輛自動駕駛出租車按照綠燈進入十字路口，但隨后與一輛消防車相撞，導致一名乘客受傷。消防車的緊急信號器（警笛、警燈、喇叭）處于活動狀態(tài)，并在響應緊急呼叫時通過交叉路口的紅燈。自動駕駛出租車沒有按照道路規(guī)則的要求向緊急車輛讓行。

撞上一輛公共汽車，一輛自動駕駛出租車在跟隨一輛帶有中體關節(jié)樞軸的長途公共汽車時發(fā)生了混亂。自動駕駛出租車跟蹤了巴士的前半部分，忽略了后半部分。然后它撞上了巴士的后半部分，因為跟蹤系統(tǒng)決定忽略檢測到的后半部分，而選擇前半部分。

干擾應急響應人員，舊金山市應急響應人員報告了至少55起自動駕駛出租車干擾其運營的事件，后來消防部門報告的事件增加到74。雖然沒有明確顯示任何事件會對人造成傷害，但這些事件存在風險，因為它們會延誤應急響應人員的工作，并需要應急響應人員的關注，而這些人員最好花在處理實際緊急情況上。

侵占封閉道路，已發(fā)生多起侵占封閉道路和緊急現場的事件，對車輛、車內人員和其他道路使用者構成潛在危險。例子包括：沿著街道拖著倒塌的電線和緊急現場黃色隔離帶，以及開車穿過施工區(qū)，結果卻陷入未干的混凝土中。

大規(guī)模擱淺，在各種情況下，發(fā)生了許多大規(guī)模車輛擱淺事件。其中一個引起特別關注的原因是，盡管該事件并不涉及發(fā)生擱淺的街道，但由于鄰近地理區(qū)域的音樂會活動導致移動電話系統(tǒng)過載，導致通信中斷。這引發(fā)了關于在由諸如地震或其他常見原因的基礎設施故障之類的自然災害引起的通信中斷或交通控制設備斷電中會發(fā)生什么的疑問。

兒童從校車上下來，一輛自動駕駛啟動的車輛撞傷了一名從校車上下來的兒童。

未在停車標志處停車（滾動停車），美國國家公路交通安全管理局（NHTSA）對駕駛自動化系統(tǒng)實施了安全缺陷召回，該系統(tǒng)被編程為以高達5.6英里/小時的速度通過停車，違反了交通法規(guī)。

應急響應人員受傷和死亡，對與應急響應車輛的碰撞模式進行了調查和初步召回，隨著時間的推移，至少發(fā)生了14起碰撞、15起受傷和1起死亡事故。最終的召回不是因為特定的可重現的行為缺陷，而是因為一種常見的損失模式，與缺乏 ODD（操作設計領域）執(zhí)法以及人類駕駛員在路上對道路注意力不足的執(zhí)法有關。

與停止和穿越的車輛發(fā)生碰撞，與應急響應人員碰撞調查相關的是，有許多關于特定駕駛自動化系統(tǒng)與靜止車輛碰撞的報告。這包括在涉及穿越重型卡車下方的場景中發(fā)生的多起死亡事故。盡管制造商表示設計意圖是讓駕駛員手動避免此類駕駛情況和碰撞，但碰撞事故仍然不斷積累。與緊急救援車輛碰撞調查相關的是，報告了多起與停駛車輛的碰撞，包括涉及多起在穿越重型卡車時發(fā)生的致命碰撞。雖然制造商表示其設計意圖是讓駕駛員手動避免此類駕駛情況和碰撞，但碰撞仍在繼續(xù)發(fā)生。

在弱勢群體中，碰撞事故升級，舊金山消防局報告稱，在面積狹小的田德隆區(qū)附近，發(fā)生了74起無人駕駛出租車事故，其中11起涉及與消防車的碰撞。該地區(qū)以弱勢群體和歷史風險社區(qū)而聞名。由于可能的相關原因，該地區(qū)是美國最活躍的緊急響應地點之一。盡管如此，無人駕駛出租車公司認為繼續(xù)在該地區(qū)進行測試是合適的，這可能是因為該地區(qū)位于舊金山市中心。

吸引乘客遠離公共交通，即使無人駕駛出租車和人類駕駛的車輛一樣安全，人類駕駛的車輛也比公共交通危險得多 。無人駕駛出租車的廣泛采用可能會通過將公共交通乘客里程轉移到自動駕駛出租車乘客里程來降低安全性 。失去公共交通乘客可能會進一步削弱更安全交通方式的資金和可行性，增加所有交通方式的凈死亡人數。

我們發(fā)現，人類駕駛員可能并且確實會犯上述所有類型的錯誤。但我們有興趣了解安全的真正范圍，這應該同時適用于人類駕駛員和自動駕駛汽車。

這些情況中，許多并不涉及對人的實際傷害。但由于存在直接或間接傷害的可能性，所有這些都被至少一些相關利益攸關方視為安全問題。在上述許多情況下，很容易將責任歸咎于自動駕駛能力以外的某些參與者。但是，為了避免改變現狀而進行歸咎，不太可能防止未來的事故。

04 安全定義中缺少什么

基于這些觀察到的和對自動駕駛汽車安全要求的總體理解，我們確定了自動駕駛汽車的四個一般特征，這些特征對安全工程產生了深遠的影響：在開放的世界環(huán)境中運行，自主改善的操作限制，投放在特設社會技術體系中，以及如法律限制等外部約束的表達等。歷史上，處理這所有四個領域的工作都分配給了人類駕駛員。然而，擁有自動駕駛汽車的重點是不再需要人類駕駛員，這樣就對這些技術系統(tǒng)提出了額外的要求。（作為一項臨時措施，遠程操作團隊可能會協(xié)助解決其中一些問題。但是，可擴展的投放要求最大限度地減少了對這種遠程人工操作干預的需求。）

4.1 開放的世界環(huán)境

自動駕駛汽車作為在公共道路上大規(guī)模運行的工程系統(tǒng)，針對將遇到的所有物體和事件，是在不確定的和不完整訓練的框架內運行的。

ISO21448的SOTIF方法主要是為了解決這個問題。然而，該標準的方法以及許多開發(fā)人員的實用方法一樣，是假設在投放之前已經識別并緩解了足夠多的可能場景、對象和事件，從而產生凈AUR。如果遇到危害的分布頻率是重尾分布的，涉及大量單獨來看發(fā)生頻率很低的危害，那么上一點在實際系統(tǒng)中可能無法實現。盡管在重尾分布危害情況下，可能有技術措施確保可接受的安全性，但在部署技術措施后這些危害依舊帶來大量風險的可能性是不容忽視的。

ISO21448在面對未解決的危害時，采用迭代改進方法，但仍假定風險在初始投放時是合理的。UL 4600具有更全面的機制，可以識別在初始投放時可能存在的不確定性，這意味著可以預期的合理的風險，但這種預期本身也存在一定程度的不確定性。UL 4600要求使用安全績效指標（SPI）和現場工程反饋來管理持續(xù)改進過程，以識別和減輕由于不斷變化、開放的世界環(huán)境以及遇到不可預見的重尾事件而導致的風險。

對安全的全面定義應考慮兩個問題，這兩個問題在可預見的未來將成為自動駕駛汽車的現實：（1）即使在投放時，也要對不可避免的需求差距進行主動管理，以及（2）支持在車輛生命周期內持續(xù)更新，以減輕因環(huán)境和其他變化而產生的緊急危害和風險。

4.2 運行限制的自主改善

達到自動駕駛汽車運行限制范圍之外某種情況的一種常見方法是安全關閉（或類似的操作）。對于自動駕駛汽車來說，這可能意味著將其拉到一個安全的停車位置，甚至在有利條件下將其停在行駛車道的中間。雖然執(zhí)行合理的安全停車可能很復雜，但認識到自動駕駛汽車已經超出其運行限制才更具挑戰(zhàn)性。

基于機器學習的技術面臨著一個根本性的挑戰(zhàn)，即我們需要認知到它遇到了一個與安全相關的有意義的，但在訓練過程中沒有被捕捉到某種數據特征的數據維度。例如，如果訓練數據集中穿著黃色衣服的人太少，那么一個穿著黃色服裝的建筑工人可能不會被識別為指揮交通的建筑工人，甚至可能根本不會被識別為一個人?；蛘?，緊急情況下黑黃色膠帶可能不被識別為禁止警告，而被當成一種不會造成碰撞威脅的不重要的塑料，導致一些無人駕駛出租車不僅拖著緊急膠帶還有電線在街上行駛。

安全的核心要素是需要識別和應對超出系統(tǒng)預期標稱運行環(huán)境的情況。這些可能是不可預見的情況，如新對象和事件。但也可能是已預見的ODD以外的情況意外出現，如晴天預報下突然下起傾盆大雨，因此設計團隊并沒有加以考慮。這一點與前面的開放環(huán)境問題相結合，使得系統(tǒng)固有的運行限制的自主改善具有挑戰(zhàn)性，目前的定義往往將安全限制在已知的特定環(huán)境中。然而，無人駕駛系統(tǒng)在非特定環(huán)境中運行時也必須確保安全，并且必須能夠以某種合理的方式對意外發(fā)現自己處于設計運行環(huán)境之外的情況做出反應。

4.3 特設系統(tǒng)體系

自動駕駛系統(tǒng)必須作為社會系統(tǒng)的一個組成部分來運行，社會系統(tǒng)往往不夠具體，而且在很大程度上超出了自動駕駛系統(tǒng)設計團隊的控制能力。從當前安全定義的角度來看，除非建立系統(tǒng)運行限制的自主改善，在某些情況下設計團隊無法控制它將處理哪些場景。

一些利益相關者安全問題的共同主題是，自動駕駛汽車以一種狹義的安全方式行事，即使不撞到東西，但卻給其他道路使用者造成了負面的外部條件。例如，當自動駕駛汽車不確定下一步該做什么時，在看似開放的但是無人駕駛出租車不應使用的駕駛車道（供工程車輛使用）內停車，或者在特殊情況下打破一些正常的道路使用慣例為過往的緊急車輛提供空間，以及由于所謂的幻影制動導致撞車風險增加等。

一些安全問題具有更微妙的背景敏感性。例如，人類駕駛員可能會因為看到前方幾個街區(qū)發(fā)生巨大的建筑火災而改變路線，以避免陷入可能的現場交通混亂。自動駕駛汽車如果不識別這種情況，可能會阻礙應急響應活動。雖然人們可能會嘗試在系統(tǒng)體系層面分析所有存在的危險，但這通常超出了自動駕駛汽車安全工程工作的范圍和資源。我們認為，更實際的是將負面外部條件的緩解表達為對允許行為的約束。例如，當一輛帶有主動報警器的消防車在附近時，無論車載軟件如何估計碰撞風險，都要駛出行車道。另一個例子是，避免使用另一輛自動駕駛汽車被困的道路，以避免一群被困的自動駕駛汽車堵塞道路。

4.4 法律和倫理限制

可允許的系統(tǒng)行為存在許多限制，這些限制不僅難以表達為危害，而且可能會降低系統(tǒng)的理論凈收益（甚至可能是凈安全性）。以風險為中心的方法將難以應對這些限制。

例如，考慮一種假設情況，其中駕駛自動化系統(tǒng)減少了總死亡人數，但增加了路邊碰撞現場應急響應人員的死亡率?；蛘呖紤]一種更極端的假設情況，其中道路總死亡人數減少了50%，但行人死亡人數絕對值增加了一倍（成為降低的凈死亡率中更大的比例）。即使凈傷害減少，這兩種結果對某些利益相關者來說也是有問題的。

如果技術系統(tǒng)不能滿足對單個車輛行為和行為模式的限制，例如在這種情況下也適用于人類駕駛員，那么社會利益相關者就不應該認為它是可接受的安全的?？紤]一輛在確定十字路口暢通時，會闖過停車標志的車輛。也許有一項可能的研究表明，這可以減少追尾碰撞，從而提高安全性。但是這樣的系統(tǒng)仍然可能被視為存在不合理風險，因為它自動化了違反交通法規(guī)的行為。如果一輛自動駕駛汽車無視在停車標志前完全停車的要求，撞上了一個未被發(fā)現的行人，那么它也會造成嚴重的疏忽駕駛問題。

如前所述，這里的目標是評估SM與ML分類器一起工作時對SUT的影響程度。如第3節(jié)所述，對于新穎性類作為OOD數據，如果SM正確檢測到OOD數據，它將始終被解釋為真陽性，因為SM總是正確地取消ML分類，獨立于基本事實。另一方面，如果SM沒有檢測到OOD數據，它將始終被認為是假陰性，并且ML將始終給出錯誤的分類。因此，在這里測量OOD檢測并不有趣，因為ML將具有0%的準確性。同樣地，測量整個數據流并不能提供足夠的信息，因為當OOD數據量趨于無窮大時，ML的精度會變?yōu)?。出于這個原因，表5顯示了當使用GTSRB或CIFAR-10作為ID數據集時，SUT中的總體SM影響。

還有一些倫理、公平和法律的考量，這些考量與車輛方向控制失靈沒有明顯聯(lián)系，例如過度關注對弱勢社區(qū)中進行不成熟技術的公共道路測試。

05  更具魯棒性的安全定義的建議

5.1 需要解決什么問題？

我們提出了一套重新定義的核心安全定義，以解決根據車輛自動化事故的例子和標準中已經存在的概念以及前面章節(jié)中提到的其他來源所發(fā)現的問題。

回顧上述第3節(jié)和第4節(jié)中的示例事件和差距領域分析，我們認為需要在定義層面更直接地解決以下安全方面的問題。我們使用第2節(jié)中調查的定義中的關鍵詞和短語作為每個概念的標簽。

? 安全的/安全性Safe/Safety：

系統(tǒng)不僅要減輕危害，還要滿足外部施加的約束。約束可能涉及禁止基于道德和公平的工程優(yōu)化（否則可能會改善安全的特定方面），并禁止不可接受的風險模式。我們更喜歡“可接受的安全性”而不是“安全的”。

? 運行設計域/給定的環(huán)境ODD/Given environment：

不能假設環(huán)境具有完全的特征，也不能假設環(huán)境隨時間而變化。相反，無論環(huán)境如何，都必須確?？山邮艿陌踩?，即使系統(tǒng)由于超出其運行限制而必須自行執(zhí)行安全響應。

? 給定的應用Given application：

系統(tǒng)需要強制執(zhí)行潛在的濫用，例如操作員在有交叉的道路上使用自動駕駛，這違反了系統(tǒng)的設計意圖限制。

? 風險Risk：

風險作為發(fā)生概率和嚴重度的組合的陳舊公式可能適用于凈損害的單維優(yōu)化，特別是在貨幣補償在道德上是可接受的緩解計劃的情況下。但對于社會和其他約束（如損害模式或違反約束）而言，這是一個過于狹隘的觀點，不容易簡化為經典的風險值。

? 危害事件Hazardous event：

在危害事件層面評估一些風險和約束具有挑戰(zhàn)性，因為它們涉及系統(tǒng)體系層面的安全權衡。期望車輛設計人員完全評估這些風險是不合理的，更不用說減輕這些風險了。還有一些風險模式，如風險轉移到弱勢群體身上，這些群體與個人損失事件相去甚遠。

? 嚴重度Severity：

任何特定損失事件造成的傷害都很重要，但如果該事件是不道德或不公平結果模式的一部分，則任何單一事件的嚴重性可能無法反映該事件的重要性，即使從功利主義個人傷害的角度來看，嚴重性較低。

? 危害Harm：

損害必須被視為超出人身傷害或死亡（正如其他一些定義和領域的情況一樣）。即使間接造成財產損害，也可能被合理地視為某些領域的安全問題。

? 故障Malfunctioning：

事故的發(fā)生不僅是因為車輛顯示了危險的運動，還可以是為了提高戰(zhàn)術上的安全性而導致在系統(tǒng)的系統(tǒng)層面造成了潛在的損害。安全關閉后，被癱瘓的無人駕駛出租車阻擋了應急車輛，這是該問題的典型例子。

5.2 建議的安全相關定義的建議

我們在圖1中提出了核心安全術語的一套新定義。雖然對每個標準的特定術語使用的具體建議超出了本文的范圍，但我們相信，如果這些術語被UL 4600采用，對文件其余部分所做的更改將引導符合該標準的安全案例覆蓋范圍的有益演變。其他標準，如ISO26262，可能仍希望使用更具限制性的術語，但應統(tǒng)一術語，以便在使用這些更廣泛的定義時，不排除一致性。

圖1 擬提議的定義

從高層次來看，這種方法不是將“安全”概念視為降低風險的優(yōu)化過程，而是將其視為滿足一系列安全約束。其中的一種約束通常足以降低風險，也更符合傳統(tǒng)的安全工程方法。然而，其他約束以及損失概念的范圍擴大可以解決法律和道德問題。通過在安全工程定義中明確包括生命周期因素，并要求安全工程與安全案例相結合，來解決開放世界環(huán)境問題。通過刪除“給定環(huán)境”一詞，并避免在安全案例定義中提及ODD，來解決操作限制的自主改善問題。通過在風險和安全約束的定義中包括除系統(tǒng)設計者以外的利益相關者的概念，來解決特設系統(tǒng)問題。

06  結論

雖然在安全工程領域的發(fā)展過程中，不斷出現大量新的安全考慮因素，但我們認為，自動駕駛系統(tǒng)的誕生是一個分水嶺時刻。此外，推動擬議改革的擔憂不僅是理論上的，而且已經在美國的公共道路上出現了。這只是一個開始?，F在是時候讓安全界重新審視安全的真正含義了。

有人可能會考慮通過積極重新解釋現有術語來解決我們提出的擔憂。我們認為這種方法有兩個問題。第一個問題是，任何以合規(guī)為中心的標準使用者都被強烈鼓勵以最有利于低成本合規(guī)的方式解釋定義，從而降低了任何促進重新解釋的潛在教育性努力。第二個問題是，標準應該說明它的含義，而不是依賴于非規(guī)范性的、獨立的解釋性指導。雖然本文中提到的標準都是本著誠信的原則編寫的，并且已經很好地發(fā)揮了作用，但現在是時候更新它們對安全的定義，以解決自動駕駛技術的現實經驗所提出的擔憂。需要明確的是，我們認為這些擬議的定義是安全界討論的開始，而不是一個最終結論性的結果。

雖然我們使用自動駕駛汽車作為一個激動人心的例子，但類似的問題將在廣泛的安全相關系統(tǒng)中出現，這些定義的建議可能會更廣泛地表明自動駕駛系統(tǒng)的安全性。變化點比如是，不使用需要密切進行關注的人類駕駛員來解決諸如執(zhí)行操作限制之類的問題，或者可能將他作為一個道德緩沖區(qū)，以保護系統(tǒng)免受設備故障的指責。另一個需要考慮的因素是用于安全的定義與用于網絡安全的術語之間的關系，尤其是在信息安全故障可能危及安全的情況下。

擴大安全范圍將改善所有系統(tǒng)，而且隨著技術不斷滲透到日常社會的結構中會變得越來越重要。我們的自動駕駛程度越高，越超出人類有效監(jiān)督的實際能力，這些問題就越緊迫。