1?摘要

自動(dòng)駕駛汽車依靠機(jī)器學(xué)習(xí)來解決知覺和運(yùn)動(dòng)規(guī)劃方面的挑戰(zhàn)。然而，汽車軟件安全標(biāo)準(zhǔn)還沒有完全發(fā)展到來應(yīng)對(duì)機(jī)器學(xué)習(xí)安全的挑戰(zhàn)，如可解釋性、驗(yàn)證性和性能限制。本文回顧和整理了實(shí)際的機(jī)器學(xué)習(xí)安全技術(shù)可以補(bǔ)充用于自動(dòng)駕駛汽車的基于機(jī)器學(xué)習(xí)的軟件的工程安全。我們的組織將安全策略映射到最先進(jìn)的狀態(tài)機(jī)器學(xué)習(xí)技術(shù)，以提高可靠性以及機(jī)器學(xué)習(xí)算法的安全性。我們還討論了自動(dòng)駕駛汽車中機(jī)器學(xué)習(xí)組件的安全限制和用戶體驗(yàn)方面的問題。

2?介紹

機(jī)器學(xué)習(xí)(ML)的進(jìn)展是過去十年中最大的創(chuàng)新之一。如今，ML模型被廣泛應(yīng)用于自動(dòng)駕駛汽車、醫(yī)療診斷和機(jī)器人等不同的工業(yè)領(lǐng)域，以執(zhí)行各種任務(wù)，如語音識(shí)別、目標(biāo)檢測(cè)和運(yùn)動(dòng)規(guī)劃。在不同ML模型中，深度神經(jīng)網(wǎng)絡(luò)(DNNs) (LeCun, Bengio和Hinton 2015)以其在高維數(shù)據(jù)中的強(qiáng)大特征學(xué)習(xí)而聞名并被廣泛應(yīng)用。例如，在自動(dòng)駕駛領(lǐng)域，各種DNN目標(biāo)檢測(cè)和圖像分割算法被用作處理相機(jī)的感知單元(如Pilot-Net (Bojarski等人，2016)，快速RCNN(Wang, Shrivastava，和Gupta, 2017))和激光雷達(dá)數(shù)據(jù)(例如VoxelNet (Zhou和Tuzel 2018))。

安全關(guān)鍵系統(tǒng)的開發(fā)依賴于嚴(yán)格的安全方法、設(shè)計(jì)和分析，以防止故障時(shí)的危害。在汽車領(lǐng)域，ISO26262和ISO/PAS 21448是兩個(gè)主要的安全標(biāo)準(zhǔn)，用于解決電子電氣元件的安全問題。這些標(biāo)準(zhǔn)提出并要求了系統(tǒng)、硬件和軟件開發(fā)的方法。特別是對(duì)于軟件開發(fā)，該過程確保了需求、架構(gòu)和單元設(shè)計(jì)、代碼和驗(yàn)證之間的可追溯性。對(duì)于具有很高復(fù)雜性的自動(dòng)駕駛軟件，需要對(duì)自動(dòng)駕駛軟件進(jìn)行迭代危害分析和風(fēng)險(xiǎn)評(píng)估以更好的描述運(yùn)行設(shè)計(jì)區(qū)域。

另一方面，ML模型有許多固有的安全缺陷包括訓(xùn)練集的準(zhǔn)確性 以及在開放世界限制下運(yùn)行的域的魯棒性。例如，ML模型容易受到域移位(Ganin和Lempitsky 2014)、數(shù)據(jù)損壞和自然擾動(dòng)(Hendrycks和Dietterich 2019)的影響。而且，DNNs中的預(yù)測(cè)概率評(píng)分并不能真實(shí)表達(dá)出模型的不確定性。此外，從安全的角度來看，已經(jīng)證明DNN容易受到對(duì)抗性攻擊，這些攻擊對(duì)輸入樣本(人眼無法分辨)造成小擾動(dòng)，但可以欺騙DNN（Goodfellow, Shlens, 和Szegedy 2014）。由于DNNs缺乏驗(yàn)證技術(shù)，ML模型的確認(rèn)往往依賴于不同大型測(cè)試集上的簡單精度度量，以覆蓋目標(biāo)運(yùn)行設(shè)計(jì)區(qū)域。雖然這是衡量算法成功與否的一個(gè)重要指標(biāo)，但它絕對(duì)不足以衡量安全關(guān)鍵應(yīng)用程序中的性能，因?yàn)閷?shí)際示例可能與測(cè)試集不同。

隨著意識(shí)到ML模型將越來越多地用于安全關(guān)鍵系統(tǒng)，我們需要檢查這些模型暴露在現(xiàn)有工程安全標(biāo)準(zhǔn)中的差距。我們已經(jīng)討論了機(jī)器學(xué)習(xí)安全方面的幾個(gè)例子，包括代碼的可解釋性和可跟蹤性、形式驗(yàn)證和設(shè)計(jì)規(guī)范（Salay,Queiroz,和Czarnecki 2017）。

在這篇論文中，我們回顧了自動(dòng)駕駛汽車安全算法技術(shù)的挑戰(zhàn)和機(jī)遇，以補(bǔ)充現(xiàn)有的自動(dòng)駕駛汽車軟件安全標(biāo)準(zhǔn)。第2節(jié)簡要回顧了兩個(gè)主要的汽車行業(yè)安全標(biāo)準(zhǔn)，并識(shí)別出它們與機(jī)器學(xué)習(xí)算法的五個(gè)基本差距。第3節(jié)通過對(duì)機(jī)器學(xué)習(xí)(1)錯(cuò)誤檢測(cè)器的研究和(2)模型魯棒性的調(diào)查，介紹了實(shí)用的算法安全技術(shù)。我們將簡要介紹三種針對(duì)安全關(guān)鍵型應(yīng)用的實(shí)現(xiàn)。第4部分討論了開放問題的挑戰(zhàn)，未來工作的方向，并總結(jié)了本文。

3?背景

工業(yè)安全廣義上是指對(duì)一個(gè)行業(yè)內(nèi)的所有操作和事件的管理，通過使危害、風(fēng)險(xiǎn)和事故最小化來保護(hù)員工和用戶的安全。鑒于電子電氣(E/E)元件正確操作的重要性，IEC 61508是為電子和電氣安全相關(guān)系統(tǒng)制定的基本功能安全標(biāo)準(zhǔn)，具有兩個(gè)基本原則: (a)安全生命周期：以發(fā)現(xiàn)和消除設(shè)計(jì)錯(cuò)誤的最佳實(shí)踐為基礎(chǔ)的工程過程；(b)故障分析：解析系統(tǒng)故障對(duì)安全影響的概率方法。IEC 61508在不同領(lǐng)域有不同分支。例如，為了實(shí)現(xiàn)汽車行業(yè)的安全，工程師需要遵循ISO 26262標(biāo)準(zhǔn)，將E/E故障造成的安全風(fēng)險(xiǎn)降至可接受的水平。

在本節(jié)中，我們簡要回顧一個(gè)整理后的、可以滿足兩個(gè)主要汽車安全標(biāo)準(zhǔn)中安全需求的基本機(jī)器學(xué)習(xí)限制列表。我們注意到，這兩個(gè)汽車標(biāo)準(zhǔn)都要求對(duì)危害和風(fēng)險(xiǎn)進(jìn)行詳細(xì)的分析，然后是專注于系統(tǒng)需求、文檔化的架構(gòu)和設(shè)計(jì)、結(jié)構(gòu)良好的代碼，以及對(duì)單元、集成和系統(tǒng)級(jí)測(cè)試的全面的驗(yàn)證。

ISO 26262 標(biāo)準(zhǔn)

ISO 26262或汽車E/E系統(tǒng)功能安全標(biāo)準(zhǔn)將汽車安全定義為不存在因E/E組件故障而產(chǎn)生的不合理風(fēng)險(xiǎn)。它需要危險(xiǎn)分析和風(fēng)險(xiǎn)評(píng)估(HARA)以確定車輛級(jí)別的危險(xiǎn)。潛在的危害和風(fēng)險(xiǎn)指導(dǎo)安全工程師導(dǎo)出功能安全需求以滿足安全目標(biāo)。然后這些功能安全需求指導(dǎo)系統(tǒng)開發(fā)過程，系統(tǒng)開發(fā)過程又可分解為硬件和軟件開發(fā)過程。圖1給出了該標(biāo)準(zhǔn)的概述。本文的重點(diǎn)是ISO 26262的第6部分，它為軟件開發(fā)過程定義了V模型。

圖1中V-Model的目標(biāo)是確保軟件架構(gòu)設(shè)計(jì)充分滿足軟件安全需求，并通過軟件測(cè)試充分測(cè)試和驗(yàn)證。類似地，驗(yàn)證軟件架構(gòu)設(shè)計(jì)，軟件集成測(cè)試證明架構(gòu)實(shí)體(包括靜態(tài)和動(dòng)態(tài)方面)之間的交互得到了測(cè)試。在V模型的最底端，單元設(shè)計(jì)制定每個(gè)單元的設(shè)計(jì)細(xì)節(jié)(在軟件體架構(gòu)設(shè)計(jì)期間識(shí)別)，例如輸入、輸出錯(cuò)誤處理、單元的行為，以便對(duì)單元進(jìn)行編碼。最后，單元測(cè)試確保軟件單元得到測(cè)試，以滿足其設(shè)計(jì)需求，并滿足單元設(shè)計(jì)的覆蓋率。

圖1 軟件開發(fā)V型 ISO 26262-6(綠色)

和ISO/PAS 21448(藍(lán)色) 的比較

ISO 26262還確定了故障檢測(cè)和避免的方法，以將風(fēng)險(xiǎn)降低到可接受的水平。但當(dāng)將ISO26262用于自動(dòng)駕駛領(lǐng)域時(shí)就有一些局限性。它不能應(yīng)對(duì)由于組件不能理解環(huán)境而發(fā)生的故障，例如由于性能限制或魯棒性問題，或可預(yù)見的系統(tǒng)誤用。

ISO/PAS 21448 標(biāo)準(zhǔn)

ISO/PAS 21448或SOTIF(預(yù)期功能安全)標(biāo)準(zhǔn)描述了一個(gè)迭代開發(fā)過程，包括設(shè)計(jì)規(guī)范、開發(fā)、驗(yàn)證和確認(rèn)階段。SOTIF標(biāo)準(zhǔn)認(rèn)識(shí)到軟件(包括ML組件)的性能限制，并期望屬于未知不安全(如訓(xùn)練分布之外的樣本)和已知不安全(如運(yùn)行設(shè)計(jì)區(qū)域之外的樣本)情況的場景/輸入應(yīng)減少到殘余誤差風(fēng)險(xiǎn)可接受的程度。

SOTIF過程在ISO 26262的基礎(chǔ)上增加了SOTIF HARA和安全概念。危害分析包括識(shí)別由于性能不足、感知不足、合理可預(yù)見的誤用或人機(jī)界面缺陷造成的危害。相比之下，ISO 26262的危害和風(fēng)險(xiǎn)分析僅限于電子/電子故障造成的危害。如果SOTIF分析導(dǎo)致的風(fēng)險(xiǎn)高于可接受的風(fēng)險(xiǎn)，則進(jìn)行功能優(yōu)化以降低風(fēng)險(xiǎn)。然后制定驗(yàn)證和確認(rèn)策略，以論證剩余風(fēng)險(xiǎn)低于可接受水平。

機(jī)器學(xué)習(xí)（ML）組件的安全缺陷

近年來，對(duì)ML模型安全限制的識(shí)別越來越受到人們的關(guān)注。例如,Varshney等人(Varshney 2016)討論了ML模型的安全定義，并將其與工業(yè)上的四種主要工程安全策略(1)固有安全設(shè)計(jì)，(2)安全量，(3)安全失效，(4)程序保障措施進(jìn)行了比較。在對(duì)汽車軟件安全方法的回顧中，Salay等人(Salay, Queiroz，和Czarnecki 2017)按照ISO-26262 part-6方法對(duì)ML模型進(jìn)行了安全分析。他們?cè)u(píng)估軟件安全方法在機(jī)器學(xué)習(xí)算法上的適用性(作為軟件單元設(shè)計(jì))表明約40%的軟件安全方法不適用于ML模型。

ML模型的安全性和魯棒性也一直是ML科學(xué)家(Hern′andez-Orallo等人，2019)關(guān)心的問題。Amodei 等人 (2016)提出了五個(gè)具體的研究問題，這些問題可能導(dǎo)致現(xiàn)實(shí)世界AI系統(tǒng)的意外和不安全行為。他們將人工智能的安全問題聚焦并表征為目標(biāo)函數(shù)的定義和評(píng)估。此外，Ortega等人(Ortega和Maini 2018)介紹了技術(shù)AI安全的三個(gè)領(lǐng)域，即規(guī)范(在設(shè)計(jì)和緊急情況下)和魯棒性(用于錯(cuò)誤預(yù)防和恢復(fù))和保證(用于監(jiān)視和執(zhí)行)。

我們?cè)谄囓浖踩珮?biāo)準(zhǔn)術(shù)語中對(duì)這些開放性的挑戰(zhàn)進(jìn)行了分類，并簡要回顧了具有代表性的研究，以解決這些安全缺陷。

• 設(shè)計(jì)規(guī)范：記錄和審查軟件規(guī)范是功能安全的關(guān)鍵步驟，然而，ML模型的設(shè)計(jì)規(guī)范通常是不夠的，因?yàn)槟Ｐ蛯W(xué)習(xí)數(shù)據(jù)中的模式來區(qū)分或生成新的不可見輸入的分布。因此，機(jī)器學(xué)習(xí)算法通過它們的訓(xùn)練數(shù)據(jù)(和正則化約束)學(xué)習(xí)目標(biāo)類，而不使用正式的規(guī)范。缺乏專一性會(huì)導(dǎo)致“設(shè)計(jì)者的目標(biāo)”和“模型實(shí)際學(xué)到的東西”之間的不匹配，這可能會(huì)導(dǎo)致系統(tǒng)的非預(yù)期功能。這種基于數(shù)據(jù)驅(qū)動(dòng)最優(yōu)的訓(xùn)練機(jī)器學(xué)習(xí)模型不可能定義出和提出具體的安全約束。為此，Seshia等人(2018)調(diào)查了DNNs形式化規(guī)范的現(xiàn)狀，并為DNNs形式化描述和性質(zhì)推理奠定初步基礎(chǔ)。管理這個(gè)設(shè)計(jì)規(guī)范問題的另一種實(shí)用方法是將機(jī)器學(xué)習(xí)組件分解為更小的算法(具有更小的任務(wù))，以實(shí)現(xiàn)分層結(jié)構(gòu)的工作。與此相關(guān)，Dreossi等人(2019)提出將VerifAI工具包用于基于人工智能的系統(tǒng)的形式化設(shè)計(jì)和分析。