arXiv在2021年4月上傳的論文“Inspect, Understand, Overcome: A Survey of Practical Methods for AI Safety“，作者來自Bosch、Continental、Valeo、ZF、Volkswagen、Audi等等，包括Tier-1、OEM、大學和研究機構，一共16家。

摘要

由于固有的缺點，許多深度神經(jīng)網(wǎng)絡 (DNN) 模型在mobile health和自動駕駛等安全緊要的應用其實是具有挑戰(zhàn)性的。這些缺點是多種多樣的，比如可解釋性不足、缺乏泛化和惡意輸入等問題。因此，基于DNN 的智能系統(tǒng)受到安全問題的困擾。近年來，出現(xiàn)了旨在解決這些安全問題的最先進技術庫。該文對此做結構化和廣泛的方法概述。

1 論文目錄

2 數(shù)據(jù)優(yōu)化

模型的性能本質上依賴于數(shù)據(jù)集。例如，變化性較差的數(shù)據(jù)集幾乎不會產(chǎn)生可用的模型。為了此，極端情況（corner case）檢測和主動學習（AL）的數(shù)據(jù)選擇過程至關重要。這些方法可以幫助設計包含最重要信息的數(shù)據(jù)集，同時防止如此多的所需信息在數(shù)據(jù)海洋丟失。對于給定的數(shù)據(jù)集和主動學習設置，數(shù)據(jù)增強技術的采用非常普遍，就是為了從數(shù)據(jù)集中提取盡可能多的信息。

另一方面，安全還需要分析模型在OOD（out-of-distribution）數(shù)據(jù)的表現(xiàn)方式，這些數(shù)據(jù)包含了模型在訓練未遇到的領域。因此，這些領域最近越來越受到關注，在自動駕駛的感知方面也是如此。

1）OOD檢測

OOD數(shù)據(jù)檢測指的是識別不代表訓練數(shù)據(jù)分布的數(shù)據(jù)樣本。不確定性評估與該領域密切相關，模型的自我評估是 OOD 檢測的活躍研究領域之一。

2）主動學習AL

主動學習不是標記每個數(shù)據(jù)點，而是利用查詢策略向教師/預言（oracle）請求標記，從而最大限度地利用數(shù)據(jù)提高模型性能。主動深度學習的大多數(shù)研究活動都集中在兩種查詢策略上，Uncertainty sampling 和 query by committee。

3）Domains 域

在遷移學習領域研究的是一個或多個源域和目標域之間的域不匹配問題。此外，檢測樣本何時超出域或超出分布是一個活躍的研究領域。例如，如果自動駕駛汽車遇到與訓練期間所見情況大相徑庭（例如，自行車比賽、狂歡節(jié)等)， 這可能會導致錯誤的預測，從而導致潛在的安全問題。

4）增強 Augmentation

數(shù)據(jù)增強旨在優(yōu)化可用數(shù)據(jù)并增加其數(shù)量，在部署期間管理代表各種可能輸入的數(shù)據(jù)集，比如創(chuàng)建更多不被代表類的樣本來處理嚴重不平衡數(shù)據(jù)集。有兩種數(shù)據(jù)增強的方法，第一種是data warping增強，專注于獲取現(xiàn)有數(shù)據(jù)并以不影響標簽的方式對其進行轉換。另一種是oversampling增強，創(chuàng)建可用于增加數(shù)據(jù)集大小的合成數(shù)據(jù)。

5）極端情況 Corner Case 檢測

雖然手動創(chuàng)建極端案例（例如，構建或重新制定場景）可能更可控，但擴展性的方法還是需要系統(tǒng)地自動化搜索極端案例。

自動Corner Case 檢測的一種方法是基于輸入數(shù)據(jù)的轉換。另一個研究方向是調查是否構建AI功能輸入空間可以支持Corner Case檢測。

3 魯棒訓練

大多數(shù)研究都針對提高對抗（adversarial）魯棒性，即引起高置信度錯誤分類的擾動的魯棒性，或提高腐壞（corruption）魯棒性，即針對常見的增強（例如天氣變化、高斯噪聲、光度變化等）魯棒性。對抗魯棒性更像是一個security問題而不是safety問題，另一方面，腐壞魯棒性被認為是高度安全相關的。

1）Hyperparameter Optimization （HPO）

重要的有初始 learning rate, learning rate 逐步遞減幅度, learning rate decay, momentum, batch大小, dropout比率 和迭代次數(shù)等等。

2）損失函數(shù)調整

提高adversarial 或者 corruption 魯棒性的損失函數(shù)。

3）域泛化 DG，不是域自適應（DA）

DA 和 DG，都面臨著分布匹配問題。然而，估計高維空間的概率密度是棘手的。因此，基于密度的指標（例如 Kullback-Leibler 發(fā)散度）不能直接適用。統(tǒng)計學通常采用所謂的雙樣本檢驗（two-samples tests），逐點測量兩個分布之間的距離。對深度學習來說，要求這個測度不僅是逐點而且可微分。

雖然 DG 方法可以推廣到零樣本可行的領域，但所謂的零樣本學習 (ZSL) 方法可以推廣到零樣本可行的任務（例如，同一源域的新類）。

4 對抗攻擊

通常，用于創(chuàng)建對抗性示例的算法被稱為對抗性攻擊，其目的是欺騙底層 DNN，使輸出如期望的惡意方式發(fā)生變化。包括不了解要被攻擊的 DNN（黑盒攻擊）情況，或者在完全了解DNN 參數(shù)、架構甚至訓練數(shù)據(jù)（白盒攻擊）情況。

1）對抗攻擊和防護

攻擊方法基本分成image-specific attacks和image-agnostic attack，這種如何圖像附加的擾動也叫做universal adversarial perturbation (UAP) 。著名的方法有the fast gradient sign method (FGSM), DeepFool, least-likely class method (LLCM) , C&W, momentum iterative fast gradient sign method (MI-FGSM) 和 projected gradient descent (PGD) 等等。

同樣，防護方法也可以分成model-specific defense 和 model-agnostic defense 策略。一些眾所周知的特定模型防護策略包括對抗性訓練、訓練中加入魯棒性導向的損失函數(shù)、denoising layers去除特征的對抗模式和冗余師生框架。大多數(shù)模型無關防護策略主要側重于各種預處理（gradient masking）策略。

2）更真實的攻擊

包括兩種類型攻擊。

• (1) 圖像級攻擊：不僅欺騙神經(jīng)網(wǎng)絡，而且對自駕車構成可證明的威脅；

• (2) 現(xiàn)實世界或模擬環(huán)境的攻擊，例如car learning to act (開源模擬仿真器CARLA)。

第二類攻擊，專門設計在現(xiàn)實世界扭曲中生存下來，包括不同的距離、天氣和光照條件以及攝像機角度。為此，對抗性擾動通常集中在特定的圖像區(qū)域，稱為對抗性補丁（adversarial patch）。對抗性補丁在每個訓練圖像指定一個補丁區(qū)域，對補丁做相應變換，迭代地修改區(qū)域內(nèi)的像素實現(xiàn)最大化DNN模型的預測誤差。這一步通常依賴于標準對抗攻擊算法，該算法旨在制造invisible perturbations，同時誤導神經(jīng)網(wǎng)絡。

5 可解釋性

傳統(tǒng)數(shù)據(jù)科學開發(fā)了一套計算機自動化分析的龐大工具集，這些工具應用于明確的問題，即可管理的輸入/輸出維度以及所依賴的數(shù)據(jù)集大小。對于那些比較復雜的問題，分析過程的自動化程度是有限的，也可能不會導致預期的結果。對于圖像或視頻數(shù)據(jù)等非結構化數(shù)據(jù)，尤其如此，其中底層信息不能直接用數(shù)字表示。相反，它需要轉換為某種結構化形式，以使計算機能夠執(zhí)行某些分析任務。此外，隨著收集的各種類型數(shù)據(jù)的數(shù)量不斷增加，這種“信息過載（information overload”）”不能僅通過自動方法進行分析。

已知的有三種可解釋性策略：1）打開黑盒子并查看中間表示的直接方法，解釋系統(tǒng)的各層，有助于對整體的解釋。2）試圖用像素屬性解釋網(wǎng)絡的決策提供可解釋性，然后對決策的匯總解釋可以實現(xiàn)系統(tǒng)本身的可解釋性。3）用可解釋代理近似DNN模型的想法，從深度神經(jīng)網(wǎng)絡性能中受益，同時允許通過代理解釋。所有策略的基礎是可視化分析（visual analytics）。

1）可視化分析

定義為“交互式可視接口”。不僅專注于計算處理數(shù)據(jù)或可視化結果，而且將兩者與交互技術緊密結合。因此，它可以將人類專家集成到迭代可視化分析過程中：通過視覺理解和人類推理，可以結合人類專家的知識來有效地改進分析。這一點尤其重要，因為復雜模型需要進行嚴格的安全論證。

2）中間表示IR

一般來說，表征學習旨在從高維輸入提取潛在空間的低維特征。然后將這些特征用作回歸、分類、目標檢測和其他機器學習任務的有效表示。潛在特征應該被解開，這意味著它們代表從統(tǒng)計獨立的數(shù)據(jù)中發(fā)現(xiàn)單獨因素。由于在機器學習中的重要性，找到有意義的中間表示長期以來一直是主要研究目標。解開的表示更容易地被人類解釋，例如解釋神經(jīng)網(wǎng)絡的推理。

3）Pixel Attribution

特征重要性技術目前主要用于診斷錯誤DNN模型行為的原因。所謂的attribution maps是一種可視化技術，用于表達輸入圖像相關像素與網(wǎng)絡預測之間的關系。圖像包含相關特征的區(qū)域會相應地突出顯示。

Attribution方法大多歸類三個：Gradient-based，activation-based和Perturbation-based。

4）Interpretable Proxies

DNN 行為由符號知識表示的模型近似。符號表示可以是線性模型，如 LIME（proportionality）、決策樹（if-then-chains），或松散的邏輯規(guī)則集。邏輯連接器可以簡單地為 AND 和 OR，但也可以是更通用的連接器，例如 at-least-M-of-N。 除了attribution方法，這些表示可以捕獲特征組合以及目標-屬性的（空間）關系。

6 不確定性分析

不確定性是說神經(jīng)網(wǎng)絡作為概率函數(shù)或估計器，為每個輸入提供隨機分布。理想情況下，分布的平均值應盡可能接近神經(jīng)網(wǎng)絡所逼近的函數(shù)真值，而神經(jīng)網(wǎng)絡的不確定性是指其隨機變量時的方差，從而得相對于平均值的置信度。

1）生成模型

生成模型屬于無監(jiān)督機器學習模型。從理論的角度來看，它們提供了一種分析和估計數(shù)據(jù)密度的方法。

2）Monte-Carlo Dropout

在應用規(guī)模的網(wǎng)絡設計，該方法提供了Bayesian分析的動力，并且具有概念的簡單性和系統(tǒng)可擴展性。

3）Bayesian Neural Networks

提供了概率的一種Bayesian理解。

4）Frequentist Inference中DNN不確定性測度

這種不確定性估計基本上基于統(tǒng)計模型輸出。

5）MRF

Markov random fields (MRF) 基于能量函數(shù)，將像素集成到單獨和成對像素之間相關的模型。給定模型，MRF用于推斷最佳配置，主要用最大后驗 (MAP) 技術產(chǎn)生最低能量狀態(tài)。

6）Confidence Calibration 可信度標定

如果任何可信度的經(jīng)驗準確性與預測的可信度相匹配，則模型被稱為標定良好。

7 聚合Aggregation

神經(jīng)網(wǎng)絡基于輸入處理得出輸出，例如，將傳入的圖像數(shù)據(jù)映射到類標簽。輸入或輸出端的非獨立信息聚合或收集可提升其性能和可靠性。從輸入開始，任何數(shù)據(jù)的附加“維度”都可以使用。例如，在自動駕駛，這可能是來自任何傳感器的輸入，該傳感器測量同樣的原始場景，例如雙目相機或 LiDAR。組合這些傳感器進行預測通常稱為傳感器融合。該場景被連續(xù)監(jiān)控，提供整個（時間排列）輸入信息流。調整此類輸入的網(wǎng)絡或者后處理，通過某種時間一致性預測被聚合。

另一種更隱式的聚合形式是在幾個“獨立”任務訓練神經(jīng)網(wǎng)絡，例如分割和深度值回歸。盡管單個任務對相同的輸入執(zhí)行，但整體性能仍然從所有任務之間的相關性受益。用多種不同的方式解決同一任務，可以提高整體性能并提供冗余措施。

注：這里專注于單任務系統(tǒng)。

1）Ensemble Methods 集成方法

網(wǎng)絡集成是模型的集合，各種建模選擇對損失進行描述：選定的模型類及其元參數(shù)（如架構和層寬度）、訓練數(shù)據(jù)和優(yōu)化目標。多樣化的方法，例如不同模型類在不同訓練數(shù)據(jù)的組合（bagging）訓練和加權集成組件以彌補其他成員的缺陷（boosting）。

2）Temporal Consistency

視頻預測分成兩種方法：1. DNNs 專門為視頻預測設計。從頭開始訓練，要求序列中訓練數(shù)據(jù)可用。2. 從單步圖像預測 DNN 到視頻預測 DNN 的轉變。通常不需要訓練，即模型的現(xiàn)有權重可以不加改變地使用。

8 Verification

驗證和確認（Verification and validation，V&V）是任何安全緊要系統(tǒng)安全保證的一個組成部分。在汽車系統(tǒng)的功能安全標準中，一方面，驗證意味著確定是否滿足給定要求，例如性能目標。另一方面，確認試圖評估給定的要求是否足以保證安全，例如，是否只是忽略了某類故障或交互。后者通常是在集成產(chǎn)品的實際操作條件下做大量測試。這與機器學習社區(qū)的驗證概念不同（在機器學習社區(qū)，它通常指選定數(shù)據(jù)集進行簡單的性能測試）。

1）Formal Testing

指包括形式化和形式化可驗證步驟的測試方法，例如，測試數(shù)據(jù)的采集或測試樣本的本地驗證。對于圖像數(shù)據(jù)，圍繞有效樣本的局部測試通常比完全形式化驗證更實用：（安全）屬性預計不會保留在完整的輸入空間，而只會保留在真實圖像小得多的未知低維流形（manifold）空間。

2）黑盒子方法

意味著，查詢模型獲得輸入-輸出對，但無法訪問特定的架構（或權重）。

9 架構

在自動駕駛等領域，一個單一卷積神經(jīng)網(wǎng)絡架構，可以同時執(zhí)行不同的任務。這種架構被稱為多任務學習（MTL），可以用來節(jié)省計算資源，同時提高每個任務的性能。這樣的多任務網(wǎng)絡，通常一個共享的特征提取部分后跟一個單獨的所謂的任務頭。

這些架構中，專家的手動設計起著重要作用。然而，近年來，人們也在努力使尋找網(wǎng)絡架構的自動化，這被稱為神經(jīng)架構搜索（NAS）。

1）Building Blocks

設計卷積神經(jīng)網(wǎng)絡通常包括許多設計選擇。通用架構通常包含許多以特定模式排列的卷積層和池化層。卷積層通常后跟非線性激活函數(shù)。學習過程基于確定當前誤差的損失函數(shù)和誤差傳播，及其可學習參數(shù)的優(yōu)化函數(shù)。

2）Multi-Task Networks 多任務網(wǎng)絡

神經(jīng)網(wǎng)絡的多任務學習 (MTL) 學習統(tǒng)一的特征表示，耦合特定于任務的損失貢獻，同時優(yōu)化多個任務，從而加強跨任務的一致性。

統(tǒng)一特征表示通常是共享編碼器（也稱為特征提取器）內(nèi)部初始層的參數(shù)。通過更廣義的學習特征改進了單個任務，還減少了推理對計算資源的需求。不為每個任務添加一個新網(wǎng)絡，只需添加一個特定于任務的解碼器頭，比如   depth estimation, semantic segmentation, motion segmentation, 和 object detection。

與共享特征表示隱式的耦合任務相比，有更直接的方法聯(lián)合優(yōu)化跨任務損失的任務。在 MTL 期間，幾個任務的網(wǎng)絡預測可以被強制執(zhí)行以保持一致。例如，尖銳的深度邊緣應該只在語義分割預測的類邊界處。通常，兩種 MTL 方法同時應用可以提高神經(jīng)網(wǎng)絡的性能并降低其推理的計算復雜度。

雖然MTL 的理論期望非常明確，但要為所有不同的損失貢獻找到一個好的加權策略具有挑戰(zhàn)性，因為沒有理論可以早期選擇這種加權，包括啟發(fā)式或廣泛的超參調整。平衡任務的最簡單方法是在所有任務中使用統(tǒng)一的權重。然而，不同任務的損失通常有不同的尺度，均勻地平均所有損失會抑制損失較小任務的梯度。

3）神經(jīng)架構搜索NAS

NAS方法旨在對耗時的手動神經(jīng)網(wǎng)絡架構設計改變?yōu)樽詣踊?

10 模型壓縮

基本方法包括：network pruning裁剪, weight quantizations量化, knowledge distillation 蒸餾和 low-rank factorization分解。

1）pruning 裁剪

Pruning用作降低深度神經(jīng)網(wǎng)絡復雜性的系統(tǒng)工具。DNN 的冗余可能存在于各個級別，例如各個權重、濾波器甚至層。所有不同的pruning方法都試圖在不同級別利用這些冗余。

2）quantizations 量化

包括“l(fā)inear” quantization，post-training quantization，training-aware quantization。

部分章節(jié)的內(nèi)容這里沒有仔細介紹，主要是我以前已經(jīng)討論過，比如不確定性和模型壓縮等。

這篇文章沒有一個框圖，一個圖表，基本是文本介紹，作者來自德國的汽車業(yè)界。