arXiv論文“Safety-Enhanced Autonomous Driving Using Interpretable Sensor Fusion Transformer“，2022年7月，商湯科技、多倫多大學(xué)和香港中文大學(xué)的工作。

出于安全考慮，自動駕駛汽車的大規(guī)模部署不斷推遲。一方面，缺乏全面的場景理解會導(dǎo)致對罕見但復(fù)雜的交通情況的處理脆弱性，例如未知目標(biāo)的突然出現(xiàn)。然而，從全局上下文推理需要訪問多種類型的傳感器，并充分融合多模態(tài)傳感器信號，這很難實現(xiàn)。另一方面，學(xué)習(xí)模型中缺乏可解釋性也阻礙安全性，故障原因無法驗證。

本文提出一種安全增強型自主駕駛框架，稱為可解釋傳感器融合Transformer（InterFuser），用于全面處理和融合來自多模態(tài)多視圖傳感器的信息，實現(xiàn)全面的場景理解和對抗事件（adversarial event）檢測。此外，該框架生成了中間可解釋特征，叫安全思維圖（safety mind map），這些特征提供了更多語義，并用來更好地將動作約束在安全集內(nèi)。在CARLA基準(zhǔn)上進行了大量實驗，在公共CARLA Leaderboard上排名第一。

如圖所示，安全思維圖（safety mind map）提供關(guān)于周圍目標(biāo)和交通標(biāo)志的信息：

這個模型有明確的失敗條件和原因，通過揭示感知和決策過程，是可以改進的。此外，此中間可解釋信息作為安全約束啟發(fā)式，可以將動作約束在安全動作集中，進一步提高駕駛安全性。

如圖所示，該框架由三個主要組成部分組成：1）多視圖多模態(tài)融合Transformer編碼器，集成多個RGB攝像機和激光雷達的信號；2） transformer解碼器提供低級動作和可解釋中間特征，包括自車的未來軌跡、目標(biāo)密度圖和交通規(guī)則信號；3） 一種安全控制器，利用可解釋中間特征將低級控制約束在安全集內(nèi)。

輸入表示四個傳感器，包括3個RGB攝像機（左、前和右）和一個激光雷達傳感器。從3個攝像機獲得4個圖像輸入。除了左、前和右圖像輸入{Ileft、Ifront、Iright}，還設(shè)計聚焦視圖圖像（focusing-view image）輸入Ifocus，通過裁剪前RGB圖像的中心來捕捉遠(yuǎn)處交通燈的狀態(tài)。對于激光雷達點云，轉(zhuǎn)換為2-D BEV網(wǎng)格上的2-bin直方圖，從而生成雙通道激光雷達BEV投影圖像輸入Ilidar。

輸出表示兩種類型的輸出：安全不敏感輸出和安全敏感輸出。對安全不敏感的輸出，InterFuser預(yù)測L=10個航路點的路徑，以便自車駕駛；它指導(dǎo)自車的未來駕駛路線。然而在沒有適當(dāng)速度的情況下沿道路行駛可能是不安全的，并且違反實際的交通規(guī)則，因此InterFuser還預(yù)測安全敏感輸出，包括目標(biāo)密度圖和交通規(guī)則信息。目標(biāo)密度圖為檢測目標(biāo)（如車輛、行人和自行車）提供7個特征。地圖覆蓋自車輛前方R米和兩側(cè)R/2米。地圖的7個通道是目標(biāo)存在的概率、距網(wǎng)格中心的2-D偏移、目標(biāo)邊框的大小、方向和速度。此外，InterFuser還輸出交通規(guī)則信息，包括紅綠燈狀態(tài)、前方是否有停車標(biāo)志以及自車是否位于十字路口。

每個圖像輸入和激光雷達輸入I的主干用傳統(tǒng)的CNN主干ResNet生成低分辨率特征圖。對于每個傳感器輸入的特征映射f，首先進行1×1卷積以獲得較低的通道特征圖。然后將每個特征圖z的空間維度疊為1-D，生成token。固定2D正弦位置編碼添加到每個token中，保留每個傳感器輸入的位置信息，并添加可學(xué)習(xí)傳感器嵌入以區(qū)分來自N個不同傳感器的token。最后，將來自所有傳感器的token連接起來，通過K個標(biāo)準(zhǔn)transformer層的transformer編碼器。每個K層由多頭自注意、MLP塊和層歸一化（LN）組成。

解碼器遵循標(biāo)準(zhǔn)Transformer架構(gòu)，用K層多頭自注意機制轉(zhuǎn)換一些查詢嵌入。設(shè)計三種類型查詢：L路點查詢、R^2密度地圖查詢和交通規(guī)則查詢。在每個解碼器層，用這些查詢通過注意機制從多模態(tài)多視圖特征中查詢空間信息。由于transformer解碼器置換不變，因此上述查詢嵌入對解碼器是相同的，不產(chǎn)生不同的結(jié)果。為此，將可學(xué)習(xí)的位置嵌入添加到這些查詢嵌入中。然后，這些查詢結(jié)果通過以下預(yù)測頭獨立解碼為L路點、1個密度圖和1個交通規(guī)則。

解碼器后面是三個并行預(yù)測模塊，分別預(yù)測路點、目標(biāo)密度圖和交通規(guī)則。對于路點預(yù)測，用單層GRU做自動回歸預(yù)測L個未來路點序列。對于密度圖預(yù)測，來自transformer解碼器的相應(yīng)嵌入通過ReLU激活函數(shù)的3層MLP來獲得特征圖。然后將其重塑獲得目標(biāo)密度圖。對于交通規(guī)則預(yù)測，來自transformer解碼器的相應(yīng)嵌入通過單個線性層來預(yù)測前方紅綠燈的狀態(tài)、前方是否有停車標(biāo)志以及自車是否位于十字路口。

通過transformer解碼器輸出的路點和中間可解釋特征（目標(biāo)密度圖和交通規(guī)則），將動作約束到安全集。具體來說，用PID控制器來獲得兩個低級動作。橫向轉(zhuǎn)向動作使自車與所需航向ψd對齊，該航向僅僅是前兩個路點的平均航向?？v向加速度動作旨在捕捉所需速度vd。vd的確定需要考慮周圍目標(biāo)以確保安全，為此，求助于目標(biāo)密度圖。

目標(biāo)密度圖M網(wǎng)格中的目標(biāo)，由目標(biāo)存在概率、距網(wǎng)格中心的2-D偏移量、2-D邊框和航向角來描述。一旦滿足以下標(biāo)準(zhǔn)之一，就會識別網(wǎng)格為目標(biāo)存在：1）如果目標(biāo)在網(wǎng)格的存在概率高于threshold 1。2）如果網(wǎng)格的目標(biāo)存在概率是周圍網(wǎng)格的局部最大值，并且大于threshold 2（threshold 2 < threshold 1）。雖然第一條規(guī)則是直觀的，但第二條規(guī)則用于識別具有高度位置不確定性的目標(biāo)存在。除了目標(biāo)的當(dāng)前狀態(tài)外，安全控制器還需要考慮其未來軌跡。首先設(shè)計一個跟蹤器來監(jiān)測和記錄它們的歷史動態(tài)。然后，通過移動平均（MA）將其歷史動態(tài)向前傳播來預(yù)測其未來軌跡。

利用恢復(fù)的周圍場景和這些目標(biāo)的未來預(yù)測，可以獲得自車在時間步t可以行駛的最大安全距離st。然后通過求解線性規(guī)劃問題得出具有增強安全性的期望速度vd。注意，為了避免不安全集合和未來的安全困難，還增加目標(biāo)的形狀特征，并考慮活動極限和自車的動態(tài)約束。除了目標(biāo)密度圖外，預(yù)測的交通規(guī)則也用于安全駕駛。如果紅綠燈不亮或前方有停車標(biāo)志，自車將緊急停車。

注意，雖然可以使用更先進的軌跡預(yù)測方法和安全控制器[，但經(jīng)驗發(fā)現(xiàn)，移動平均和線性規(guī)劃控制器進行動態(tài)傳播已經(jīng)足夠。對于更復(fù)雜的駕駛?cè)蝿?wù)，這些高級算法可以很容易地集成到框架中。

實驗結(jié)果如下：