arXiv上傳于2022年5月27日論文“Semi-supervised Semantics-guided Adversarial Training for Trajectory Prediction“，作者是美國西北大學和加州爾灣分校。

對軌跡預測的對抗性攻擊，即在歷史軌跡中引入小的人為干擾，可能會嚴重誤導未來軌跡的預測，導致不安全的規(guī)劃。然而，很少有工作涉及增強重要安全-緊要任務的魯棒性。

本文提出軌跡預測的對抗訓練方法。與典型的對抗圖像任務訓練相比，這個工作面臨著一些挑戰(zhàn)，如更多具有豐富上下文的隨機輸入和類別標簽的缺少等。為了應對這些挑戰(zhàn)，提出一種基于半監(jiān)督對抗自動編碼器（autoencoder）的方法，利用領域知識對分離的語義特征進行建模，并為對抗訓練提供附加的潛標簽。

對不同類型的攻擊進行大量實驗表明，半監(jiān)督語義引導的對抗訓練方法可以有效地減輕對抗攻擊的影響，并普遍提高系統(tǒng)對各種攻擊（包括未見過的）的對抗性魯棒性。

自動駕駛系統(tǒng)通常由感知、定位、預測、規(guī)劃（路線、行為、軌跡和運動規(guī)劃）和控制等幾個模塊組成。感知模塊根據(jù)傳感器輸入（例如圖像和3D點云）檢測智體和障礙物。預測模塊是根據(jù)感知模塊和地圖環(huán)境中觀察的歷史軌跡預測周圍車輛的未來軌跡。

很少有研究對車輛軌跡預測的魯棒性進行研究，這實際上至關重要，因為 1）自動駕駛本質上是一項安全-緊要任務，2）最近的工作表明，如果周圍車輛沿著看似自然但精心設計的軌跡行駛，預測模塊容易受到對抗攻擊，3）當前的預測模型往往對數(shù)據(jù)集有限的模式過擬合，但駕駛場景和行為存在長尾分布。

如圖所示：目標車輛可能在規(guī)劃模塊中進行不安全的緊急制動，因為其錯誤地預測不良車輛將切入其車道；精心設計的輸入軌跡有可能故意誤導目標車輛錯誤預測，并導致危險的規(guī)劃決策。

為了防御車輛軌跡預測的對抗攻擊，存在著與圖像和音頻不同的重要挑戰(zhàn)。

• 首先，車輛軌跡預測是一個具有豐富上下文的時間序列回歸，而現(xiàn)有大多數(shù)的對抗性攻擊和相應的防御方法都是針對分類任務。其攻擊模式更加隨機，并且沒有定義良好的類標簽，這意味著魯棒的模型很難訓練和泛化。

• 其次，車輛軌跡可以傳遞語義或行為信息。例如，人們可以根據(jù)車輛軌跡推斷車輛行為，例如前行或變道。

最近研究表明，在同時白盒和黑盒設置中，自動駕駛的軌跡預測可以被周圍車輛的對抗行為所愚弄，其中對抗行為分別通過PGD（Projected Gradient Decent）或PSO（Particle Swarm Optimization）進行優(yōu)化。對航點的最大偏差加上硬約束，使對抗軌跡在物理上可行而不是表現(xiàn)為不切實際的行為。

與圖像分類不同，軌跡預測沒有類別標簽，但它在上下文中具有方向信息，例如前移、轉彎或右換道。因此，攻擊者除了可以進行隨機攻擊外，還可以進行有方向性的攻擊。

如圖所示：三種類型的對抗性攻擊，會導致重大的方向性錯誤；第一行是用于預測的敵對（紅線）和良性（藍線）輸入歷史軌跡，看起來與人眼非常相似；第二行是相應被攻擊的未來軌跡預測（紅虛線）和良性情況下的真實軌跡（綠虛線）。左圖（a）是隨機導致最大平均偏差的ADE攻擊；中圖（b）是橫向攻擊，主要導致車輛向左或向右偏離；右圖（c）是主要導致縱向偏差的縱向攻擊。

方向錯誤度量定義為

其中α表示時間幀ID，n表示目標車輛ID。p和s分別表示預測和真實車輛位置的二維向量。R是生成特定方向（橫向或縱向）單位向量的函數(shù)。縱方近似為由真值頭兩個航點定義的向量。

除了方向性攻擊外，還設計了一種隨機攻擊最大化平均位移誤差（ADE），即預測軌跡和真實軌跡航點之間的均方根誤差的平均值。

如表1的定量顯示，任何攻擊類型都可能嚴重偏離預測軌跡。因此，攻擊者可以進行隨機攻擊或方向性攻擊，這對防御方法，尤其是泛化性能提出了很大挑戰(zhàn)。

對抗性訓練被證明是提高DNN模型魯棒性的最有效方法之一。實踐中PGD攻擊通常用于評估，因為它在白盒子設置中具有強大的攻擊能力。然而，最近研究表明，特定類型的對抗性攻擊不足以表征對抗性示例的空間，對抗訓練的模型僅對特定的攻擊具有魯棒性。這確實限制了對抗訓練在實踐中的應用，尤其是長尾分布的軌跡回歸任務。

對抗自動編碼器（AAE）是變分自動編碼器（VAE）的一種變型，是一個采用隨機梯度下降（SGD）聯(lián)合學習深度潛變量模型和相應推理模型的原則性方法。VAE模型，首先使用KL散度對高斯分布潛變量的輸入進行正則化，然后從潛空間重構輸出結果。

AAE利用對抗學習而不是KL散度，對潛向量施加各種分布。由于對抗學習的靈活性，A在潛空間施加復雜分布這一點，AAE優(yōu)于VAE。研究表明，解糾纏的潛表征，會生成VAE，在對抗攻擊中更魯棒。

基于AAE架構，作者引入領域知識，促進良性情況和對抗情況下語義信息的建模。該模型以半監(jiān)督方式學習方向性語義潛向量，因為真值僅適用于有限的場景，但其分布可以從領域知識和統(tǒng)計數(shù)據(jù)中得出。因此，潛空間建模包括兩個層次：無監(jiān)督分布建模和有標簽時的半監(jiān)督學習。

該模型架構如圖所示：特征提取器利用一維膨脹（dilated）卷積神經(jīng)網(wǎng)絡獲取時間序列軌跡嵌入，并用圖神經(jīng)網(wǎng)絡（GNN）來建模車道線上下文和目標之間的交互。編碼器采用分布正則化和半監(jiān)督訓練將高維特征映射到語義引導的潛空間。具體而言，潛空間分為三部分：縱向特征z-lon，遵循一維對數(shù)正態(tài)分布；橫向特征z-lat，遵循三維類別分布；剩下其他特征，遵循高斯分布。最后，解碼器將語義向量以及其他解糾纏的潛向量映射到未來軌跡。AAE代替?zhèn)鹘y(tǒng)VAE架構，可模擬這些不同且復雜的分布。

在攻擊場景中，攻擊的影響將被分解為不同的潛向量，攻擊模式將通過語義特征顯式建模。以橫向向量為例，如果攻擊不是針對橫向維度，編碼器將攻擊結果分解為其他向量，橫向的映射將保持穩(wěn)定。否則，如果攻擊導致橫向向量的錯誤，則特征提取器和編碼器將在方向標簽進行對抗訓練，并更新潛分布到最終軌跡的對應映射。

在軌跡預測任務中，為了建模高級語義信息，很自然地將軌跡分解為兩個維度——縱向和橫向。通過代表性的度量和先驗分布，期望利用領域知識指導建模。

縱向通常用速度和加速度來模擬車輛的動態(tài)，但總在變化，并且不包含足夠的語義信息。在模型中，用時間推進（time headway）來有效地提取縱向特征，該特征測量兩個連續(xù)車輛在通過給定點的時間差。時間推進代表了某個智體相對穩(wěn)定的行為模式，并考慮與其他車輛的交互。

該模型將時間推進表示為潛空間的一維向量。在良性情況和對抗情況下，編碼器都通過正則化損失函數(shù)做訓練，強制縱向特征達到統(tǒng)計中時間推進所遵循的特定分布。

縱向特征遵循的分布定義為

當被攻擊目標和前方車輛之間存在可觀測的交互時，可以明確地獲得半監(jiān)督訓練的真實時間推進值。將半監(jiān)督縱向特征編碼視為一個回歸問題，并通過最小化均方誤差對其進行優(yōu)化。

對于橫向特征，用三個簡單但有效的類別來表示：前進、左轉/換道和右轉/換道。這三個意圖本質上是離散的，用類別分布對它們進行建模。在對抗訓練過程中，只有在足夠長時間內具有明確意圖的車輛才會被標記，訓練中用交叉熵來優(yōu)化該分類任務。

對于所有語義和高斯?jié)撟兞?，如下對抗性生成損失被正則化為目標分布。鑒別器的訓練，最大化真潛樣本的對數(shù)概率s和假潛樣本的逆概率對數(shù)，公式為

對每個示例，僅為目標車輛，采用PGD攻擊方法生成對抗軌跡，并保留周圍其他車輛的原始軌跡，從而限制對抗攻擊對整個場景的影響。如果攻擊的預測與真值之間的誤差大于閾值，攻擊算是成功，對該樣本進行對抗訓練。

由于擾動很小，將真實的未來軌跡作為對抗訓練的真值yi，并以L1平滑損失優(yōu)化整個流水線

這是一個普遍但有點幼稚的對抗訓練過程。在該體系結構中，進一步利用語義特征及其相應的標簽來促進對抗性訓練。對編碼器進行優(yōu)化，最小化縱向特征的均方誤差和潛空間真值-預測橫向特征的交叉熵。半監(jiān)督損失函數(shù)如下所示：

此外，由于橫向預測可以看作是一個分類問題，并且具有明確的行為含義，因此進一步利用橫向語義向量調整對抗性訓練過程。

當對抗性示例導致橫向行為分類錯誤時，對抗性訓練半監(jiān)督損失的權重設置更高。這樣，模型將首先保證高級語義預測的正確性，調整回歸誤差，從而避免顯著的對抗性偏差，提高泛化性能。

整個對抗學習算法的偽代碼如下：

初步實驗發(fā)現(xiàn)標準準確性和對抗性穩(wěn)健性之間的一個權衡。首先嘗試魯棒的自訓練和數(shù)據(jù)增強：添加一個額外的解碼器，和帶高斯噪聲的真實輸入相同的潛向量生成更多的輸入，來增強數(shù)據(jù)。

然而，數(shù)據(jù)驅動增強引入了額外的誤差，甚至可能會損害標準精度。部分原因是，在預測任務中，增強的輸入需要非常精確地匹配未來軌跡（真值）和上下文，而分類任務更能容忍增強數(shù)據(jù)。因此，在對抗訓練過程中進一步利用MixUp技術，混合對抗場景和良性場景，從而在軌跡預測的對抗魯棒性和準確性之間平衡。

實驗結果如下：

選擇在LaneGCN模型進行對抗性訓練作為比較基準。在此設置下，所有模型共享相同的特征提取器，然后結果主要反映對抗性訓練造成的差異。

如圖顯示，軌跡預測任務的對抗性訓練可以顯著減少不同類型攻擊下的錯誤。半監(jiān)督語義引導（SSAT）方法將進一步增強對各種攻擊的魯棒性，與LaneGCN的簡單對抗性訓練相比，錯誤減少多達45%。