arXiv2022年6月17日上傳論文“Improving Diversity of Multiple Trajectory Prediction based on Map-adaptive Lane Loss“，作者來自韓國KAIST。

自動駕駛運(yùn)動預(yù)測領(lǐng)域的現(xiàn)有技術(shù)傾向于尋找接近真值的軌跡。然而，這種方法經(jīng)常導(dǎo)致丟失多樣性和偏差的軌跡預(yù)測。因此，不適用于現(xiàn)實(shí)世界中的自動駕駛，因?yàn)樵诂F(xiàn)實(shí)世界中，多樣化和道路相關(guān)的多模態(tài)軌跡預(yù)測對安全至關(guān)重要。

本文提出一種損失函數(shù)，車道損失（lane loss），確保地圖適應(yīng)的多樣性并適應(yīng)幾何約束。其提出一種兩步軌跡預(yù)測體系結(jié)構(gòu)，具有一個軌跡候選提議模塊，即軌跡預(yù)測注意（TPA，Trajectory Prediction Attention），通過車道損失訓(xùn)練，鼓勵多條軌跡表現(xiàn)不同分布，以地圖-覺察方式覆蓋可行的機(jī)動。

現(xiàn)有軌跡性能指標(biāo)側(cè)重于基于真值的軌跡精度評估，作者提出一個使用定量評估指標(biāo)來評估預(yù)測多條軌跡的多樣性。在Argoverse數(shù)據(jù)集上進(jìn)行的實(shí)驗(yàn)表明，該方法在不犧牲預(yù)測精度的前提下，顯著提高了預(yù)測軌跡的多樣性。

預(yù)測多智體環(huán)境中動態(tài)智體的未來軌跡是自主駕駛等移動機(jī)器人的一項(xiàng)基本任務(wù)。為了對不確定的未來采取先發(fā)行動，需要對附近智體的未來運(yùn)動進(jìn)行預(yù)測。然而，附近智體的未來運(yùn)動高度不確定，不能確定地預(yù)測其未來（例如，選擇可能性最大的單軌跡）。

假設(shè)環(huán)境智體預(yù)測輸出的同時，提供車道保持和轉(zhuǎn)彎的未來軌跡，概率分別為0.8和0.2。在這種情況下，規(guī)劃器可以在主動準(zhǔn)備轉(zhuǎn)彎的同時采取行動進(jìn)行車道保持預(yù)測。相反，如果預(yù)測模型僅返回車道保持結(jié)果，規(guī)劃器無法提前制定轉(zhuǎn)彎情況的應(yīng)急計劃，因?yàn)橹挥幸粋€預(yù)測機(jī)動或軌跡。

因此，為了使決策/規(guī)劃模塊始終保證安全，以便自主智體能夠注意到安全，需要覆蓋范圍廣泛的不確定（甚至那些不太可能發(fā)生的）未來預(yù)測。

然而，一些問題讓開發(fā)一個可靠的預(yù)測模型來生成具有不同機(jī)動的多個軌跡是一個挑戰(zhàn)。

首先，在數(shù)據(jù)集中，每個場景只有一個單一的真值模態(tài)。給定場景缺乏多樣的真值情況，這為多軌跡預(yù)測帶來了巨大障礙。

其次，大多數(shù)軌跡數(shù)據(jù)集具有高度不平衡的分布，其中車道保持軌跡與其他機(jī)動（如換道/轉(zhuǎn)彎）相比占據(jù)主要地位。例如，在最大的軌跡數(shù)據(jù)集之一的Argoverse運(yùn)動預(yù)測數(shù)據(jù)集中，超過90%的目標(biāo)智體機(jī)動是直線，如表所示：數(shù)據(jù)集分布的這種不平衡導(dǎo)致預(yù)測結(jié)果偏差（預(yù)測結(jié)果大多為車道保持）。

第三，像路線圖這樣的駕駛環(huán)境是多種多樣的，很難一概而論。因?yàn)檐囕v應(yīng)該沿著車道行駛，所以在不同的道路幾何中，軌跡是不同的。因此，預(yù)測模型應(yīng)該能夠自適應(yīng)地處理各種道路幾何，以充分適應(yīng)不同的道路形狀。

在運(yùn)動預(yù)測中，之前的多個多模態(tài)預(yù)測模型，在最終距離誤差（FDE）和平均距離誤差（ADE）方面具有良好的預(yù)測精度。特別是，其中許多系統(tǒng)利用道路信息輸出多個預(yù)測。然而，這些模型中的多模態(tài)無法解決多樣性問題。

如圖所示，預(yù)測模型主要由兩部分組成：baseline network 和Trajectory Proposal Attention（TPA）。在baseline網(wǎng)絡(luò)的特征提取器中，將周圍智體的歷史軌跡編碼為行動者特征，并使用GCN對地圖信息進(jìn)行編碼（來自LaneGCN方法）。特征提取器的輸出由TPA處理，然后將TPA的輸出饋入Interaction Network（即LaneGCN的FusionNet模型），即智體和地圖之間的交互。最后，預(yù)測頭生成智體的多個未來軌跡及其得分。

baseline網(wǎng)絡(luò)可以替換為由特征提取器和預(yù)測頭組成的任何軌跡預(yù)測模型，這里采用LaneGCN。特征提取器由ActorNet和MapNet組成。ActorNet和MapNet分別處理智體的軌跡和地圖信息，然后融合二者。

TPA是整個架構(gòu)的瓶頸，是兩步軌跡預(yù)測框架的第一步。其目的是根據(jù)歷史觀測和地圖數(shù)據(jù)，輸出幾何上可行的多個軌跡提議。然后，通過提議注意（Proposal Attention）聚合為聯(lián)合表征。TPA由三個模塊組成：提議頭、提議編碼器和提議注意。

提議頭將從可觀察的過去軌跡和地圖數(shù)據(jù)中提取的特征作為輸入，并生成軌跡提議：

與 RPN 類似，提議頭的輸出在下游網(wǎng)絡(luò)中遞歸使用，提供物理和幾何線索。為了在提議頭和預(yù)測頭之間生成軌跡的一致性，在提議頭和預(yù)測頭采用相同的網(wǎng)絡(luò)，頭由三個 MLP 組成，第二層后有一個殘差連接，ReLU 和一個 GroupNorm 層。軌跡提議使用與最終輸出相同的損失函數(shù)進(jìn)行訓(xùn)練以提出提議。

提議編碼器是一個嵌入層，將軌跡提議編碼為特征向量：

由于提議編碼器的目的是對軌跡形狀的輸入形成嵌入，與baseline網(wǎng)絡(luò)中的ActorNet具有相同的架構(gòu)，由1-D CNN和特征金字塔網(wǎng)絡(luò)（FPN）組成。編碼每個提議的函數(shù)共享權(quán)重。

提議注意是一個模塊，用于聚合來自表示不同機(jī)動或行為的多個提議特征。由于不能忽略所有提議（候選），因此采用多頭注意網(wǎng)絡(luò)來聚合提議的所有特征。未來特征是使用觀察特征和提議特征生成的。提議特征以觀察特征作為Query，提議特征作為 Key 和 Value。

注意機(jī)制，而不是平均或求和，有助于未來特征采取更重要的未來機(jī)動，同時也保留其他機(jī)動。然后，將每個智體的觀察特征和未來特征連接成聚合特征，可以解釋為既考慮可觀察的歷史信息（例如過去的軌跡）又考慮了未來信息的特征。作為輸入信號，其饋送到交互網(wǎng)絡(luò)和預(yù)測頭生成最終預(yù)測輸出。

損失函數(shù)定義：

其中

后兩個是回歸項(xiàng)，每個都包括Winner-Takes-All（WTA）損失和作者定義的車道損失（Lane Loss）。

WTA損失是克服如下ME（mixture-of-experts）損失存在的mode collapse問題

WTA損失根據(jù)真值軌跡和預(yù)測軌跡之間位置歐氏距離來選擇獲勝者，而不是對所有模態(tài)的所有距離損失求和。最后僅根據(jù)距離函數(shù)計算所選模態(tài)（獲勝者）的損失：

因?yàn)?WTA 損失只更新一種模態(tài)，所以它受真值軌跡分布的影響很大。因此，使用 WTA 損失和不平衡數(shù)據(jù)集所訓(xùn)練的模型，其性能是有限的，特別是要生成多樣化的輸出，這對于安全運(yùn)動規(guī)劃至關(guān)重要。然而，要使 WTA 損失能正常工作，真值軌跡應(yīng)該很好地分布在各種機(jī)動中（例如，轉(zhuǎn)彎或直行）。

這里引入Lane Loss，用車道級地圖信息為數(shù)據(jù)集中未顯示的模態(tài)提供偽真值。盡管在每種情況下只有一個觀察到的真值，但預(yù)測結(jié)果應(yīng)該能夠涵蓋與真實(shí)機(jī)動不相符的其他機(jī)動。換言之，為了在不確定的未來安全駕駛，不應(yīng)該忽略小部分出現(xiàn)的情況。

盡管有幾種方法在損失函數(shù)中使用地圖數(shù)據(jù)，但都專注于通過懲罰可駕駛區(qū)域之外的輸出來提高可行性，而不是提高多樣性以覆蓋足夠多的未來可能機(jī)動。例如，假設(shè)一個模型輸出六個完全相同的未來軌跡，并且完全符合位于可駕駛區(qū)域的車道中心線，但都夠不多樣化，不適合多模態(tài)的預(yù)測。

車道損失（Lane Loss）計算預(yù)測軌跡與可行參考車道候選的距離誤差，鼓勵多樣化的預(yù)測。這些可能的參考車道直接從地圖數(shù)據(jù)中獲取。與 WTA 損失類似，車道損失根據(jù)與一個候選車道和所預(yù)測軌跡的歐氏距離，為每個參考車道候選選擇獲勝者。

在 Arogoverse API 中，有一個用于獲取候選車道的函數(shù)。然而，來自該函數(shù)的候選車道有不同的長度，與給定的過去軌跡或真值無關(guān)。因此，將這些候選車道處理成參考車道軌跡，用于損失函數(shù)。

參考車道的處理如下：1）起點(diǎn)：找到當(dāng)前位置最近點(diǎn)（過去軌跡的最后一點(diǎn)）；2）終點(diǎn)：根據(jù)恒速行駛距離在候選車道上找到最近點(diǎn)；3）根據(jù)車道候選在起點(diǎn)和終點(diǎn)之間進(jìn)行插值。

然后，計算每個參考車道的損失（參考車道的數(shù)量設(shè)置為 3，符合大多數(shù)情況）?；貧w損失是場景中所有智體的 WTA 損失和車道損失之和的平均值：

如下圖是計算回歸損失的偽代碼：

采用最小平均/最終位移誤差 (minADE/minFDE) 作為多模態(tài)評估指標(biāo)：

盡管這些指標(biāo)被廣泛用于運(yùn)動預(yù)測任務(wù)，但 minADE 和 minFDE 僅依賴于真值機(jī)動誤差，而忽略了其他可能的機(jī)動。因此，不可能公平地評估多輸出的多樣性。因此，除了 minADE/minFDE 之外，還需要一個可以評估多預(yù)測的多樣性指標(biāo)。

最小車道FDE (minLaneFDE)，根據(jù)地圖數(shù)據(jù)捕獲多輸出的多樣性數(shù)量和質(zhì)量，特別是參考車道的中心線。它專注于覆蓋未來可能機(jī)動的多樣性。minLaneFDE 表示可能的候選車道中心線（采用Argoverse map API 獲取候選車道）和每個多預(yù)測軌跡之間的橫向位移誤差最小值。

換句話說，minLaneFDE 評估來自每個候選車道最接近的預(yù)測誤差。（因此，即使多個軌跡多樣，如果都不在參考車道周圍，minLaneFDE 也會增加。）minLaneFDE 可以評估多條軌跡覆蓋地圖上可能車道的程度：

實(shí)驗(yàn)結(jié)果如下：

如圖所示：上部是LaneGCN 的結(jié)果，模型的baseline，可見難以從給定的歷史信息中推斷出未來機(jī)動，LaneGCN 無法預(yù)測目標(biāo)軌跡和返回所有多個相似的軌跡；中部是本文模型的軌跡提議的預(yù)測結(jié)果，不同的軌跡，即使不準(zhǔn)確，也不是只代表直線前進(jìn)；底部是本文模型的最終預(yù)測結(jié)果，可以預(yù)測準(zhǔn)確和多樣化的多個未來軌跡。

如圖所示：即使 LaneGCN 的預(yù)測結(jié)果涵蓋了真實(shí)機(jī)動，也缺乏多樣性輸出 (e)，輸出發(fā)散，有不可行的軌跡存在 (f)，或者包含錯誤的多樣性（g）。相比之下，本文模型預(yù)測了準(zhǔn)確、可行但多樣化的結(jié)果。