編者按：隨著自動駕駛的快速發(fā)展，如何理解自動駕駛周圍目標(biāo)的行為成為自動駕駛系統(tǒng)中的重要一環(huán)。軌跡預(yù)測任務(wù)旨在根據(jù)目標(biāo)(如行人、車輛等交通參與者)當(dāng)前或者歷史軌跡與環(huán)境信息，對該目標(biāo)未來的行駛軌跡進(jìn)行預(yù)測。軌跡預(yù)測結(jié)果是自動駕駛系統(tǒng)進(jìn)行提前決策的重要信息之一。而目前多使用贏家通吃（WTA）解決軌跡預(yù)測中的多模態(tài)特性和目標(biāo)間的交互關(guān)系，而本文的DAC可以初始化WTA，避免偽模式。同時結(jié)合車道語義信息作為錨點(diǎn)，也能更好避免不合理軌跡的產(chǎn)生。

本文譯自：
《Divide-and-Conquer for Lane-Aware Diverse Trajectory Prediction》
文章來源：
CVPR 21 (Oral)
作者：
Sriram Narayanan, Ramin Moslemi, Francesco Pittaluga, Buyu Liu, Manmohan Chandraker
原文鏈接：
https://arxiv.org/abs/2104.08277

摘要：軌跡預(yù)測是自動駕駛汽車在規(guī)劃和執(zhí)行環(huán)節(jié)中的關(guān)鍵一步。我們的工作解決了軌跡預(yù)測中的兩個關(guān)鍵挑戰(zhàn)：學(xué)習(xí)多模態(tài)輸出，以及通過使用駕駛信息施加約束來實(shí)現(xiàn)更好的預(yù)測。最近的方法采用多個目標(biāo)函數(shù)，如贏家通吃(WTA)或多項(xiàng)中的最佳，取得了很好的效果。但是，這些方法沒有充分考慮假設(shè)的多樣性，而目標(biāo)函數(shù)高度依賴于它們對多樣性的初始化。作為我們的第一個貢獻(xiàn)，我們提出了一種新穎的分而治之(DAC)方法，對WTA目標(biāo)函數(shù)進(jìn)行更好初始化，得到?jīng)]有任何偽模式的不同輸出。我們的第二個貢獻(xiàn)是一個新的軌跡預(yù)測框架，稱為ALAN，它使用現(xiàn)有的車道中心線作為錨點(diǎn)，為輸入車道提供軌跡約束。我們的框架通過超列描述子捕捉交互，并以柵格化圖像和車道錨點(diǎn)的形式結(jié)合場景信息，提供多個軌跡輸出。對合成數(shù)據(jù)和真實(shí)數(shù)據(jù)的實(shí)驗(yàn)表明，與其他WTA目標(biāo)函數(shù)相比，DAC更好地捕捉了數(shù)據(jù)分布。此外，ALAN在Nuscenes城市駕駛基準(zhǔn)數(shù)據(jù)集上，取得了與SOTA方法相當(dāng)或更好的性能。

關(guān)鍵詞：自動駕駛汽車，軌跡預(yù)測，WTA，分治策略，軌跡約束

1  引言

多模態(tài)行為的預(yù)測是自動駕駛汽車主動做出安全決策的關(guān)鍵。一個主要的挑戰(zhàn)在于，不僅要預(yù)測最主要的模式，還要解釋偶爾出現(xiàn)的不那么主要的模式。因此，模型不僅需要能夠確定合理的輸出空間，還需要對任意給定數(shù)量的樣本進(jìn)行預(yù)測。此外，絕大多車輛執(zhí)行的是符合底層場景結(jié)構(gòu)的常理可接受的策略。常理不可行的輸出可能導(dǎo)致不安全的規(guī)劃決策，而且其中一些決策比其他決策更危險(xiǎn)[7]。例如，與遵循場景結(jié)構(gòu)的方法相比，提供足夠接近的預(yù)測而不遵循道路語義信息的方法更危險(xiǎn)。

通常，生成模型被廣泛用于捕捉與軌跡預(yù)測問題相關(guān)的不確定性[29,24,42,23,44]。然而，生成模型可能會遭遇模式崩潰問題，這降低了其在重視安全性的問題(如自動駕駛汽車)上的適用性。最近的方法[36,32]使用多個目標(biāo)函數(shù)[30]，如贏家通吃(WTA)，但存在與網(wǎng)絡(luò)初始化相關(guān)的不穩(wěn)定性[34,39]。作為本文的第一個貢獻(xiàn)，我們提出了一種分而治之(DAC)方法，該方法為WTA提供了更好的初始化。我們的方法解決了與偽模式相關(guān)的問題，偽模式指的是一些假設(shè)要么在訓(xùn)練過程中未經(jīng)訓(xùn)練，要么不代表數(shù)據(jù)的任何部分。與WTA基線相比，我們所提出的DAC在具有多模態(tài)地面真值的真實(shí)場景和合成場景中都能更好地捕獲數(shù)據(jù)分布結(jié)構(gòu)[34,39]。

此外，軌跡預(yù)測方法通過柵格化圖像[29,42,44,36,38,8]的形式，或者高清地圖數(shù)據(jù)結(jié)構(gòu)[32,17]的場景信息作為輸入，融合駕駛信息。通常，這些信息被用作網(wǎng)絡(luò)輸入的特征，并且不能保證強(qiáng)語義耦合。本文的第二個貢獻(xiàn)是ALAN，這是一種新的軌跡預(yù)測框架，使用車道中心線作為錨點(diǎn)來預(yù)測軌跡(圖1)。ALAN的輸出精確的預(yù)測，由FDE和OffRoadRate值可以證明良好的語義對齊，并通過定性可視化進(jìn)行驗(yàn)證。


圖1 交互場景下的軌跡預(yù)測問題，彩色虛線代表了交通參與者可能的車道錨點(diǎn)

具體來說，我們使用一個單一的表示模型[44]用于多交通參與者輸入，并通過超列描述子[2]的新穎使用對交互進(jìn)行編碼，該描述子從多個尺度的特征中提取信息。此外，我們將預(yù)測問題轉(zhuǎn)換為相對于輸入通道的法向切向(nt) 坐標(biāo)?？紤]到我們使用車道中心線作為錨點(diǎn)，這種轉(zhuǎn)換是至關(guān)重要的。此外，我們通過輔助的xy預(yù)測來規(guī)范錨點(diǎn)輸出，使其不那么容易受到壞錨點(diǎn)的影響，并依賴于車輛動力學(xué)。最后，我們通過一個基于逆最優(yōu)控制的排序模塊[29]對我們的預(yù)測進(jìn)行排序。

總而言之，本文的貢獻(xiàn)如下:

·  一種新的分而治之的方法可以更好地初始化WTA目標(biāo)函數(shù)，該方法可以捕獲沒有任何偽模式的數(shù)據(jù)分布。

·  一個新的基于錨點(diǎn)的軌跡預(yù)測框架 (ALAN)，它使用現(xiàn)有的車道中心線作為錨點(diǎn)，以提供具有強(qiáng)語義耦合的環(huán)境感知輸出。

·  在Nuscenes城市駕駛基準(zhǔn)數(shù)據(jù)集上有較好的表現(xiàn)。

2  相關(guān)工作

多選擇學(xué)習(xí)：過去通過多選擇學(xué)習(xí) (Multi-Choice Learning, MCL) [19,13,30]在不同領(lǐng)域?qū)崿F(xiàn)了多模態(tài)預(yù)測。一些文獻(xiàn)已經(jīng)展示了MCL在分類[30,39]、分割[30,39]、字幕[30]、姿態(tài)估計(jì)[39]、圖像合成[11]和軌跡建議[45]等方面的應(yīng)用案例。與WTA目標(biāo)函數(shù)相關(guān)的收斂問題已在[39,34]中得到證明。在此基礎(chǔ)上，[39]提出了一種寬松的贏家通吃目標(biāo)函數(shù)(RWTA)來解決收斂問題，但該方法本身存在假設(shè)錯誤捕獲數(shù)據(jù)分布的問題。[34]提出了一種改進(jìn)的贏家通吃(EWTA)損失函數(shù)，相較于[39]這種損失函數(shù)更好地獲取了數(shù)據(jù)分布。盡管有了上述改進(jìn)，但由于訓(xùn)練過程中存在的偽模式或未經(jīng)訓(xùn)練的假設(shè)，這些方法仍不能準(zhǔn)確捕捉數(shù)據(jù)分布。因此，我們提出了一種分而治之的方法，在訓(xùn)練過程中，通過在每個階段捕獲部分?jǐn)?shù)據(jù)分布的假設(shè)集，以指數(shù)方式增加輸出的有效數(shù)量。

預(yù)測方法：大量文獻(xiàn)對未來軌跡預(yù)測進(jìn)行了廣泛的研究，包括經(jīng)典的[47,31,27]和基于深度學(xué)習(xí)的方法[18,1,44]。確定性模型[1,33,41]預(yù)測場景中每個交通參與者最可能的軌跡，而忽略了軌跡預(yù)測問題中繼承的不確定性。為了捕捉不確定性并創(chuàng)造不同的軌跡預(yù)測，提出了隨機(jī)方法，通過抽樣隨機(jī)變量來編碼未來軌跡的可能模式。非參數(shù)深度生成模型，如條件變分自動編碼器 (CVAE) [29,3,24,22,44]和生成對抗網(wǎng)絡(luò)(generative Adversarial Networks, GANs)[28,18,40]在該領(lǐng)域得到了廣泛的應(yīng)用。然而，由于潛在分布[48]的不平衡，這些方法不能捕獲所有的潛在模式。最近的方法預(yù)測了同一輸入環(huán)境下的固定的不同軌跡[36,32]。我們的方法使用類似的方法來預(yù)測一組M假設(shè)。

表征：高清地圖柵格化在文獻(xiàn)中被廣泛應(yīng)用于，利用神經(jīng)網(wǎng)絡(luò)對地圖信息進(jìn)行編碼和處理[3,51,14,6,44]。一些方法[43,35]利用透視圖像的語義和深度信息構(gòu)造頂視圖地圖。有些方法[49,6]使用了柵格化高清地圖和傳感器信息的結(jié)合。最近的一些著作[32,17]通過將矢量化的地圖數(shù)據(jù)表示為圖數(shù)據(jù)結(jié)構(gòu)來直接利用地圖信息。我們的工作使用混合地圖輸入，結(jié)合柵格化地圖和矢量化車道數(shù)據(jù)，作為空間網(wǎng)格[44]上每個交通參與者的輸入。

軌跡預(yù)測：傳統(tǒng)上，一些文獻(xiàn)[44,32,17,36]將軌跡預(yù)測問題表述為笛卡爾坐標(biāo)上的回歸問題。[43]將其作為空間網(wǎng)格上未來位置的分類。Chang等人的[9]使用了與我們類似的法向切線坐標(biāo)，但僅限于經(jīng)典的最近鄰和簡單LSTM[21]方法。與我們的工作相關(guān)，一些方法通過將輸出空間量化為幾個預(yù)定義的不同錨點(diǎn)，然后將原始軌跡問題重新構(gòu)造為順序錨點(diǎn)分類(選擇)和偏移回歸子問題來解決多模態(tài)問題[50,38,8,49]。然而，錨點(diǎn)通常是預(yù)先聚類到一個固定的集合中，或者是根據(jù)運(yùn)動學(xué)[50]實(shí)時計(jì)算。因此，創(chuàng)建錨點(diǎn)的過程可能會增加推理時間的計(jì)算復(fù)雜度，而且它可能高度依賴于場景，難以泛化。相比之下，我們的方法使用高清地圖中心線信息作為錨點(diǎn)，這對于不同的場景是一致的，也易于在推理中獲得。

3  分治策略

在本節(jié)中，我們詳細(xì)描述了我們訓(xùn)練多假設(shè)預(yù)測網(wǎng)絡(luò)的方法，而我們的方法是贏家通吃[30]目標(biāo)函數(shù)的初始化步驟。設(shè)χ表示輸入的向量空間，у表示輸出變量的向量空間。設(shè)D={（xi, yi），…，（xN, yN）}是N個訓(xùn)練元組的集合，p(x, y) = p(y|x)p(x)是聯(lián)合概率密度。我們的目標(biāo)是學(xué)習(xí)一個函數(shù)fθ：χ—> уM，它將χ中的每個輸入映射到一組M假設(shè)的集合。在數(shù)學(xué)上,我們定義：



正如Rupprecht等人在[39]中所示，贏家通吃的目標(biāo)函數(shù)通過盡可能接近M個假設(shè)使損失最小化：


其中уj是標(biāo)記空間的Voronoi剖分у=∪j=1Mуj。而目標(biāo)函數(shù)將導(dǎo)致輸出的質(zhì)心Voronoi剖分[15]，其中每個假設(shè)最小化到由它包圍的Voronoi標(biāo)記空間уj的概率質(zhì)量質(zhì)心。在實(shí)踐中，為了獲得不同的假設(shè)，WTA目標(biāo)函數(shù)可以寫成一種元損失[34, 39, 30, 19]，



其中δ(·)是當(dāng)條件為真時值為1，否則為0的Kronecker δ函數(shù)，。

WTA的初始化困難 正如Makansi等人在[34]中提到的，方程3可以類比為EM算法和K-means聚類，它們主要依賴于初始化來獲得最優(yōu)收斂。如2b所示，這使得訓(xùn)練過程非常脆弱，因?yàn)橹挥猩贁?shù)幾個假設(shè)的Voronoi區(qū)域包含了數(shù)據(jù)分布，由于贏家通吃的目標(biāo)函數(shù)，使得大多數(shù)假設(shè)未被訓(xùn)練。Ruppercht等人在[39]提出的通過給非贏家分配權(quán)重來解決收斂問題的備選方案并不奏效，因?yàn)槊總€地面真值最多只與一個假設(shè)相關(guān)聯(lián)，使得其他非贏家達(dá)到2c所示的均衡。

Ruppercht等人在[39]中提出的通過分配策略，對非贏家的權(quán)重并不起作用，因?yàn)槊總€基礎(chǔ)真理最多只與一個假設(shè)相關(guān)聯(lián)，使其他非贏家達(dá)到2c所示的均衡。Makansi 等人在[34]中提出了改進(jìn)贏家通吃(EWTA) 的目標(biāo)函數(shù)，其中他們將前k名視作贏家。k從k=M到k=1不等，導(dǎo)致贏家在訓(xùn)練過程中獲得全部目標(biāo)。與RWTA和WTA相比，這種方法可以更好地捕捉數(shù)據(jù)分布，但仍然產(chǎn)生了模態(tài)不正確的假設(shè)，如圖2d所示。



圖2 比較不同版本的贏家通吃和封閉的預(yù)測假設(shè)的Voronoi區(qū)域的玩具示例。玩具數(shù)據(jù)用紅色表示，假設(shè)用白色表示。當(dāng)DAC的Depth=1時，它包含一個單一的假設(shè)集，其中有M個假設(shè)，因此所有的假設(shè)都被抑制以匹配數(shù)據(jù)并達(dá)到平衡。隨著深度的增加，當(dāng)每個集合被分解成兩半(e —> f —> g —> h) 時，列表中集合的數(shù)量呈指數(shù)增長。由于我們對一個集合中的所有假設(shè)都使用相同的地面真值，他們達(dá)到相同的平衡位置，形成質(zhì)心Voronoi剖分，使得輸出的數(shù)量等于列表中集合的數(shù)量(e —> 1，f —> 2，g —> 4，h —> 8)。在最后階段(h)，每個集合包含一個類似WTA目標(biāo)函數(shù)的假設(shè)。與DAC相比，其他WTA目標(biāo)函數(shù)對數(shù)據(jù)分布的建模不正確，因?yàn)橐恍￢oronoi區(qū)域沒有捕獲數(shù)據(jù)的任何部分，導(dǎo)致了偽模式。

DAC用于不同的非偽模式 我們提出了一種新的初始化技術(shù)，稱為分治(Divide and Conquer)，它緩解了偽模式的問題，讓每個輸出假設(shè)的Voronoi區(qū)域捕獲數(shù)據(jù)的一部分，如圖2h所示。我們將M個假設(shè)劃分為k個集合，用最小輸出更新集合以匹配地面真值。k的值從1開始，隨著訓(xùn)練的進(jìn)行，每個集合被分解成兩部分，k的值呈指數(shù)級增長。這創(chuàng)建了一個二叉樹，樹的深度依賴于輸出假設(shè)M的數(shù)量。算法1顯示了所提出的分治的偽代碼。這里深度指的是當(dāng)前訓(xùn)練階段可以達(dá)到的最大深度，列表定義為在訓(xùn)練的任何階段包含假設(shè)集的變量。此外，我們將kth中新形成的集合定義為setk1和setk2。列表中產(chǎn)生最小輸出的集合表示為mSet。最后我們?nèi)Set中所有假設(shè)的平均損失來得到LDAC。



如圖2e所示，當(dāng)k=1時，列表中只包含一個集合，所有的M個假設(shè)都趨于平衡。隨著列表中集合的數(shù)量從2e增加到2f，假設(shè)根據(jù)Voronoi區(qū)域劃分分布空間，以捕獲數(shù)據(jù)的不同部分。輸出的有效數(shù)量在每個階段都在增長，前一階段的kth集合捕獲的數(shù)據(jù)在下一階段被拆分為兩個新形成的集。最后，當(dāng)我們到達(dá)葉節(jié)點(diǎn)時，每個集合包含一個假設(shè)，導(dǎo)致類似于等式3的贏家通吃的目標(biāo)函數(shù)。

DAC從擬合整個數(shù)據(jù)的所有假設(shè)開始，在每一階段，DAC確保將一些數(shù)據(jù)封裝在Voronoi空間中。在分裂過程中，假設(shè)對包含在Voronoi空間中的數(shù)據(jù)進(jìn)行分割，以達(dá)到新的平衡。雖然DAC不能保證相同數(shù)量的假設(shè)，可以捕獲數(shù)據(jù)的不同模式，但它保證了收斂。此外，值得一提的是，DAC沒有任何顯著的計(jì)算復(fù)雜性，因?yàn)橹簧婕暗絼澐譃榧虾妥钚∮?jì)算。在第5節(jié)中，我們展示了DAC在更好地捕獲多模態(tài)分布方面的優(yōu)勢，與其他WTA目標(biāo)函數(shù)相比，DAC可以產(chǎn)生不同的假設(shè)集。

4  基于車道錨點(diǎn)的軌跡預(yù)測

在本節(jié)中，我們將介紹一種稱為ALAN的單一表示模型，它在向前傳遞中為多個交通參與者生成車道感知軌跡。我們將問題表述為跨越時間的不同假設(shè)的單例回歸。接下來將詳細(xì)描述我們的方法。

4.1  問題陳述

我們的方法采用兩種形式的場景信息輸入：a) 場景的柵格化鳥瞰(BEV)表示，記為尺寸為H × W × 3的I，b) 每個交通參與者的車道中心線信息作為錨點(diǎn)。我們定義車道錨點(diǎn)L={L1，…，Lp}作為包含p個點(diǎn)的序列，在BEV參考系中坐標(biāo)為Lp =(x, y)。我們將Xi = {Xi1，…，XiT}表示為包含每個交通參與點(diǎn)的過去和未來觀測結(jié)果的笛卡爾形式的軌跡坐標(biāo)，其中Xit = (xit，yit)。對于每個交通參與者i，我們根據(jù)軌跡信息，如最近距離、偏航對齊和其他參數(shù)，確定車輛可能采取的一組候選車道。我們將其表示為一組可信的車道中心線A = { L1，…，Lk}，其中k表示車輛可能沿著其行駛的車道中心線的總數(shù)。然后我們在二維曲線法向—切向坐標(biāo)系(nt)中沿這些中心線定義車輛軌跡Xi。將Ni, k = {Ni, k1，…，Ni, kT}表示為交通參與者i沿車道中心線Lk的nt坐標(biāo)，其中Ni, kt = (ni, kt，li, kt)表示到車道最近點(diǎn)的法向和縱向距離。nt坐標(biāo)的使用對于捕獲復(fù)雜的道路拓?fù)浜拖嚓P(guān)的動態(tài)是至關(guān)重要的，坐標(biāo)用以提供語義一致的預(yù)測，這已經(jīng)在我們的實(shí)驗(yàn)中得到了研究(第5節(jié))。

然后，我們將軌跡預(yù)測問題定義為對給定的車道錨點(diǎn)Lk作為網(wǎng)絡(luò)輸入，進(jìn)行ntYi, k = { Ni, ktobs，…，Ni, kT }預(yù)測的任務(wù)。我們遵循一個類似于[44]的輸入表示，其中我們在空間網(wǎng)格上的Xi,tobs 位置對交通參與者的信息進(jìn)行編碼。最后，為了得到BEV參考系中的軌跡，我們將輸出預(yù)測轉(zhuǎn)換為基于網(wǎng)絡(luò)輸入錨點(diǎn)Li, k的笛卡爾坐標(biāo)。

4.2  用于軌跡預(yù)測的ALAN框架

框架的概述如圖3所示。我們的方法包括五個主要部分：a) 中心線編碼器b) 過去的軌跡編碼器c) 多交通參與者卷積交互編碼器d) 超列[2]軌跡解碼器和e) 基于逆最優(yōu)控制(IOC) 的排序模塊[29]。


圖3：ALAN方法的概述。該方法以過去的軌跡、車道錨點(diǎn)和BEV映射作為輸入，一次性對所有交通參與者進(jìn)行多假設(shè)預(yù)測。

中心線編碼器：對每個交通參與者的輸入車道信息Li, k進(jìn)行編碼，通過一系列1D卷積，為場景中的每個交通參與者生成一個嵌入向量Ci, k = Cenc(Li, k)。

過去的軌跡編碼器：除了用于車道錨點(diǎn)的nt坐標(biāo)Ni, k外，我們還為過去軌跡的編碼器提供了額外的Xi輸入。我們首先通過MLP嵌入時間輸入，然后通過LSTM[21]網(wǎng)絡(luò)提供過去狀態(tài)向量hitobs。在形式上，



多交通參與者卷積編碼器：我們通過卷積編碼器模塊[44]，在前向傳播中實(shí)現(xiàn)了多交通參與者的軌跡預(yù)測。首先，在BEV空間網(wǎng)格中，將交通參與者的特定信息Ci,k，hitobs編碼到它們各自的位置Xitobs。這將生成一個場景狀態(tài)映射S，大小為H ×W ×128，包含場景中每個交通參與者的信息。然后，我們將其與柵格化的BEV映射I一起，通過卷積編碼器產(chǎn)生不同特征尺度上的激活。為了計(jì)算每個交通參與者的特征向量，我們采用Bansal等人在[2]中的技術(shù)，從它們的位置提取超列描述子Di。超列描述子包含通過對不同特征維度的Xitobs進(jìn)行雙線性插值在不同尺度上提取的特征。因此，



其中ck是通過雙線性插值，從輸入位置到給定維數(shù)在kth層提取的特征。簡單來說，在不同的尺度上捕獲交互信息，深層的卷積層捕獲全局環(huán)境信息，而低層特征保留交通參與者周邊的交互信息。在第5節(jié)中，我們證明了在軌跡預(yù)測任務(wù)中使用超列描述子，比僅使用全局環(huán)境向量更有益。

超列軌跡解碼器：每個交通參與者的超列描述子Di，通過包含一系列1x1卷積的解碼器，一次性輸出M個假設(shè)。在這里，我們研究了兩種不同的ALAN預(yù)測。ALAN-nt：我們預(yù)測在車道方向上的 nt 坐標(biāo)系下軌跡；ALAN-ntxy：提供一個輔助預(yù)測xy方向預(yù)測的。nt中的線性值可以對應(yīng)基于輸入錨點(diǎn)的高階軌跡。此外，具有相同nt值的兩條軌跡可能具有完全不同的動力學(xué)。因此，我們利用輔助預(yù)測來正則化基于錨點(diǎn)的輸出，使網(wǎng)絡(luò)意識到交通參與者的動力學(xué)，并減少對壞錨點(diǎn)的影響。網(wǎng)絡(luò)預(yù)測的M個假設(shè)為：



排序模塊：我們使用Lee等人在[29]中的技術(shù)生成分?jǐn)?shù)sYi={sYi, 1，sYi, 2，…，sYi, M}表示M個輸出假設(shè)。它通過最大化目標(biāo)朝向[46]來衡量預(yù)測假設(shè)的好壞程度。該模塊使用預(yù)測得到目標(biāo)分布q，其中q = softmax(-d(ntYi, ))，d為d為地面真值與預(yù)測輸出之間的L2距離。因此，損失函數(shù)定義為Lscore = Cross-Entropy(sYi, q)。

4.3  學(xué)習(xí)

我們用它們各自的地面真值標(biāo)簽ntY作為輸入車道錨點(diǎn)的L2距離監(jiān)督網(wǎng)絡(luò)輸出。我們使用提出的分治技術(shù)來訓(xùn)練我們的多假設(shè)預(yù)測網(wǎng)絡(luò)。因此，主預(yù)測和輔助預(yù)測的重構(gòu)損失函數(shù)分別為：



此外，我們通過將預(yù)測轉(zhuǎn)換為輸入車道上的nt坐標(biāo)來訓(xùn)練基于錨點(diǎn)的預(yù)測。我們還添加了正則化的其他方法，通過將nt坐標(biāo)轉(zhuǎn)化為xy坐標(biāo)，來抑制基于錨點(diǎn)輸出的預(yù)測。我們將所有假設(shè)轉(zhuǎn)換后的主要預(yù)測和輔助預(yù)測之間的L2距離作為正則化：



使網(wǎng)絡(luò)的總目標(biāo)函數(shù)最小化：



5  實(shí)驗(yàn)

我們首先在合成汽車行人數(shù)據(jù)集[34]上，評估了我們提出的分治技術(shù)。此外，我們在Nuscenes[5]預(yù)測數(shù)據(jù)集上，對DAC和提出的基于錨點(diǎn)的預(yù)測技術(shù)進(jìn)行了評估。

5.1  汽車行人數(shù)據(jù)集

與現(xiàn)實(shí)世界中只觀察到單一結(jié)果的設(shè)置不同，CPI數(shù)據(jù)集由具有多模態(tài)地面真值的交互交通參與者組成。我們的目的是評估我們的多假設(shè)預(yù)測對測試集中樣本的真實(shí)分布的捕獲效果。我們使用與[34]中類似的訓(xùn)練策略，即ResNet-18[20]編碼主干，在此基礎(chǔ)上我們訓(xùn)練兩階段混合密度網(wǎng)絡(luò)[4]。第一階段將過去對汽車和行人的觀察作為輸入，預(yù)測?t時間后包含兩個參與者的未來目標(biāo)的k個輸出假設(shè)。我們使用不同的贏家通吃的損失函數(shù)來訓(xùn)練第一階段。第二階段通過預(yù)測輸出的軟分類來擬合假設(shè)上的M個模態(tài)的混合分布。關(guān)于計(jì)算混合分布參數(shù)的更多細(xì)節(jié)，請參考[34]中的公式7、8和9。我們使用[34]中的oracle偏差(FDE)和推土距離 (EMD)等評估指標(biāo)。

Oracle偏差 (FDE)通過選擇與地面真值最接近的假設(shè)來衡量輸出預(yù)測的多樣性。

推土距離量化為使預(yù)測分布匹配真實(shí)分布必須移除的概率質(zhì)量的數(shù)量。

從表1可以推斷，我們提出的DAC方法優(yōu)于WTA目標(biāo)函數(shù)的其他變體，這表明DAC比EWTA、RWTA和WTA更好地捕捉數(shù)據(jù)分布。這也可以在圖4中看到，與其他變體相比，DAC目標(biāo)函數(shù)訓(xùn)練的網(wǎng)絡(luò)更好地捕獲了參與者的地面真值分布。DAC的平均EMD明顯優(yōu)于WTA，與EWTA和RWTA目標(biāo)函數(shù)相當(dāng)。與行人目標(biāo)相比，DAC能更好地捕捉到車輛目標(biāo)。此外，如表1所示，DAC方法的平均oracle 偏差(FDE)明顯低于其他變體，這證實(shí)了DAC產(chǎn)生了與WTA不同的假設(shè)。



圖4：圖中展示了CPI測試集上使用不同WTA目標(biāo)函數(shù)的預(yù)測假設(shè)和學(xué)習(xí)到的目標(biāo)混合分布。紫色和黑色的方形代表汽車和行人的當(dāng)前位置。預(yù)測的假設(shè)用它們各自的顏色表示。(e) 類似于地面真實(shí)分布的假設(shè)沿著人行橫道上展開，更好地捕獲數(shù)據(jù)分布。

表1：基于FDE和EMD指標(biāo)的CPI數(shù)據(jù)集方法比較，其中p代表行人和c代表車輛


5.2  Nuscenes數(shù)據(jù)集

Nuscenes[5]包含了波士頓和新加坡的大量城市復(fù)雜道路場景，大約包含4萬個實(shí)例，且包括挑戰(zhàn)性的序列，比如u型轉(zhuǎn)彎和復(fù)雜的道路布局。

5.2.1  基線

我們將ALAN預(yù)測結(jié)果與在Nuscenes基準(zhǔn)數(shù)據(jù)集上評估的幾種基線方法進(jìn)行了比較。MTP[12]使用柵格化圖像作為輸入來預(yù)測軌跡。CoverNet[38]使用固定的軌跡集，將軌跡預(yù)測問題轉(zhuǎn)為對軌跡集的分類。Multipath[8]是最接近的基線，它使用從訓(xùn)練集獲得的時間參數(shù)化錨點(diǎn)軌跡，并將問題表述為相對于錨點(diǎn)的偏移值的回歸。MHA JAM[36]是一種使用聯(lián)合交通參與者-映射的表示，它輸出具有多頭注意力。Trajectron++[42]是結(jié)合交通參與者動力學(xué)和語義的預(yù)測軌跡的圖循環(huán)模型。我們利用[36]中的[12]和[8]的數(shù)據(jù)。

5.2.2  指標(biāo)

我們使用標(biāo)準(zhǔn)的評估指標(biāo)，如平均位移誤差(mADEM)和最終位移誤差(mFDEM)。此外,我們計(jì)算前M個軌跡相較于地面真值的遺漏率(Missd, M)。如果在所有預(yù)測中不存在最大位移點(diǎn)小于閾值d的假設(shè)，則認(rèn)為一組預(yù)測都是錯誤的。OffRoadRate計(jì)算可行駛區(qū)域以外的輸出軌跡百分比。我們使用由Nuscenes提供的示例API來計(jì)算這些指標(biāo)。

5.2.3  量化結(jié)果

首先，與基線方法相比，ALAN可以達(dá)到同等或更好的性能。在這里，我們用不同的錨點(diǎn)抽樣策略 (top-M、oracle和best-of-all (BofA)) 來評估ALAN。在ALAN (top-M)中，我們根據(jù)預(yù)測的每個軌跡的IOC分?jǐn)?shù)，從不同的錨點(diǎn)上選取前M個軌跡輸出。ALAN (oracle)使用車道中心線得分最高的oracle錨點(diǎn)，同時ALAN (BofA)從前k個假設(shè)的車道錨點(diǎn)中選擇最佳。表2的結(jié)果表明，ALAN評估要么表現(xiàn)出與其他基準(zhǔn)相當(dāng)?shù)男阅?，要么在幾個指標(biāo)上顯著優(yōu)于其他基準(zhǔn)，如mADE10方面至少有11%的改進(jìn)，mFDE10方面相較于BofA提高了25%。此外，所有的ALAN預(yù)測的OffRoadRate為0.01，即只有1%的預(yù)測軌跡落在道路之外。這明顯低于其他有7%或更高的OffRoadRate的基線表現(xiàn)。輸出預(yù)測與語義的強(qiáng)耦合可以歸因于車道錨點(diǎn)，它有助于在車道方向上提供輸出預(yù)測。其他方法，如[8,38]，使用從訓(xùn)練集提取的軌跡作為錨點(diǎn)或進(jìn)行分類，這可能導(dǎo)致輸出對未出現(xiàn)場景和具有復(fù)雜車道結(jié)構(gòu)的軌跡的泛化能力較差。此外，值得注意的是，ALAN性能被低估了，因?yàn)閿?shù)據(jù)中沒有連接的車道和沒有車道中心線的地方會導(dǎo)致壞錨點(diǎn)。但為了便于與基線比較，在此沒有刪除這些情況。

表2：軌跡預(yù)測基準(zhǔn)


消融研究：此外，我們還對ALAN以及DAC和其他變體進(jìn)行了消融研究，如表3所示。我們首先引入超列描述子[2]來提取多尺度特征，并將其與作為輸入進(jìn)入解碼器的全局環(huán)境向量進(jìn)行比較。然后我們研究了ALAN預(yù)測的幾個變體。首先，我們添加了參考中心線作為輸入，并預(yù)測xy坐標(biāo)空間(MCL + Poly)的軌跡。這大大提高了性能。使用車道中心線作為錨點(diǎn)并預(yù)測nt空間的軌跡(MCL+LA-nt)表現(xiàn)稍差，但我們認(rèn)為這是由于網(wǎng)絡(luò)難以從基于錨點(diǎn)的輸入計(jì)算交通參與者的動力學(xué)特征。例如，具有相同nt坐標(biāo)的兩個軌跡可以根據(jù)它們所行駛的車道具有不同的動力學(xué)。因此，我們進(jìn)一步增加xy坐標(biāo)作為輸入，并在笛卡爾空間(MCL+LA-ntxy) 預(yù)測輔助軌跡。如表3所示，這樣的輔助預(yù)測改進(jìn)了基于主要錨點(diǎn)的輸出。

此外，我們使用輔助預(yù)測正則化錨點(diǎn)輸出，反之亦然。通常意義上，錨點(diǎn)輸出可以從輔助預(yù)測中受益，因?yàn)檩o助預(yù)測并不局限于只提供沿車道方向的軌跡。添加一個正則化步驟來匹配主軌跡和輔助軌跡，顯著提高了錨定輸出性能，如表3中MCL+LA-ntxy+Reg值所示。

表3：Nuscenes數(shù)據(jù)集上的消融研究


5.2.4  量化結(jié)果

圖5顯示了來自ALAN的定性結(jié)果。一般來說，使用車道作為錨點(diǎn)，將預(yù)測問題轉(zhuǎn)化到nt空間有助于指導(dǎo)預(yù)測和跟蹤語義。當(dāng)我們預(yù)測較長時間的軌跡時，所執(zhí)行的軌跡會變得復(fù)雜，而不僅僅是一個直行或轉(zhuǎn)彎動作，而使用車道作為錨點(diǎn)可以簡化問題。



圖5：來自ALAN的預(yù)測示例。過去的軌跡用棕色表示，地面真值（GT）用黑色表示。GT的端點(diǎn)用綠點(diǎn)表示。輸入車道錨點(diǎn)用青色表示，預(yù)測軌跡用綠色表示，終點(diǎn)用三角形表示。(a)和(b)顯示了一個復(fù)雜的車道結(jié)構(gòu)的預(yù)測?；阱^點(diǎn)的預(yù)測效果更好，特別是預(yù)測較長時間軌跡。由于軌跡的復(fù)雜性，錨點(diǎn)的存在有助于遵循語義信息。(c) 當(dāng)目標(biāo)車道在相反方向時，適當(dāng)結(jié)合動力學(xué)信息預(yù)測u型轉(zhuǎn)彎；(d) 多交通參與者的預(yù)測場景。

6  結(jié)論

在本文中，我們討論了使用WTA目標(biāo)函數(shù)學(xué)習(xí)多模態(tài)輸出和使用駕駛知識對輸出預(yù)測施加約束的相關(guān)問題。首先，我們引入了一種新的DAC方法，該方法可以學(xué)習(xí)不同的假設(shè)，從而在不存在任何偽模式的情況下捕獲數(shù)據(jù)分布。此外，我們還介紹了ALAN，它使用車道作為錨點(diǎn)提供了不同的環(huán)境感知軌跡。我們在合成數(shù)據(jù)和真實(shí)數(shù)據(jù)上的實(shí)驗(yàn)都證明了，本文的DAC方法在學(xué)習(xí)多模態(tài)輸出方面的優(yōu)越性。此外，我們還證明了使用車道錨點(diǎn)有助于提供具有強(qiáng)語義耦合的準(zhǔn)確預(yù)測。



參考文獻(xiàn)