arXiv上傳于2022年6月18日的論文“ScePT: Scene-consistent, Policy-based Trajectory Predictions for Planning“，作者來自Nvidia和斯坦福大學(xué)。

軌跡預(yù)測是自動駕駛系統(tǒng)的關(guān)鍵功能，其與無控制的智體共享一個環(huán)境，其中一個突出的例子是自動駕駛車輛。目前，大多數(shù)預(yù)測方法并不強制場景一致性，即場景中不同智體的預(yù)測軌跡之間存在大量自碰撞。此外，許多方法生成每個智體的單獨軌跡預(yù)測，而不是整個場景的聯(lián)合軌跡預(yù)測，這使得下游規(guī)劃變得困難。

這項工作提出基于策略規(guī)劃的軌跡預(yù)測模型ScePT，該模型可以生成適用于自主系統(tǒng)運動規(guī)劃、精確、場景一致的軌跡預(yù)測。其明確地強制場景一致性，并學(xué)習(xí)可用于制約預(yù)測的智體交互策略。在多個真實行人和自主車輛數(shù)據(jù)集上的實驗表明，ScePT匹配當(dāng)前最先進的預(yù)測精度，并顯著提高場景一致性。ScePT具備與下游意外規(guī)劃器一起工作的能力。

代碼是開源 https://github.com/nvr-avg/ScePT

預(yù)測非受控智體的未來運動對于與其交互的自動化系統(tǒng)安全至關(guān)重要。一個突出的例子是自動駕駛汽車，其中自車與其他道路使用者（如車輛、行人和騎自行車人）共享道路。由于人行為是出名的不確定和不一致，因此預(yù)測任務(wù)很困難。比如，眾所周知，人類在駕駛環(huán)境中表現(xiàn)出多模態(tài)行為，能夠同時保持當(dāng)前車道、變換車道、讓行或在未來超車。

因此，早期關(guān)于人類駕駛行為預(yù)測的工作不夠準確，無法用于自動駕駛車輛的運動規(guī)劃。為了解決這一問題，許多研究人員一直在開發(fā)現(xiàn)象學(xué)（phenomenological）方法，即從大量數(shù)據(jù)中學(xué)習(xí)智體行為，效果顯著。

軌跡預(yù)測模型的典型特征包括高預(yù)測精度、快速推理速度和標(biāo)定不確定性。隨后當(dāng)預(yù)測被下游規(guī)劃器使用時，以下特征對整體系統(tǒng)性能也至關(guān)重要：

• 兼容性：場景中不同智體的軌跡預(yù)測應(yīng)在單個聯(lián)合預(yù)測中相互兼容。特別是，預(yù)測軌跡之間的碰撞應(yīng)該是罕見的，因為碰撞本身在現(xiàn)實中是罕見的。

• 可跟蹤的聯(lián)合軌跡預(yù)測：如前所述，智體的未來運動可以是多模態(tài)的。在由多個智體組成的場景中，如果為單個節(jié)點生成多模式預(yù)測，則下游運動規(guī)劃器需要考慮這些軌跡預(yù)測的所有組合。由于模態(tài)數(shù)隨著智體數(shù)呈指數(shù)增長，規(guī)劃器很快就會不知所措?；蛘哌\動規(guī)劃器可以采取保守的方法，避開所有預(yù)測的軌跡，但往往以犧牲規(guī)劃性能為代價（例如，如果所有規(guī)劃似乎要發(fā)生沖突，則使自車處于靜止?fàn)顟B(tài)）。因此，希望所有智體的多模態(tài)聯(lián)合預(yù)測具有有限但完全代表性的模態(tài)數(shù)，以便下游規(guī)劃器可以執(zhí)行應(yīng)急規(guī)劃（contingency planning）。

• 時間一致性：對于下游規(guī)劃器，運動規(guī)劃在很大程度上取決于預(yù)測結(jié)果。為了確保平滑的運動規(guī)劃，如果場景本身在此期間沒有發(fā)生劇烈變化，則預(yù)測不應(yīng)在后續(xù)時間發(fā)生顯著變化。因此，應(yīng)避免做數(shù)據(jù)采樣，因為預(yù)測可能在時間步發(fā)生顯著變化，導(dǎo)致生成的運動規(guī)劃不連續(xù)，可能會影響規(guī)劃性能和安全性。

• 制約（conditioning）：制約是固定一個或多個智體未來軌跡并預(yù)測其他智體未來軌跡的最終分布。制約預(yù)測有助于運動規(guī)劃（以自車智體的運動規(guī)劃為條件）和智體交互的理解。制約用在一些現(xiàn)有工作中，但需要顯式建模。理想情況下，在不需要模型結(jié)構(gòu)更改的情況下可生成制約分布。

ScePT是一種離散CVAE（Conditional Variational Auto Encoder) 模型，為場景中的多個智體輸出聯(lián)合軌跡預(yù)測，為確保其預(yù)測中的高度場景一致性，推理每個智體的運動策略及其周圍智體的影響。

如圖是ScePT輸出的說明，包括每個智體的多模態(tài)軌跡預(yù)測：不同的線類型（實線、虛線、點線）表示場景一致性聯(lián)合軌跡預(yù)測的不同模式；場景中的智體被劃分為高度互動的小團，其中一個例子用黃色虛線顯示。

節(jié)點和智體，可以是車輛、行人、自行車手或其他類型的道路使用者。用s表示智體的狀態(tài)，e表示兩個節(jié)點之間邊。由于模型是CVAE，遵循CVAE的標(biāo)準術(shù)語，即x表示制約變量，y表示觀測變量，z表示隱藏的潛變量。

為了保持場景一致性，ScePT是一種以場景為中心的模型，即其輸出預(yù)測是場景中多個節(jié)點的聯(lián)合軌跡。給定具有多個節(jié)點的場景，生成時空場景圖，其中節(jié)點表示智體，邊緣表示智體之間的交互。用智體的最近未來距離作為交互的一個代替，根據(jù)恒速模型向前傳播每個節(jié)點。兩個智體之間最近未來距離定義為

然后定義場景圖鄰接矩陣

通過鄰接矩陣確定場景圖，不同于將所有節(jié)點保持在單圖模型，而是將場景圖劃分為具有最大規(guī)模（固定為參數(shù)）的小團（cliques）。這樣做是為了減少乘積潛空間（product latent space）的維度，該空間隨圖的大小呈指數(shù)級擴展，如果太大，會導(dǎo)致預(yù)測精度下降。

雖然加權(quán)圖劃分是NP-hard問題，但有許多現(xiàn)成的算法，由于其，我們使用了著名有強大性能的Louvain算法。在劃分之后，一個小團的每一對節(jié)點都被連接（盡管距離閾值不同）。然后收集節(jié)點歷史并將其提供給ScePT。如果可用，還利用地圖信息和與最近車道的相對位置。

有了小團，智體的狀態(tài)和邊（智體之間的相對狀態(tài)）歷史通過LSTM編碼到特征向量中。編碼器對聯(lián)合潛分布進行建模，而不是將每個節(jié)點與獨立于其鄰居的潛變量分布相關(guān)聯(lián)。具體來說，每個智體都配備基數(shù)為N的離散潛變量zi，使得小團的聯(lián)合潛變量僅為z=[z1，z2，…zn]。這意味著聯(lián)合潛空間的基數(shù)隨小團中節(jié)點數(shù)呈指數(shù)增長，這也是限制小團規(guī)模的原因。

ScePT將聯(lián)合潛變量的分布表示為一個Gibbs分布，由節(jié)點因子和邊緣因子組成，

其中，xi是節(jié)點i的狀態(tài)歷史，fi是節(jié)點i的節(jié)點因子，一個前饋神經(jīng)網(wǎng)絡(luò)將xi和zi映射為一個實數(shù)。fij是節(jié)點對（i，j）的邊因子，也是前饋網(wǎng)絡(luò)，E是邊緣集。

對數(shù)似然可以通過構(gòu)造因子圖（factor graph）來計算，因子圖是一個具有可變節(jié)點和因子節(jié)點的bipartite graph。一個因子圖例子如圖所示：

歸一化是通過匯總z的所有可能估值來完成的（因為z是離散的）。雖然聯(lián)合潛空間的基數(shù)與小團大小呈指數(shù)變化，但概率分布通常只集中在少數(shù)（<10）個模態(tài)上。

解碼器設(shè)計受運動規(guī)劃過程的啟發(fā)，即將每個智體視為運動規(guī)劃器，并仿真其規(guī)劃過程以輸出軌跡預(yù)測。典型的運動規(guī)劃器采用參考軌跡，即所需運動，并進行調(diào)整以滿足約束（例如，避撞）并最小化指定的成本函數(shù)。受此過程的啟發(fā)，策略網(wǎng)絡(luò)（policy network）的結(jié)構(gòu)如圖所示：

策略網(wǎng)絡(luò)的輸入是小團節(jié)點的當(dāng)前狀態(tài)、參考軌跡Sdes和小團潛變量z。參考軌跡以狀態(tài)歷史編碼、地圖編碼和潛變量z為輸入的GRU網(wǎng)絡(luò)生成。然后將當(dāng)前節(jié)點狀態(tài)與參考軌跡進行比較，獲得跟蹤誤差?和局部坐標(biāo)系的下一個航路點?s+。

為了建模邊，將其兩個節(jié)點狀態(tài)配對在一起，并將狀態(tài)對饋送到預(yù)編碼網(wǎng)絡(luò)（全連接），然后輸入到LSTM單元。對于每個節(jié)點，根據(jù)圖結(jié)構(gòu)，可能存在不同數(shù)量的鄰居。為了編碼可變數(shù)的鄰居，通過注意網(wǎng)絡(luò)（attention network）將節(jié)點的所有邊壓縮為單個觀測編碼。然后將觀測編碼、潛變量和跟蹤誤差連接并饋送給全連接的動作網(wǎng)絡(luò)（action network），獲得節(jié)點的控制動作預(yù)測a。

在此，假設(shè)節(jié)點的動力學(xué)是輸入狀態(tài)和控制的可微分函數(shù)，這適用于常見的智體類型，例如車輛（例如Dubin的汽車模型）和行人（單積分器或雙積分器）。然后將狀態(tài)預(yù)測反饋到狀態(tài)向量，并重復(fù)該過程。

ScePT的整體結(jié)構(gòu)如圖所示：編碼器采用LSTM編碼的狀態(tài)和邊歷史以及CNN編碼的局部圖，并在小團潛變量生成離散Gibbs分布；潛變量與狀態(tài)歷史和圖編碼一起，用于GRU為每個節(jié)點生成所需軌跡；然后將所需軌跡和潛變量傳遞到策略網(wǎng)絡(luò)，獲得閉環(huán)軌跡預(yù)測。

制約預(yù)測是一種重要的能力。之前的工作，在編碼器中顯式編碼自車未來軌跡來執(zhí)行制約。然而，假設(shè)只有一個智體可以被制約，使得如駕駛模擬之類的用例變得困難，因為需要為每對智體訓(xùn)練顯式制約模型。相比之下，PRECOG只需設(shè)置車的潛變量，即可生成未來的制約預(yù)測。

同樣，ScePT不需要任何結(jié)構(gòu)變化來產(chǎn)生制約預(yù)測，因為它直接學(xué)習(xí)智體的交互策略。簡單地固定制約智體的軌跡并輸出小團中其他智體的軌跡預(yù)測，就生成制約預(yù)測。由于固定的未來軌跡不會落入任何潛模態(tài)，可以從Gibbs分布因子圖中刪除與制約節(jié)點有關(guān)的任何因子。

證據(jù)下界損失作為目標(biāo)函數(shù)（標(biāo)準CAVE訓(xùn)練程序）：

對于似然損失，假設(shè)每個模態(tài)的未來軌跡噪聲是高斯，則得到L2-norm損失如下：

添加碰撞懲罰項，懲罰不匹配預(yù)測的正則化項，還可以添加其他類型的正則化，例如乘坐舒適性，因為節(jié)點動力學(xué)是明確包括在策略網(wǎng)絡(luò)中。

雖然離散潛空間可枚舉，但Z的基數(shù)隨著小團規(guī)模呈指數(shù)增長。因此，有時無法對所有模態(tài)進行解碼。為解決這個問題，采用多樣性采樣（diversity sampling）。具體地說，采用Ng個最高概率模太，并從其余模態(tài)中隨機抽樣Nr個模態(tài)。當(dāng)Z總基數(shù)小于Ng+Nr時，選擇所有模態(tài)。然后，對樣本概率進行歸一化，以便預(yù)期損失不會崩潰為0。

用于軌跡預(yù)測的離散CVAE容易發(fā)生模態(tài)崩潰（mode collapse），即解碼器傾向于在不同模態(tài)下預(yù)測相似的軌跡，因為似然成本是L2誤差加權(quán)和，平均預(yù)測可能是局部最小值。模態(tài)崩潰通過多種方法解決，如多軌跡預(yù)測（MTP）損失、先驗知識、以及通過真值類別分配模態(tài)。這里的方法保持預(yù)期損失函數(shù)，但引入CVaR作為一種新方法來避免模態(tài)崩潰。

風(fēng)險中制約價值（Conditional Value at Risk，CVaR）是金融和優(yōu)化中常用的風(fēng)險度量，定義為

其中P是X的概率分布，α調(diào)整風(fēng)險-反對的度。CVaR是分布P下狀態(tài)x最低α百分位的平均。在α的極限→ 0產(chǎn)生X的本質(zhì)下確界，α=1產(chǎn)生E[X]。

受對偶形式的啟發(fā)，將公式（4）的期望損失修改為CVaR是分布P下狀態(tài)x的最低α百分位值的平均值。在α的極限處→ 0產(chǎn)生X的必要下確界（essential infimum），α=1產(chǎn)生E[X]。

在公式（5）中的第二行是CVaR的對偶形式，可以理解為在P′必須是適當(dāng)分布的約束下，將分布P轉(zhuǎn)移到P′，對于所有x，P′（x）≤ α1 P（x）。受對偶形式的啟發(fā)，將公式（4）中的期望損失修改為

這種CVaR損失不會迫使所有而只有已經(jīng)接近的模態(tài)，與真值相匹配，這樣直接防止模式崩潰。與通常關(guān)注最壞結(jié)果的風(fēng)險測度常見用法相比，CVaR關(guān)注最佳預(yù)測，保持輸出多樣性。在訓(xùn)練過程中，α用于權(quán)衡模型對編碼器精度和多樣性的關(guān)注。除了合并CVaR外，這里用貪婪算法對乘積潛空間進行不同采樣。

為證明ScePT與下游規(guī)劃器集成的性能，將其預(yù)測反饋給基于下游MPC的規(guī)劃器。MPC規(guī)劃器考慮了多模態(tài)軌跡預(yù)測，并通過分支執(zhí)行應(yīng)急規(guī)劃（contingency planning）。給定M個聯(lián)合軌跡預(yù)測，MPC規(guī)劃M個對應(yīng)的自車軌跡，并附加約束，即所有M個自車軌跡的第一個控制輸入必須相同。

公式（7）是一個非線性優(yōu)化問題，用IPOPT求解。作為預(yù)測和規(guī)劃一起運行示例，M=3，未優(yōu)化Pytorch預(yù)測代碼在不到240ms的時間內(nèi)執(zhí)行，MPC規(guī)劃運行時間不到60ms，所有這些都在CPU上跑。

實驗結(jié)果如下：

如圖顯示將ScePT預(yù)測與下游MPC規(guī)劃器相結(jié)合的結(jié)果，可視化預(yù)測模態(tài)及其產(chǎn)生的自運動規(guī)劃：黑車是自車；藍車是自小團之外的相鄰車輛；青色軌跡是規(guī)劃軌跡（3種模態(tài)）；綠車和棕車是自小團內(nèi)的相鄰車輛；綠色和棕色軌跡是預(yù)測軌跡（前3種模態(tài)）；品紅色圓是行人；紅線是自小團內(nèi)的連接節(jié)點。