確定性解碼器在場景圖操作，每個節(jié)點都有采樣的潛向量和過去軌跡上下文。解碼是自回歸（AR）方式執(zhí)行的：在時間步t，一輪消息傳遞在預(yù)測每個智體加速之前解決交互；通過運動自行車模型，加速度立即獲得下一個狀態(tài)，該狀態(tài)在繼續(xù)展開之前更新軌跡上下文。解碼器的可決定性和圖結(jié)構(gòu)鼓勵場景一致的未來，即使在智體獨立采樣時也是如此。重要的是，對于潛向量優(yōu)化，即使輸入潛向量不太可能，解碼器通過動態(tài)自行車模型確保合理的車輛動力學(xué)。

與場景交互模塊一樣，先驗網(wǎng)絡(luò)、后驗（編碼器）網(wǎng)絡(luò)和解碼器都是圖神經(jīng)網(wǎng)絡(luò)（GNN），包括edge network, aggregation function, 和 update network。解碼器會加入一個RNN（GRU）架構(gòu)。

如圖所示：在對抗性優(yōu)化的每個步驟，規(guī)劃器和非自車的潛表征都用學(xué)習(xí)的解碼器進(jìn)行解碼，非自車軌跡提供給規(guī)劃器在場景中展開。最后，計算各個損失。

論文【5】是英偉達(dá)的工作，采用一種數(shù)據(jù)驅(qū)動的方法，并提出了一種可以學(xué)習(xí)真實駕駛?cè)罩旧山煌ㄐ袨榈姆椒?。該方法將交通模擬問題解耦為高級意圖推理和低級駕駛行為模擬，利用駕駛行為的雙層結(jié)構(gòu)，實現(xiàn)了高采樣效率和行為多樣性。

該方法還結(jié)合一個規(guī)劃模型，獲得穩(wěn)定的長期行為效果。用兩個大規(guī)模駕駛數(shù)據(jù)集場景對方法進(jìn)行經(jīng)驗驗證，該方法稱為BITS（Bi-level Simulation for Traffic Simulation），并表明BITS在真實性、多樣性和長時穩(wěn)定性方面實現(xiàn)了平衡的交通模擬性能。

如圖是BITS的框架：決策上下文ct是一個張量，包含語義圖和光柵化智體歷史，按通道連接在一起。給定ct作為輸入，（1）空間目標(biāo)網(wǎng)絡(luò)產(chǎn)生短視野目標(biāo)的2D空間分布，（2）目標(biāo)條件（goal-conditioned）策略為每個采樣目標(biāo)（goal）生成一組動作，（3）軌跡預(yù)測模型預(yù)測相鄰智體的未來運動，以及最后（4）基于預(yù)測的未來狀態(tài)，該框架選擇讓基于規(guī)則的成本函數(shù)最小化的一組動作。

交通模擬可以描述為有監(jiān)督的模仿學(xué)習(xí)問題。然而，城市駕駛的性質(zhì)帶來了重大的技術(shù)挑戰(zhàn)。首先，由于模型無法訪問演示者的潛在意圖和其他與決策相關(guān)的線索，例如其他車輛的轉(zhuǎn)向信號，因此是一個部分觀察的決策過程。因此，動作監(jiān)督本質(zhì)上是模糊的，通常用概率分布建模。

雖然這種模糊性使訓(xùn)練復(fù)雜化，但有效地建模動作分布也可以生成不同的反事實（counterfactual）交通模擬。其次，由于每個智體的行為沒有明確的協(xié)調(diào)，它們的聯(lián)合行為生成了一個可能未來狀態(tài)的組合空間。這種不確定性使得生成穩(wěn)定的交通模擬非常具有挑戰(zhàn)性。

交通模仿模型的目標(biāo)，是通過學(xué)習(xí)真實世界的駕駛?cè)罩荆ㄗ鳛檠菔荆?，來產(chǎn)生各種各樣的合理行為。軌跡預(yù)測中的大多數(shù)現(xiàn)有方法用深度潛變量模型（例如VAE）來捕獲行為分布。然而，學(xué)習(xí)生成穩(wěn)定的長視野行為需要大量的訓(xùn)練數(shù)據(jù)。相反，這里提出的方法將學(xué)習(xí)問題分解為（1）訓(xùn)練高層目標(biāo)網(wǎng)絡(luò)，捕獲可能的短期目標(biāo)空間分布，以及（2）訓(xùn)練確定性目標(biāo)條件策略，學(xué)習(xí)如何達(dá)到預(yù)測目標(biāo)。

空間目標(biāo)網(wǎng)絡(luò)（goal network）利用駕駛運動的2D BEV結(jié)構(gòu)，并用2D網(wǎng)格高效地表示空間目標(biāo)分布。這種分解將多模態(tài)軌跡建模的負(fù)擔(dān)，轉(zhuǎn)移到高級目標(biāo)預(yù)測器，使低級目標(biāo)條件策略能夠重用達(dá)成目標(biāo)的技能，提高樣本效率。

這樣一個雙層模擬學(xué)習(xí)方法，可以從有限的數(shù)據(jù)中生成合理的交通模仿。該策略可以從多模態(tài)空間目標(biāo)預(yù)測器中采樣，綜合各種行為。然而，該策略的執(zhí)行仍然受到訓(xùn)練數(shù)據(jù)規(guī)模和覆蓋范圍的限制。

駕駛?cè)罩酒蛴谡Ｐ袨?，幾乎不包含碰撞或越野駕駛等安全-緊要情況。生成多樣行為的目標(biāo)進(jìn)一步放大了這一挑戰(zhàn)，因為鼓勵智體進(jìn)入地圖上未見過的區(qū)域并創(chuàng)建新的交互。因此，為了實現(xiàn)穩(wěn)定的長時間模擬，即使在缺乏訓(xùn)練數(shù)據(jù)指導(dǎo)的狀態(tài)下，智體也必須生成合理的行為。

為此，建議使用預(yù)測和規(guī)劃模塊來增強(qiáng)策略，以穩(wěn)定長期軌跡展開。

該方法類似于典型的模塊化AV堆棧中的運動規(guī)劃流水線，重要的區(qū)別在于，用學(xué)習(xí)的策略生成類人運動軌跡候選。關(guān)鍵思想是，策略πθ可以直接跟蹤分布內(nèi)狀態(tài)下的數(shù)據(jù)似然，其中大多數(shù)行為樣本都遵循規(guī)則，在最可能的動作可能導(dǎo)致不良后果的狀態(tài)下，接受糾正指導(dǎo)。此外，采樣模塊允許在無需再訓(xùn)練的情況下對模擬器進(jìn)行靈活調(diào)整（例如，多樣性水平、多個目標(biāo)的強(qiáng)調(diào)）。

參考文獻(xiàn)

【1】“Advsim: Generating safety-critical scenarios for self-driving vehicles“， CVPR 2021

【2】“SceneGen: Learning to Generate Realistic Traffic Scenes”，arXiv 2101.06541，2021

【3】“SimNet: Learning Reactive Self-driving Simulations from Real-world Observations”，arXiv 2105.12332，2021

【4】“Generating Useful Accident-Prone Driving Scenarios via a Learned Traffic Prior”，CVPR，2022

【5】“BITS: Bi-level Imitation for Traffic Simulation“，arXiv 2208.12403，2022