來自清華、MIT的研究團隊提出了一種基于自監(jiān)督學習的方法，讓自動駕駛模型從已有的軌跡預測數(shù)據(jù)集中學會正確判斷沖突中的禮讓關系。

自動駕駛汽車上路時，不可避免的需要學習一些道路上的“潛規(guī)則”。自動駕駛系統(tǒng)需要察言觀色，隨機應變地及時發(fā)現(xiàn)什么時候應該減速禮讓，什么時候又應該發(fā)現(xiàn)別人正在禮讓而盡快加速通過。由于道路環(huán)境的復雜性，很多新手司機都未必能夠做出合適的判斷。

這種復雜性導致基于規(guī)則的方法很難在覆蓋到全部情況的同時不出現(xiàn)互相沖突的情況。來自清華大學的研究團隊提出了一種基于自監(jiān)督學習的方法，從已有的軌跡預測數(shù)據(jù)集中學得道路上的各種“禮儀”，并正確判斷出沖突中的禮讓關系。該研究將預測的關系在充滿復雜交互的 Waymo Interactive Motion Prediction 數(shù)據(jù)集上進行了測試，并提出了 M2I 框架來使用預測出的關系進行場景級別的交互軌跡預測。

該項目主要由清華大學孫橋和MIT黃昕合作完成，清華MARS Lab趙行老師給予指導。

• 論文地址：https://arxiv.org/abs/2202.11884

• 項目地址：https://tsinghua-mars-lab.github.io/M2I/

軌跡預測問題是自動駕駛系統(tǒng)中的重要一環(huán)，對自動駕駛車輛安全行駛不可或缺。軌跡預測模塊通常作為識別 (Detection) 和跟蹤 (Tracking) 的下游系統(tǒng)，使用已有的高精地圖和識別到的周圍的其他車輛或行人的信息來預測他們未來可能會做出哪些行為。軌跡預測系統(tǒng)會以軌跡或熱力圖的形式輸出預測結果，以便下游的規(guī)劃 (Planning) 系統(tǒng)規(guī)劃出一條對于自動駕駛車自身最為合理的下一步的決策或軌跡。
盡管大多數(shù)軌跡預測方法都通過 GNN 或基于 Attention 的方法嘗試學習道路上的車輛和行人之間的關系，但是這些方法通常面對以下一些難以克服的挑戰(zhàn)：
1. 模型預測的關系是隱式的所以缺乏可解釋性，也難以確定模型是否真的學習到了這些關系；
2. 模型預測的關系和最終輸出的軌跡之間并不統(tǒng)一（如圖 1 第一行所示），會天然出現(xiàn)重疊的情況，無法確保場景級別的合理性；
3. 道路使用者的決策存在順序關系，模型預測無法區(qū)別邏輯上的預測順序，而是只能并行逐個預測。

圖 1: 逐車進行軌跡預測的方法輸出的軌跡之間會存在碰撞
為了解決這些問題，研究者提出了一個簡單且有效的框架 M2I（如圖 1 第二行）。使用 M2I 框架，你可以快速的將手頭已有的任何軌跡預測模型進行改造后，獲得場景級別的關系預測能力以及基于一輛車的軌跡預測另一輛車的軌跡的能力。使用這兩種能力即可確保你的新模型獲得針對交互場景的更好預測效果。
多智能體軌跡預測轉單智能體軌跡預測
首先讓我們來看一下 M2I 的整體框架。M2I 由三個模塊組成， 如圖 2。這三個模塊分別是關系預測模塊，單智能體軌跡預測，條件軌跡預測。

圖 2: M2I 軌跡預測框架
關系預測
復雜的道路使用者之間的關系可以被抽象為多個關系對，該研究將每一對道路使用者分類為一個 影響者 (Influencer) 和一個 響應者 (Reactor)，將響應者定義為沖突中的需要禮讓的一方，而影響者則是不需要禮讓的一方。由此可以將交互中的軌跡預測問題抽象成兩次軌跡預測，一次是預測影響者的軌跡，一次是使用預測好的影響者的軌跡去預測響應者的軌跡。這樣的方法確保了兩者在場景級別上預測的軌跡的一致性從而最大程度上避免了重疊等不合理的情況。

那么如何預測誰是影響者誰是響應者呢？或者說預測沖突中誰應該禮讓。該研究提出了一種基于時空軌跡交錯的方法從已有數(shù)據(jù)集中挖掘 Ground Truth 標簽的方法。具體來說，在數(shù)據(jù)集中，如果任意兩個道路使用者的軌跡在不同時間上產生了交叉，該方法則標記優(yōu)先通過這個交叉點的智能體為影響者，后通過的標記為響應者。通過對這個自動生成的標簽的學習，該模型可以學習到沖突時的先行關系。
該研究使用的關系預測模型是將 DenseTNT 的 Trajectory Prediction Head 換為一個普通的分類 Classification Head 改造得到的。研究者發(fā)現(xiàn)不對已有模型的其他部分進行任何修改，就可以將關系預測的準確率達到 90% 以上。對比實驗顯示，使用準確率越高的關系進行 Conditional Trajectory Prediction 可以獲得越好的效果。
研究者還將關系預測拓展到多智能體的關系預測上。針對多智能體，該研究將他們兩兩成對進行預測，并將預測結果組成一個有向圖來表示他們之間的關系，結果如圖 3 所示，M2I 的關系預測模塊可以很好地拓展到多智能體的關系預測上。

圖 3: 復雜場景下的多智能體的關系預測

軌跡預測
可以使用任何常見的軌跡預測模塊來替換 M2I 框架中的單智能體軌跡預測模塊，在該論文的實驗中，研究者使用了 DenseTNT 進行單智能體軌跡預測。對于 Conditional Trajectory Prediction，研究者修改了 DenseTNT 的 Encoder，將影響者的未來的軌跡（在使用的 Waymo 數(shù)據(jù)集中，未來軌跡為 8s，共 80 幀）與其他信息共同進行編碼供模型進行學習。訓練時影響者未來的軌跡是數(shù)據(jù)集中的 ground truth 軌跡，預測時影響者未來的軌跡是單智能體模塊輸出的軌跡。對于 Conditional Trajectory Prediction，該研究沒有修改除了 Encoder 之外模型的其他結構。
實驗結果
實驗結果證明，相比于其他幾個在 leaderboard 上的方法，使用了 M2I 框架的 DenseTNT 模型表現(xiàn)明顯優(yōu)于其他方法。尤其是在車輛之間的交互上，使用 M2I 預測在 mAP 上相比其他模型性能提升明顯。

圖 4: M2I 在 Interactive Motion Prediction 上的表現(xiàn)明顯優(yōu)于其他已有方法
該研究還嘗試了使用 TNT 作為 Backbone。實驗結果顯示，使用 M2I 框架同樣可以幫助 TNT 提升在交互場景中的性能表現(xiàn)，從而證明了 M2I 框架可以不受限于某個指定的 backbone。
定性分析顯示，使用 M2I 框架后，預測軌跡在場景級別上表現(xiàn)的更為接近真實的交互軌跡，如圖 5 所示。

圖 5: M2I 更好的學習到了場景中兩輛正在交互的車輛應該如何先后完成轉彎