2022年4月22日arXiv上傳的論文“importance is in your attention: agent importance prediction for autonomous driving“，作者來(lái)自Motional（Aptiv和Hyundai的合資公司）。

軌跡預(yù)測(cè)是自動(dòng)駕駛中的一項(xiàng)重要任務(wù)。最新軌跡預(yù)測(cè)模型通常使用注意機(jī)制來(lái)模擬智體之間的交互。這些預(yù)測(cè)模型通常還包括交互圖的自車，以便對(duì)其他智體和自車之間的交互進(jìn)行建模。除了預(yù)測(cè)未來(lái)軌跡之外，這些預(yù)測(cè)的下游，運(yùn)動(dòng)規(guī)劃模塊，也可以從了解另一個(gè)智體可能影響自車未來(lái)機(jī)動(dòng)的程度受益。有了這些知識(shí)，運(yùn)動(dòng)規(guī)劃器模塊可以將其計(jì)算資源集中在處理更重要的智體上，并可能粗粒度處理重要性較低的智體。

本文展示此類模型的注意信息也可用于衡量每個(gè)智體相對(duì)于自車未來(lái)規(guī)劃軌跡的重要性。作者提出了一種簡(jiǎn)單的方法來(lái)預(yù)測(cè)其他智體的重要性得分，無(wú)需任何額外的訓(xùn)練標(biāo)注，因?yàn)榇蠖鄶?shù)最新軌跡預(yù)測(cè)模型已經(jīng)使用內(nèi)置的注意機(jī)制來(lái)模擬智體之間交互。通過(guò)一系列實(shí)驗(yàn)，發(fā)現(xiàn)自車和其他智體之間的注意權(quán)重可以自然地代表其他智體對(duì)自車預(yù)測(cè)機(jī)動(dòng)性的影響程度。在Motional公司自己的nuPlans 數(shù)據(jù)集實(shí)驗(yàn)結(jié)果表明，該方法可以根據(jù)其對(duì)自車規(guī)劃的影響大小來(lái)有效地排名周圍智體。

這里順便介紹最近4個(gè)相關(guān)論文：

• “Multimodal Motion Prediction with Stacked Transformers“， CVPR 2021

• “Scene Transformer: A Unified Architecture For Predicting Multiple Agent Trajectories“，ICLR，2022

• “GOHOME: Graph-Oriented Heatmap Output for future Motion Estimation“，September，2021

• “THOMAS: Trajectory Heatmap Output With Learned Multi-Agent Sampling“，ICLR，2022

智體重要性預(yù)測(cè)通常用于自動(dòng)駕駛，采用人工標(biāo)注的真值重要性分?jǐn)?shù)來(lái)計(jì)算。這些標(biāo)注不僅成本高昂，而且由于主觀性，標(biāo)注質(zhì)量也難以控制。

軌跡預(yù)測(cè)任務(wù)在給定歷史軌跡和地圖信息的情況下預(yù)測(cè)一組智體的未來(lái)軌跡。由于智體行為還取決于其他智體的狀態(tài)，因此軌跡預(yù)測(cè)模型在預(yù)測(cè)時(shí)，對(duì)智體之間交互進(jìn)行建模是很重要的，而圖注意機(jī)制（graph attention）是建模的最流行方法。

Uber的LaneGCN，是比較公開的圖注意機(jī)制建模方法，另外還有改進(jìn)的GOHOME和THOMAS方法。谷歌WayMo的VectorNet，則采用了Transformer注意機(jī)制，后來(lái)的改進(jìn)包括mmTransformer和Scene Transformer。下面簡(jiǎn)單回顧以下4個(gè)最近算法架構(gòu)。

這是香港大學(xué)和商湯的論文，提出了一種用于多模態(tài)運(yùn)動(dòng)預(yù)測(cè)的新型Transformer框架，稱為 mmTransformer。一種基于堆疊Transformer的新型網(wǎng)絡(luò)架構(gòu)，旨在用一組固定的獨(dú)立提議對(duì)特征級(jí)的多模態(tài)性進(jìn)行建模。然后一個(gè)基于區(qū)域的訓(xùn)練策略提出來(lái)誘導(dǎo)生成提議的多模態(tài)性。在 Argoverse 數(shù)據(jù)集上的實(shí)驗(yàn)表明，所提出的模型在運(yùn)動(dòng)預(yù)測(cè)方面達(dá)到了最佳的性能，大大提高了預(yù)測(cè)軌跡的多樣性和準(zhǔn)確性。

演示視頻和代碼在 Multimodal Motion Prediction with Stacked Transformers 獲得。

如圖所示：mmTransformer聚合了固定軌跡提議的上下文信息，而提議特征解碼器進(jìn)一步通過(guò)軌跡生成器和選擇器，分別解碼每個(gè)提議特征，生成軌跡和相應(yīng)的置信度分?jǐn)?shù)。此外，軌跡生成器和軌跡選擇器是兩個(gè)前饋網(wǎng)絡(luò)，與Transformer的FFN具有相同的結(jié)構(gòu)。

其中Transformer的架構(gòu)細(xì)節(jié)如下：

這個(gè)設(shè)計(jì)背后的動(dòng)機(jī)是建立數(shù)據(jù)內(nèi)部的內(nèi)部關(guān)系（例如，使用地圖編碼器提取地圖拓?fù)湫畔ⅲ?，并漸近地整合來(lái)自不同編碼器的上下文信息，更新每個(gè)提議并突出其預(yù)指定的模態(tài)。

所有軌跡提議的直接回歸導(dǎo)致模式平均問(wèn)題，這阻礙了模型的多模態(tài)性?？朔Ｊ狡骄鶈?wèn)題的一種可行解決方案是僅使用具有最小最終位移誤差的提議來(lái)計(jì)算回歸損失和分類損失。然而，當(dāng)提議數(shù)量增加以提高多樣性時(shí)，就會(huì)出現(xiàn)模態(tài)崩潰問(wèn)題。

為此提出了一種訓(xùn)練策略，稱為基于區(qū)域的訓(xùn)練策略（RTS），根據(jù)真實(shí)端點(diǎn)的空間分布將軌跡提議分到幾個(gè)空間聚類中，并優(yōu)化框架以改善每個(gè)聚類的預(yù)測(cè)結(jié)果。如圖所示：首先將每個(gè)提議分發(fā)到 M 個(gè)區(qū)域的一個(gè)，這些提議以彩色框顯示，通過(guò) mmTransformer 學(xué)習(xí)相應(yīng)的提議特征；然后，選擇已經(jīng)分配給真實(shí)端點(diǎn)所在區(qū)域的提議，生成軌跡以及相關(guān)置信度分?jǐn)?shù)，并計(jì)算損失。

這是谷歌Waymo的論文，制定了一個(gè)模型來(lái)聯(lián)合預(yù)測(cè)所有智體行為，產(chǎn)生一致未來(lái)解釋智體之間的交互。受最近語(yǔ)言建模方法的啟發(fā)，作者用掩碼（masking）策略對(duì)模型查詢，用單個(gè)模型以多種方式預(yù)測(cè)智體行為，例如，自動(dòng)駕駛車的目標(biāo)，或完整的未來(lái)軌跡，或者環(huán)境中其他智體的行為。該模型架構(gòu)采用注意機(jī)制來(lái)組合道路元素、智體之間交互和時(shí)間步長(zhǎng)等特征。

產(chǎn)生聯(lián)合未來(lái)預(yù)測(cè)的一種簡(jiǎn)單方法是考慮邊際化智體預(yù)測(cè)的組合指數(shù)量。許多組合并不一致，尤其是當(dāng)幾個(gè)智體會(huì)具有重疊軌跡。而谷歌提出的一個(gè)統(tǒng)一模型，能自然地捕獲智體之間的交互，并且可以作為一個(gè)聯(lián)合模型進(jìn)行訓(xùn)練，所有智體產(chǎn)生場(chǎng)景級(jí)的一致預(yù)測(cè)。

如圖是邊際化（marginal）運(yùn)動(dòng)預(yù)測(cè)和聯(lián)合（joint）運(yùn)動(dòng)預(yù)測(cè)之間差異，每種顏色代表一個(gè)不同的預(yù)測(cè)。左：底部中心車輛的邊際化預(yù)測(cè)，分?jǐn)?shù)表示軌跡的似然（注：預(yù)測(cè)獨(dú)立于其他車輛軌跡）；右：三輛感興趣車輛的聯(lián)合預(yù)測(cè)，分?jǐn)?shù)表示三輛車軌跡構(gòu)成整個(gè)場(chǎng)景的似然。

該模型對(duì)所有智體使用以場(chǎng)景為中心的表征，允許擴(kuò)展到密集環(huán)境的大量智體。其采用一種簡(jiǎn)單的自注意變型，其中注意機(jī)制沿著智體-時(shí)間軸有效分解。由此產(chǎn)生的架構(gòu)，只是在表示時(shí)間的維度和場(chǎng)景的智體之間交替注意，從而產(chǎn)生計(jì)算效率高、統(tǒng)一且可擴(kuò)展的架構(gòu)。其記作Scene Transformer。

Scene Transformer 模型分為三個(gè)階段：（i）將智體和路圖嵌入高維空間，（ii）用基于注意的網(wǎng)絡(luò)來(lái)編碼智體和路圖之間交互，（iii）用基于注意的網(wǎng)絡(luò)解碼多個(gè)未來(lái)預(yù)測(cè)。該模型將每個(gè)智體在每個(gè)時(shí)間步的特征作為輸入，并預(yù)測(cè)每個(gè)智體在每個(gè)時(shí)間步的輸出。其采用關(guān)聯(lián)掩碼（associated mask），其中每個(gè)智體時(shí)間步長(zhǎng)都有一個(gè)關(guān)聯(lián)indicator 為 1（隱藏）或 0（可見(jiàn)），指示輸入特征是否在模型中被隱藏（即移除）。這種方法反映了 BERT 等掩碼語(yǔ)言模型的方法。該方法非常靈活，能夠同時(shí)訓(xùn)練一個(gè)運(yùn)動(dòng)預(yù)測(cè) (MP) 模型，條件運(yùn)動(dòng)預(yù)測(cè)（CMP）和目標(biāo)條件預(yù)測(cè) (GCP) ，只需更改給模型顯示的數(shù)據(jù)。

如圖所示是用于多個(gè)運(yùn)動(dòng)預(yù)測(cè)任務(wù)的單一模型架構(gòu)。左圖：不同的掩碼策略定義不同的任務(wù)，左列（column）代表當(dāng)前時(shí)間，頂行（row）代表指示做自動(dòng)駕駛車 (AV) 的智體。通過(guò)將掩碼策略與每個(gè)預(yù)測(cè)任務(wù)相匹配，可以針對(duì)與運(yùn)動(dòng)預(yù)測(cè)、條件運(yùn)動(dòng)預(yù)測(cè)和目標(biāo)導(dǎo)向預(yù)測(cè)等相關(guān)的數(shù)據(jù)去訓(xùn)練單個(gè)模型。右圖：用于聯(lián)合場(chǎng)景建模的基于注意編碼器-解碼器架構(gòu)。架構(gòu)沿時(shí)間軸和智體軸采用分解注意來(lái)利用數(shù)據(jù)的依賴關(guān)系，并使用交叉注意注入輔助信息。

該文來(lái)自法國(guó)華為和一所高校MINES ParisTech，GOHOME是一種利用高清地圖的圖表征和稀疏投影生成熱圖輸出的方法，該輸出表示給定智體在交通場(chǎng)景中的未來(lái)位置概率分布。該熱圖輸出產(chǎn)生智體未來(lái)可能位置的無(wú)約束2-D網(wǎng)格表示，允許固有的多模態(tài)性和預(yù)測(cè)不確定性度量。這種面向圖的模型避免了兩方面帶來(lái)的高計(jì)算負(fù)載：1）周圍上下文表示為平方圖像；2）經(jīng)典 CNN 處理。而是只關(guān)注智體在不久將來(lái)可能所在的最可能車道。

作者之前的工作是HOME，其使用概率熱圖作為模型輸出進(jìn)行軌跡預(yù)測(cè)，但用全卷積模型，并且僅限于有限的圖像大小。GOHOME對(duì)此進(jìn)行迭代，提出一個(gè)僅基于圖操作優(yōu)化的運(yùn)動(dòng)預(yù)測(cè)框架，用高清地圖矢量化形式有效地提供不確定性的熱圖。熱圖輸出適用于模型集成，沒(méi)有模式崩潰的風(fēng)險(xiǎn)。

如圖是GOHOME流水線：從高清地圖中提取的Lane Graph通過(guò)圖編碼器進(jìn)行處理，然后每個(gè)車道生成一個(gè)局部曲線柵格，該柵格被組合成一個(gè)預(yù)測(cè)概率分布的熱圖。

局部HD Map 是 L 個(gè)LaneNet的圖。Lanelet 代表道路的宏觀路段（平均 10 到 20 米），因?yàn)槟繕?biāo)是在宏觀級(jí)別（車道段）而不是微觀級(jí)別（每米）對(duì)連通性進(jìn)行編碼。每個(gè)lanelet 被定義為一系列中心線（centerline）點(diǎn)，并連接到它的前任、后繼和左右鄰居（如果存在）。將每個(gè)lanelet 編碼為一個(gè)道路圖，其表征了幾何和連接信息。模型為每個(gè)LaneNet一個(gè)分?jǐn)?shù)，用于識(shí)別最可能的車道。然后，為排名靠前的lanenet生成一個(gè)部分熱圖，并將其投影到全局熱圖。之后，從熱圖中采樣一組端點(diǎn)，并為每個(gè)端點(diǎn)重建一個(gè)軌跡。

如下是GOHOME的模型架構(gòu)圖：LaneEncoder、TrajEncoder、GraphEncoder、Lanne2Agents、Agents2Agents、GraphEncoder2和Lanes2Rater等。

熱圖輸出，在笛卡爾坐標(biāo)中得到一個(gè)密集的圖像，尺寸為 (H,W)。為此，在整個(gè)圖像上不用任何卷積，為曲線坐標(biāo)的每個(gè)lanenet創(chuàng)建一個(gè)柵格。車道排名，為前 k 個(gè)lanenet而不是全部，生成車道柵格。

如下所示：a) 圖的單個(gè)節(jié)點(diǎn)是一個(gè)lanelet，描述了一個(gè)路段；b) 沿lanelet 的曲線坐標(biāo)生成一個(gè)矩形柵格。c) 然后用lanelet 坐標(biāo)將預(yù)測(cè)的柵格投影回笛卡爾坐標(biāo)，完成最終的熱圖輸出。

該論文也是來(lái)自法國(guó)華為研發(fā)和高校MINES ParisTech，THOMAS，是一種聯(lián)合多智體軌跡預(yù)測(cè)框架，允許對(duì)多智體多模態(tài)軌跡進(jìn)行有效且一致的預(yù)測(cè)。所提出的是一個(gè)同時(shí)估計(jì)智體未來(lái)預(yù)測(cè)熱圖的統(tǒng)一模型架構(gòu)，其中用分層和稀疏的圖像生成做快速和內(nèi)存有效的推理。這是一個(gè)可學(xué)習(xí)的軌跡重組合模型，將每個(gè)智體的一組預(yù)測(cè)軌跡作為輸入，輸出其一致重排序的重組合。這個(gè)重組合模塊，能夠重新對(duì)齊最初獨(dú)立的模態(tài)，這樣不會(huì)發(fā)生沖突并且彼此保持一致。

目標(biāo)是由 H 時(shí)間步長(zhǎng)的過(guò)去歷史和高清地圖上下文預(yù)測(cè) A 智體的未來(lái) T 時(shí)間步長(zhǎng)。將問(wèn)題分為基于目標(biāo)的預(yù)測(cè)和全軌跡重建。預(yù)測(cè)流水線如圖所示：首先將每個(gè)智體軌跡和高清地圖上下文圖編碼為一個(gè)通用表征。然后，場(chǎng)景中的每個(gè)智體解碼未來(lái)概率熱圖，其中啟發(fā)式采樣最大化覆蓋范圍。最后，采樣的端點(diǎn)重新組合成跨智體的場(chǎng)景一致模式，并為每個(gè)智體構(gòu)建完整軌跡預(yù)測(cè)。

Thomas的流水線與 GOHOME共享相同的圖編碼器、采樣算法和完整軌跡生成，但用了一種高效分層熱圖過(guò)程，可以擴(kuò)展到同時(shí)進(jìn)行多智體預(yù)測(cè)。此外，添加了一個(gè)場(chǎng)景一致性模塊，將邊際化預(yù)測(cè)輸出重新組合成聯(lián)合的預(yù)測(cè)。

如圖就是這個(gè)共享主干網(wǎng)的多智體預(yù)測(cè)模型架構(gòu)圖：編碼器和GOHOME模型是一樣的

目標(biāo)是將每個(gè)智體編碼輸出解碼為一個(gè)熱圖，表征其在預(yù)測(cè)范圍 T 的未來(lái)概率分布。由于為場(chǎng)景中的每個(gè)智體創(chuàng)建此熱圖，解碼過(guò)程必須快速，以便并行應(yīng)用于大量智體。用不同分辨率的分層預(yù)測(cè)，解碼器有可能預(yù)測(cè)智體的整個(gè)環(huán)境，只在智體高概率存在的地方學(xué)習(xí)做更精確細(xì)化。

網(wǎng)格概率的分層迭代細(xì)化如圖所示：首先，以非常低的分辨率評(píng)估整個(gè)網(wǎng)格，然后對(duì)概率最高的單元進(jìn)行上采樣并以更高的分辨率評(píng)估，直到達(dá)到最終分辨率。其中灰色突出顯示在每個(gè)步驟中考慮細(xì)化的受限區(qū)域。

多模態(tài)多智體預(yù)測(cè)的困難在于每個(gè)智體之間的模態(tài)一致。由于模態(tài)被認(rèn)為是按場(chǎng)景的，因此每個(gè)智體的最可能模態(tài)必須與其他智體的最可能預(yù)測(cè)相匹配，依此類推。此外，這些模態(tài)不能相互沖突，應(yīng)該代表現(xiàn)實(shí)場(chǎng)景。

最初，模型的預(yù)測(cè)輸出可以定義為邊際化，因?yàn)樗?A 智體都已被獨(dú)立預(yù)測(cè)和采樣，分別獲得 K 個(gè)可能的端點(diǎn)。目標(biāo)是從邊際化預(yù)測(cè) M = (A, K) 中輸出一組場(chǎng)景預(yù)測(cè) J = (L, A)，其中屬于 J 的每個(gè)場(chǎng)景模態(tài) l 是每個(gè)智體 a 的端點(diǎn)關(guān)聯(lián)。為了實(shí)現(xiàn)這一點(diǎn)，主要假設(shè)在于，良好的軌跡提議已經(jīng)存在于邊際化預(yù)測(cè)中，但需要在智體之間連貫對(duì)齊，以實(shí)現(xiàn)一組整體一致的場(chǎng)景預(yù)測(cè)。對(duì)于給定的智體 a，為場(chǎng)景 l 選擇的模態(tài)將是該智體可用邊際化模態(tài)的組合。每個(gè)場(chǎng)景模態(tài) l 將選擇智體之間不同的關(guān)聯(lián)。

如圖所示是THOMAS場(chǎng)景模態(tài)的生成過(guò)程：

現(xiàn)在回到Motional這篇文章，LaneGCN中Agent-to-Agent的注意模塊即

而Transformer的注意模塊即

為其他智體和自車之間的交互進(jìn)行建模，預(yù)測(cè)模型通常將自車包含在交互圖（interaction graph）中，與其他智體相同的方式預(yù)測(cè)自車的未來(lái)軌跡。

在軌跡預(yù)測(cè)模型的agent-to-agent交互模塊中，智體對(duì)自車的注意權(quán)重可計(jì)算智體的重要性得分。該模塊的主要輸入是場(chǎng)景中所有N個(gè)參與者的特征向量，表示為{xi}。該模塊的輸出是參與者交互建模的輸出特征向量，表示為{yi}。

當(dāng)交互模塊只有一個(gè)注意層時(shí)，它通常具有這樣一個(gè)特性，即每個(gè)智體j對(duì)另外一個(gè)智體i的貢獻(xiàn)用函數(shù)g計(jì)算，然后相加到一起。

注意向量，并用L2-norm作為從agent j到agent i的重要性分?jǐn)?shù)，這表示agent j對(duì)agent i未來(lái)軌跡預(yù)測(cè)的影響度。

該公式概括了大多數(shù)最新軌跡預(yù)測(cè)工作所使用的注意模塊，包括LaneGCN、GOHOME和THOMAS中使用的LaneGCN注意模塊，以及VectorNet和Scene Transformer中使用的Transformer注意模塊。

這里L(fēng)aneGCN注意模塊的注意向量是：

而Transformer的注意可擴(kuò)展為：

這樣得到注意向量

當(dāng)交互模塊中有多個(gè)注意層時(shí)，可以計(jì)算每個(gè)注意層的智體重要性分并將其聚合。

Motional公司建立了一個(gè)基于ML閉環(huán)的運(yùn)動(dòng)規(guī)劃器基準(zhǔn)（“nuPlan: A closed-loop ML-based planning benchmark for autonomous vehicles“，F(xiàn)ebruary，2022），這里作者基于nuPlan訓(xùn)練集讓模型學(xué)習(xí)，而運(yùn)行模型選了驗(yàn)證集2000個(gè)樣本。下表是nuPlan和其他數(shù)據(jù)集的比較：

如下表是實(shí)驗(yàn)結(jié)果：分析三個(gè)方面

• 智體注意和自車行為變化的相關(guān)性

對(duì)被移除智體的歸一化注意值（即重要性分?jǐn)?shù)），和移除前后的自車軌跡預(yù)測(cè)逐點(diǎn)L2距離，計(jì)算一下這二者之間的相關(guān)性，以及在移除前后預(yù)測(cè)L2誤差（相對(duì)真值自車軌跡）變化量的相關(guān)性。報(bào)告每個(gè)數(shù)量的Pearson相關(guān)性和R-平方值。R-平方值對(duì)應(yīng)于線性模型中相關(guān)變量所解釋的方差量。

表的最后一行刪除了所有其他參與智體，盡管刪除了大部分注意，其顯示了與其他每行相關(guān)的Pearson相關(guān)性降低。Pearson相關(guān)性很小的事實(shí)表明，總體而言，移除的注意不如其他單一注意移除中相同數(shù)量的注意有效?？紤]到Pearson相關(guān)性隨等級(jí)降低，我們可以得出結(jié)論，我們的模型正確地將更多注意放在了最重要智體上。

• 空間注意分布

如圖所示，在以自車為中心的坐標(biāo)系中繪制了每4×4m塊的平均標(biāo)準(zhǔn)化注意值分（即重要性分?jǐn)?shù)）?？梢钥吹剑蠖鄶?shù)注意都集中在自車前面的智體身上，因?yàn)檫@些智體的未來(lái)行為很可能會(huì)導(dǎo)致自車的行為有所不同。相比之下，通常很少有人關(guān)注自車背后的人，因?yàn)樗麄兊拇嬖谕ǔ２粫?huì)影響自車的行為，除非自車需要調(diào)整其路徑以避免未來(lái)與背后的代理人發(fā)生碰撞。

• 多層注意

本實(shí)驗(yàn)中，比較不同的聚合函數(shù)，以聚集來(lái)自多個(gè)注意層的注意值分（即重要性分）。如表是三個(gè)聚合函數(shù)進(jìn)行比較：1）所有層之間的最大注意，2）所有層之間的平均注意，以及3）僅使用最后一層的注意。比較自車軌跡增量和重要性得分之間的相關(guān)性，結(jié)果表明，這三個(gè)函數(shù)產(chǎn)生的結(jié)果相似，這意味著該方法對(duì)聚合函數(shù)的選擇具有魯棒性。