編者按：本文介紹了一種基于深度學(xué)習(xí)的4D雷達(dá)里程計方法4DRO-Net，旨在提高智能車輛在各種環(huán)境條件下的定位精度和魯棒性。通過利用4D雷達(dá)點(diǎn)云的獨(dú)特速度信息，本研究解決了傳統(tǒng)傳感器在復(fù)雜環(huán)境下的局限，并通過粗到精的層次化優(yōu)化技術(shù)，實(shí)現(xiàn)了對稀疏點(diǎn)云的有效特征學(xué)習(xí)和位姿估計。實(shí)驗(yàn)結(jié)果表明，4DRO-Net在多個評價指標(biāo)上超越了現(xiàn)有技術(shù)，同時滿足實(shí)時處理的要求，為自動駕駛領(lǐng)域提供了一種低成本、高效的解決方案。

本文譯自：

《Efficient Deep-Learning 4D Automotive Radar Odometry Method》

文章來源：

IEEE Transactions on Intelligent Vehicles, Vol. 9, NO. 1, January 2024

作者：

Shouyi Lu1, Guirong Zhuo1, Lu Xiong1, Xichan Zhu1, Lianqing Zheng1, Zihang He1, Mingyu Zhou2, Xinfei Lu2, Jie Bai3

作者單位：

1同濟(jì)大學(xué)，2上海幾何伙伴智能駕駛有限公司，3浙大城市學(xué)院

原文鏈接：

https://ieeexplore.ieee.org/document/10237296

摘要：里程計是智能車輛自主定位的關(guān)鍵技術(shù)。雖然最近從激光雷達(dá)(LiDAR)和攝像頭估計里程計已經(jīng)取得了進(jìn)展，但如何從4D雷達(dá)這種具有獨(dú)特優(yōu)勢的新興傳感器估計里程計還有待觀察。在本研究中，提出了一種基于深度學(xué)習(xí)的4D雷達(dá)里程計方法，名為4DRO-Net。該方法采用基于滑動窗口的從粗到細(xì)的分層優(yōu)化技術(shù)，以迭代方式估計和細(xì)化自動駕駛車輛的姿態(tài)。提出了一種用于4D雷達(dá)點(diǎn)云的特征提取網(wǎng)絡(luò)，以實(shí)現(xiàn)稀疏點(diǎn)云的高效學(xué)習(xí)。構(gòu)建了一個初始姿態(tài)生成模塊，用于獲取初始姿態(tài)，該姿態(tài)用于扭曲第一個點(diǎn)云并縮短與第二個點(diǎn)云的距離。然后開發(fā)了一個速度感知的注意力代價體模塊，用于關(guān)聯(lián)扭曲后的第一個點(diǎn)云和第二個點(diǎn)云，以獲取點(diǎn)的運(yùn)動信息。利用雷達(dá)點(diǎn)的速度信息來學(xué)習(xí)注意力權(quán)重，以增強(qiáng)運(yùn)動信息估計的魯棒性。利用運(yùn)動信息來回歸校正后的姿態(tài)，然后用于細(xì)化初始姿態(tài)，以獲得更準(zhǔn)確的最終姿態(tài)。我們的4D雷達(dá)里程計方法在View-of-Delft和內(nèi)部數(shù)據(jù)集上的優(yōu)越性能和有效性得到了證明。

關(guān)鍵詞：深度雷達(dá)里程計，自動駕駛，4D雷達(dá)

1 引言

里程計技術(shù)是智能車輛自主定位的關(guān)鍵技術(shù)，也是此類車輛規(guī)劃和決策任務(wù)的基礎(chǔ)。里程計使用傳感器捕獲的兩幅連續(xù)圖像或點(diǎn)云來估計兩個幀之間的相對姿態(tài)變換。最近的里程計技術(shù)發(fā)展包括利用監(jiān)督或自監(jiān)督學(xué)習(xí)來執(zhí)行所需任務(wù)[1],[2],[3],[4],[5],[6]。然而，大多數(shù)現(xiàn)有的里程計方法使用攝像頭或激光雷達(dá)傳感器，而這兩種傳感器的缺點(diǎn)，如無法在所有天氣條件下感知、檢測距離短以及高昂的經(jīng)濟(jì)成本，限制了它們在里程計技術(shù)中的應(yīng)用。

4D毫米波雷達(dá)作為一種新興傳感器，因其相較于攝像頭和激光雷達(dá)的獨(dú)特優(yōu)勢，正在學(xué)術(shù)界和工業(yè)界廣泛受到關(guān)注[7],[8],[9],[10],[11],[12]。首先，4D雷達(dá)提供了更豐富的場景描述，包括場景中目標(biāo)的3D位置、雷達(dá)截面積（RCS）和徑向相對速度（RRV）測量，其中額外的速度信息有助于在里程計系統(tǒng)中排除動態(tài)點(diǎn)。其次，由于其短波長和高穿透能力，4D雷達(dá)能夠在不利的天氣條件（如雨、雪和霧）以及不利的光照條件下穩(wěn)定運(yùn)行。最后，4D雷達(dá)相較于激光雷達(dá)具有更低的成本和更小的體積，使其在預(yù)算和空間有限的智能車輛中更易于使用。盡管4D雷達(dá)具有諸多優(yōu)勢，但基于4D雷達(dá)的里程計研究仍然不足。本研究的目的是開發(fā)一種基于學(xué)習(xí)的里程計方法，使用4D雷達(dá)捕獲的點(diǎn)云進(jìn)行定位。

圖1. 圖像、藍(lán)色激光雷達(dá)點(diǎn)云和粉紅色雷達(dá)點(diǎn)云之間的視覺比較。雷達(dá)點(diǎn)云明顯比激光雷達(dá)點(diǎn)云更小且更嘈雜。

在使用4D雷達(dá)采集的點(diǎn)云進(jìn)行里程計學(xué)習(xí)時，存在三個挑戰(zhàn)。(1)與激光雷達(dá)輸出的點(diǎn)云相比，4D雷達(dá)點(diǎn)云更稀疏、噪聲更大，且分辨率更低，如圖1所示。具體來說，單幀4D雷達(dá)只有幾百個點(diǎn)，僅為激光雷達(dá)點(diǎn)數(shù)的1%。這種稀疏性顯著增加了穩(wěn)健提取點(diǎn)云特征的難度。(2)由于4D雷達(dá)點(diǎn)的稀疏性和噪聲，難以在兩個連續(xù)幀的4D雷達(dá)中進(jìn)行精確的點(diǎn)對點(diǎn)匹配。(3)場景中的動態(tài)物體在各種里程計技術(shù)中都是一個普遍的挑戰(zhàn)，顯著影響車輛姿態(tài)估計的精度。為了解決這些挑戰(zhàn)，并充分利用4D雷達(dá)的點(diǎn)云信息，我們提出了一種基于深度學(xué)習(xí)的4D雷達(dá)里程計方法。

為了解決第一個挑戰(zhàn)，大多數(shù)現(xiàn)有的深度激光雷達(dá)里程計研究使用了PointNet[13]、PointNet++[14]以及將3D點(diǎn)云投影到2D深度圖像的方法來提取點(diǎn)云特征[15]。然而，由于激光雷達(dá)點(diǎn)云信息的局限性，上述研究僅使用了點(diǎn)云的空間信息。4D雷達(dá)點(diǎn)云不僅包含點(diǎn)云的空間信息，還包含速度和雷達(dá)截面積（RCS）信息。受到PointNet的啟發(fā)，并結(jié)合4D雷達(dá)的點(diǎn)云信息，本研究為4D雷達(dá)提出了一種名為Radar-PointNet的點(diǎn)云特征提取網(wǎng)絡(luò)。該網(wǎng)絡(luò)通過分別編碼和對來自4D雷達(dá)的不同點(diǎn)云信息進(jìn)行多尺度融合，有效地提取點(diǎn)云特征。

針對第二個挑戰(zhàn)，Zheng等人[16]通過在2D深度圖像中提取和匹配關(guān)鍵點(diǎn)來實(shí)現(xiàn)點(diǎn)對點(diǎn)的對應(yīng)關(guān)系。然而，雷達(dá)點(diǎn)云稀疏且噪聲較大，因此無法實(shí)現(xiàn)精確的點(diǎn)對應(yīng)。在本研究中，使用了4D雷達(dá)點(diǎn)云的代價體積來獲得兩個點(diǎn)云之間的注意力加權(quán)軟對應(yīng)關(guān)系，并直接從描述點(diǎn)云之間軟對應(yīng)關(guān)系的代價體積中回歸姿態(tài)。

為了解決第三個挑戰(zhàn)，必須濾除動態(tài)點(diǎn)。Wang等人[17]提出了層次嵌入掩碼來濾除激光雷達(dá)點(diǎn)云中的動態(tài)點(diǎn)。然而，對于4D雷達(dá)點(diǎn)云而言，特定于點(diǎn)云的速度信息在處理動態(tài)點(diǎn)時具有獨(dú)特性。利用4D雷達(dá)點(diǎn)云特有的速度信息，我們對點(diǎn)云進(jìn)行了過濾，并在網(wǎng)絡(luò)中提出了一個速度感知的注意力機(jī)制模塊，以對來自代價體積的點(diǎn)的移動進(jìn)行加權(quán)。此外，為了充分利用稀疏點(diǎn)云中的信息，構(gòu)建了一個粗到細(xì)的網(wǎng)絡(luò)架構(gòu)，并通過迭代優(yōu)化以獲得更準(zhǔn)確的姿態(tài)。

本研究的貢獻(xiàn)如下：

我們開發(fā)了一種從4D雷達(dá)數(shù)據(jù)進(jìn)行里程計估計的新方法，通過為4D雷達(dá)里程計任務(wù)開發(fā)了一個完整且高效的框架——4DRO-Net。在該框架中，所有模塊都是完全可微的，因此每個過程不是獨(dú)立的，而是通過組合進(jìn)行優(yōu)化。4DRO-Net使用基于滑動窗口的粗到細(xì)的分層優(yōu)化方法，以迭代的方式估計和優(yōu)化姿態(tài)。

在所提出的框架中，提出了一種4D雷達(dá)點(diǎn)云特征提取網(wǎng)絡(luò)Radar-PointNet，它包括多尺度特征提取、深度特征融合和特征生成策略，以實(shí)現(xiàn)與4D雷達(dá)點(diǎn)云信息結(jié)合的稀疏點(diǎn)云的有效特征提取。

在所提出的框架中，提出了一種新穎的速度感知注意力代價體積網(wǎng)絡(luò)，該網(wǎng)絡(luò)利用4D雷達(dá)點(diǎn)云特有的速度信息對代價體積中的點(diǎn)的運(yùn)動進(jìn)行加權(quán)，以提高姿態(tài)估計的準(zhǔn)確性。

最后，我們的方法在View-of-Delft (VoD) 數(shù)據(jù)集[18]以及內(nèi)部數(shù)據(jù)集上進(jìn)行了廣泛的評估。我們進(jìn)行了評估實(shí)驗(yàn)和消融研究，以證明所提出方法的優(yōu)越性和每種技術(shù)的有效性。

本文余下部分的結(jié)構(gòu)如下：第二部分介紹相關(guān)工作。第三部分詳細(xì)介紹所提出的方法。第四部分介紹數(shù)據(jù)集處理、基準(zhǔn)線、評估指標(biāo)和訓(xùn)練細(xì)節(jié)。第五部分展示了將所提出的方法與其他方法進(jìn)行比較的實(shí)驗(yàn)結(jié)果以及消融研究的結(jié)果。

2 相關(guān)工作

A.3D點(diǎn)云特征學(xué)習(xí)方法

通常，3D點(diǎn)云特征學(xué)習(xí)方法可以分為基于體素的學(xué)習(xí)方法和基于點(diǎn)的學(xué)習(xí)方法?；隗w素的學(xué)習(xí)方法通常將點(diǎn)云轉(zhuǎn)換為3D網(wǎng)格表示，然后在體素表示上使用經(jīng)過驗(yàn)證的2D或3D卷積神經(jīng)網(wǎng)絡(luò)（CNN）來提取3D點(diǎn)云特征。VoxNet[19]是第一個基于體素的學(xué)習(xí)方法，它使用概率估計來計算3D網(wǎng)格中的占據(jù)情況，并隨后使用3D卷積神經(jīng)網(wǎng)絡(luò)處理這些占據(jù)的網(wǎng)格。吳等人[20]提出了一種方法，將幾何3D形狀表示為3D體素網(wǎng)格中的二進(jìn)制概率分布，然后使用卷積網(wǎng)絡(luò)進(jìn)行特征提取。盡管上述方法取得了出色的性能，但由于計算和內(nèi)存消耗隨著分辨率的增加呈立方增長，這些方法在處理密集3D表示時無法很好地擴(kuò)展。為了解決這一問題，Gernot等人開發(fā)了OctNet[21]，該方法采用混合網(wǎng)格八叉樹結(jié)構(gòu)對點(diǎn)云進(jìn)行分層劃分，以減少計算和內(nèi)存成本。同時，體素化過程中信息的丟失是不可避免的。VoxelNet[22]和PointPillars[23]使用神經(jīng)網(wǎng)絡(luò)在體素化過程中從每個網(wǎng)格的點(diǎn)云中提取初始特征向量，盡可能地將原始點(diǎn)云信息存儲在提取的體素特征中，從而減少了體素化過程中信息的丟失。然而，即使引入了神經(jīng)網(wǎng)絡(luò)，在體素化過程中原始結(jié)構(gòu)信息的丟失仍然是不可避免的。通過設(shè)計與卷積順序無關(guān)的特征提取算子，基于點(diǎn)的學(xué)習(xí)方法可以省略體素化過程，直接從原始點(diǎn)云中提取特征，從而保留點(diǎn)云的結(jié)構(gòu)信息。PointNet[13]是一種由Charles等人在2016年提出的3D點(diǎn)云特征學(xué)習(xí)方法，用于直接從非結(jié)構(gòu)化點(diǎn)云中學(xué)習(xí)點(diǎn)云特征。PointNet++[14]是PointNet的改進(jìn)版本，它通過構(gòu)建“采樣-鄰域聚類”的特征學(xué)習(xí)模型，對場景中的局部區(qū)域點(diǎn)集進(jìn)行均勻采樣和分割。然而，處理無序、非結(jié)構(gòu)化和不均勻3D點(diǎn)云的分組過程引入了更多的計算量。HPLFlowNet[24]嘗試使用基于格子的插值方法來處理大規(guī)模點(diǎn)云，但與插值相關(guān)的誤差是不可避免的。Choy等人[25]提出了全卷積幾何特征，這些特征由3D全卷積網(wǎng)絡(luò)在單次傳遞中計算得出。SpinNet[26]引入了一種強(qiáng)大的3D柱狀卷積，用于學(xué)習(xí)豐富而通用的特征。

上述3D點(diǎn)云特征學(xué)習(xí)方法是為激光雷達(dá)點(diǎn)云設(shè)計的；然而，與激光雷達(dá)點(diǎn)云相比，4D雷達(dá)點(diǎn)云包含額外的速度和雷達(dá)截面積（RCS）信息。上述方法均無法有效提取4D雷達(dá)點(diǎn)云特征。受到PointNet[13]的啟發(fā)，本文提出了一種新穎的4D雷達(dá)點(diǎn)云特征提取方法，該方法利用4D雷達(dá)點(diǎn)云信息，實(shí)現(xiàn)點(diǎn)云特征的多層次提取和深度融合。

B.傳統(tǒng)的點(diǎn)云里程計方法

傳統(tǒng)的點(diǎn)云里程計方法分為兩個步驟：點(diǎn)云對齊和基于對齊結(jié)果的當(dāng)前幀和參考幀姿態(tài)估計。迭代最近點(diǎn)（ICP）算法是最廣泛使用的傳統(tǒng)點(diǎn)云里程計方法。它通過使用最近的歐幾里得距離來建立點(diǎn)之間的對應(yīng)關(guān)系，并求解要匹配的兩個點(diǎn)云的相對姿態(tài)[27]。根據(jù)誤差測量的不同，ICP可以分為點(diǎn)對點(diǎn)ICP（P2P-ICP）[28]，該方法使用點(diǎn)到點(diǎn)的歐幾里得距離作為誤差測量；點(diǎn)對面ICP（P2Pl-ICP）[29]，該方法使用點(diǎn)到面的歐幾里得距離作為誤差測量；強(qiáng)度ICP[30]，該方法使用激光雷達(dá)反射強(qiáng)度作為誤差測量；以及廣義ICP（GICP）[31]，該方法結(jié)合了P2P-ICP和P2Pl-ICP。盡管基于ICP的里程計方法在大多數(shù)場景中都能取得出色的性能，但當(dāng)車輛速度較高時，激光雷達(dá)點(diǎn)云會發(fā)生畸變，因此會給出錯誤的姿態(tài)估計。為了解決這個問題，現(xiàn)有工作中提出了一種對齊方法，該方法提取點(diǎn)云中的一些關(guān)鍵元素[32][33]。Zhang等人[34]提出的激光雷達(dá)里程計和地圖構(gòu)建（LOAM）框架是使用關(guān)鍵元素進(jìn)行對齊的經(jīng)典方法，該方法基于曲率從激光雷達(dá)點(diǎn)云中提取位于鋒利邊緣和平面的特征，并分別將其對齊到邊緣線段和平面特征。Shan等人[35]基于LOAM框架提出了輕量級和地面優(yōu)化的LOAM（LeGO-LOAM）框架。與LOAM框架相比，LeGO-LOAM框架增加了一個點(diǎn)云分割模塊，通過提取地面和分割點(diǎn)來聚類點(diǎn)云，并基于雙平滑性選擇特征點(diǎn)，從而提高了魯棒性。此外，還研究了各種數(shù)學(xué)性質(zhì)來描述點(diǎn)云并解決姿態(tài)問題，其中最常見的是法向分布變換（NDT）[36]。與其他方法相比，該方法不需要建立顯式的點(diǎn)或特征之間的對應(yīng)關(guān)系，但仍然存在嚴(yán)重依賴初始姿態(tài)的缺點(diǎn)。

C.基于深度學(xué)習(xí)的點(diǎn)云里程計方法

近年來，基于深度學(xué)習(xí)的點(diǎn)云里程計方法迅速發(fā)展，在準(zhǔn)確性和實(shí)時性方面均取得了出色的性能。深度學(xué)習(xí)能夠更好地學(xué)習(xí)特征表示，使其在應(yīng)對具有挑戰(zhàn)性的場景時表現(xiàn)得更加穩(wěn)健。Nicolai等人[37]于2016年首次使用深度學(xué)習(xí)方法來估計連續(xù)點(diǎn)云之間的姿態(tài)變換。他們將激光雷達(dá)點(diǎn)云投影到二維平面上，并使用基于圖像的深度學(xué)習(xí)技術(shù)實(shí)現(xiàn)激光雷達(dá)里程計。Velas等人[38]也將激光雷達(dá)點(diǎn)云投影到二維平面上，并使用包含高度、距離和強(qiáng)度的3D向量作為輸入，分別通過卷積神經(jīng)網(wǎng)絡(luò)和全連接層回歸旋轉(zhuǎn)和位移。Wang等人于2019年提出了DeepPCO[39]。該方法使用全景深度圖像來表示點(diǎn)云，并采用并行化的思路，使用平移子網(wǎng)絡(luò)和FlowNet[40]分別估計輸入的連續(xù)點(diǎn)云的平移和旋轉(zhuǎn)。同年，Li等人提出了LO-Net[41]，該網(wǎng)絡(luò)以兩個連續(xù)的點(diǎn)云作為輸入，通過估計3D點(diǎn)的法向量構(gòu)建幾何一致性損失，并構(gòu)建掩碼預(yù)測子網(wǎng)絡(luò)以估計不確定性掩碼，從而消除動態(tài)物體的影響。Zheng等人提出的LodoNet[16]將激光雷達(dá)點(diǎn)云轉(zhuǎn)換為圖像空間，然后使用基于圖像的特征提取和匹配方法進(jìn)行激光雷達(dá)里程計。PWCLO-Net[42]提出了一個姿態(tài)扭曲優(yōu)化模塊，以粗到細(xì)的方式實(shí)現(xiàn)激光雷達(dá)里程計的分層優(yōu)化，并通過分層嵌入掩碼優(yōu)化處理各種異常值。EfficientLO-Net[17]提出了一種投影感知的3D點(diǎn)云表示，并基于這種點(diǎn)云表示構(gòu)建了一個用于激光雷達(dá)里程計任務(wù)的金字塔、扭曲和代價體積（PWC）結(jié)構(gòu)，以粗到細(xì)的方式估計和優(yōu)化姿態(tài)。TransLO[43]引入了一種創(chuàng)新的、基于窗口的端到端掩碼點(diǎn)轉(zhuǎn)換器網(wǎng)絡(luò)，專為大規(guī)模激光雷達(dá)里程計設(shè)計。該架構(gòu)通過協(xié)同集成卷積神經(jīng)網(wǎng)絡(luò)（CNN）和轉(zhuǎn)換器框架來提取全面的全局特征嵌入。

3 深度學(xué)習(xí)4D毫米波汽車?yán)走_(dá)里程計

A.綜述

問題表述：本研究的主要目的是利用兩個連續(xù)的4D雷達(dá)點(diǎn)云來獲得這兩個幀之間的相對姿態(tài)變換。具體來說，給定兩個連續(xù)的點(diǎn)云和，網(wǎng)絡(luò)輸出這兩個幀之間的姿態(tài)變換，其中姿態(tài)變換由旋轉(zhuǎn)和平移組成。在本研究中，旋轉(zhuǎn)由歐拉角表示，平移由平移向量表示。這里，和表示點(diǎn)的數(shù)量。與傳統(tǒng)的僅包含空間信息的點(diǎn)云不同，4D雷達(dá)捕獲的點(diǎn)云還包括徑向相對速度（RRV）和雷達(dá)截面積（RCS）信息，這些信息共同構(gòu)成了一個5D特征向量。RRV描述了場景中其他物體相對于自車的運(yùn)動，而目標(biāo)的RCS則是截獲雷達(dá)發(fā)射信號并將其反射回雷達(dá)接收器的假想?yún)^(qū)域[44]，如圖2所示。

整體架構(gòu)：圖3展示了本研究中提出的4DRO-Net的整體架構(gòu)。它由特征編碼模塊、初始姿態(tài)生成模塊和校正姿態(tài)生成模塊組成。使用深度學(xué)習(xí)模型進(jìn)行里程計訓(xùn)練的一個缺點(diǎn)是標(biāo)簽不平衡程度高，即數(shù)據(jù)集中大多數(shù)曲線都是次要曲線，只有少部分曲線是主要曲線。為了解決這個問題，在訓(xùn)練階段，我們使用當(dāng)前點(diǎn)云及其前兩幀和形成一個滑動窗口作為網(wǎng)絡(luò)的輸入。在滑動窗口中，不僅解決了與之間的姿態(tài)變換，還解決了與之間的姿態(tài)變換。這增加了主要曲線的樣本分布，并使模型能夠更好地訓(xùn)練。特征編碼模塊對滑動窗口內(nèi)的每個點(diǎn)云進(jìn)行特征編碼，生成其相應(yīng)的點(diǎn)特征和全局特征。初始姿態(tài)生成模塊使用點(diǎn)云全局特征作為輸入對，并估計點(diǎn)云之間的初始?xì)W拉角和初始平移向量?；诔跏甲藨B(tài)變換，校正姿態(tài)生成模塊執(zhí)行姿態(tài)扭曲，然后使用所提出的速度感知注意力代價體積網(wǎng)絡(luò)生成代價體積，基于扭曲后的點(diǎn)云及其相應(yīng)的點(diǎn)特征。代價體積用于回歸校正后的歐拉角和校正后的平移向量。最后，使用校正后的姿態(tài)對初始姿態(tài)進(jìn)行優(yōu)化，獲得最終的歐拉角和平移向量。對于滑動窗口中的不同點(diǎn)云對，我們設(shè)計了網(wǎng)絡(luò)以連續(xù)點(diǎn)云損失和間隔點(diǎn)云損失進(jìn)行訓(xùn)練。在測試階段，我們只將兩個連續(xù)的幀和輸入到訓(xùn)練好的網(wǎng)絡(luò)中，以獲得這兩個幀之間的姿態(tài)變換。

B.特征編碼網(wǎng)絡(luò)

圖4 特征提取網(wǎng)絡(luò)的詳細(xì)信息。該網(wǎng)絡(luò)由兩大部分組成：深度特征融合模塊和特征生成模塊。輸出每個點(diǎn)的特征和全局特征。

4D雷達(dá)點(diǎn)云在3D空間中比激光雷達(dá)點(diǎn)云更稀疏且噪聲更大。因此，如果使用像VoxelNet[22]那樣的密集體素，大多數(shù)體素網(wǎng)格可能是空的。PointNet[13]作為經(jīng)典的3D點(diǎn)云特征提取算法，使用共享的多層感知器和最大池化來提取點(diǎn)特征和全局特征，但僅利用了點(diǎn)的空間信息。受到PointNet的啟發(fā)，并結(jié)合4D雷達(dá)點(diǎn)云信息，提出了Radar-PointNet以有效地提取雷達(dá)點(diǎn)云特征。圖4展示了所提出的Radar-PointNet網(wǎng)絡(luò)，包括深度特征融合模塊和特征生成模塊，具體描述如下。

1)深度特征融合模塊：從4D雷達(dá)點(diǎn)云中提取穩(wěn)健的點(diǎn)云特征受限于兩個方面：a)雷達(dá)點(diǎn)云信息的復(fù)雜性，b)雷達(dá)點(diǎn)云的稀疏性。與激光雷達(dá)點(diǎn)云相比，4D雷達(dá)點(diǎn)云不僅包含空間信息，還包含RRV和RCS信息。RRV和RCS信息尤為重要。RRV描述了周圍物體相對于自車在徑向方向上的速度，這在考慮雷達(dá)里程計任務(wù)中的動態(tài)點(diǎn)時具有重要價值。RCS值在不同物體之間有顯著差異，從而有助于對每個物體進(jìn)行全面表征。將所有4D雷達(dá)點(diǎn)云信息編碼到同一個特征空間會導(dǎo)致特征復(fù)雜性。為了解決這個問題，我們分別使用三個1D卷積、BN（批歸一化）和ReLU層對點(diǎn)云的空間、速度和RCS信息進(jìn)行編碼，并在三個特征尺度上進(jìn)行特征拼接以實(shí)現(xiàn)深度特征融合。為了解決雷達(dá)點(diǎn)云的稀疏性問題，我們提取了點(diǎn)云中每個點(diǎn)的點(diǎn)特征，以對稀疏點(diǎn)云進(jìn)行細(xì)粒度特征提取，從而充分利用場景中的4D雷達(dá)點(diǎn)。具體來說，對于輸入的點(diǎn)云，最終的點(diǎn)云融合特征通過以下計算過程得到。

其中，表示點(diǎn)的位置信息，表示點(diǎn)的速度信息，表示點(diǎn)的強(qiáng)度信息，表示1D卷積，表示ReLU激活函數(shù)，表示連接，表示點(diǎn)的位置信息特征提取，表示點(diǎn)的速度信息特征提取，表示點(diǎn)的強(qiáng)度信息特征提取，表示點(diǎn)的位置信息、速度信息以及強(qiáng)度信息的組合特征，表示平均池化函數(shù)。

2)特征生成模塊：在獲得最終的點(diǎn)云融合特征后，首先通過平均池化聚合特征，以獲得點(diǎn)云的點(diǎn)特征。基于點(diǎn)特征，在點(diǎn)特征的每個維度上使用1D卷積和最大池化，以獲得最終的全局特征。公式如下：

其中，和表示點(diǎn)特征聚合過程中生成的中間特征，表示最大池化函數(shù)。

C.初始姿態(tài)生成網(wǎng)絡(luò)

圖5 初始位姿生成模塊。該模塊將兩幀點(diǎn)云的全局特征作為輸入，輸出初始旋轉(zhuǎn)估計和初始平移估計。

將點(diǎn)云的全局特征轉(zhuǎn)換為兩幀之間全局一致的姿態(tài)變換是一個新的問題。在本小節(jié)中，提出了一種方法，使用兩個點(diǎn)云的全局特征來生成初始姿態(tài)變換。

如圖5所示，初始姿態(tài)生成網(wǎng)絡(luò)獲取了需要估計姿態(tài)變換的兩個點(diǎn)云的全局特征和。這些特征隨后被拼接，以進(jìn)行后續(xù)的空間特征提取。空間特征的提取通過平均池化來實(shí)現(xiàn)，該方法結(jié)合了兩個點(diǎn)云的全局特征信息，從而使特征提取網(wǎng)絡(luò)能夠有效地進(jìn)行特征提取。最后，提取的空間特征被映射到一個6自由度（6-DoF）的姿態(tài)變換中。由于旋轉(zhuǎn)是高度非線性的，我們使用兩組獨(dú)立的多層感知器（MLP）對平移和旋轉(zhuǎn)的映射進(jìn)行解耦。計算過程如下：

D.校正姿態(tài)生成模塊

圖6 矯正位姿生成模塊。該模塊將兩幀點(diǎn)云、點(diǎn)云的點(diǎn)特征以及初始位姿估計作為輸入，經(jīng)過位姿變換、速度意識的注意力成本量和位姿回歸后輸出矯正旋轉(zhuǎn)估計和矯正平移估計。

為了在端到端方其中實(shí)現(xiàn)粗到細(xì)的精細(xì)化過程，我們提出了一個校正姿態(tài)生成模塊，以校正初始姿態(tài)并獲得更準(zhǔn)確的姿態(tài)。如圖6所示，該網(wǎng)絡(luò)包含幾個關(guān)鍵組件：姿態(tài)扭曲、速度感知注意力代價體積和校正姿態(tài)回歸。姿態(tài)扭曲過程使用初始姿態(tài)對進(jìn)行扭曲，以減少和之間的距離。接下來，速度感知注意力代價體積模塊將與扭曲后的關(guān)聯(lián)起來，并推導(dǎo)出嵌入特征，該特征表征了中每個點(diǎn)的運(yùn)動信息。最后，應(yīng)用校正姿態(tài)回歸模塊，以獲取和扭曲后的的校正姿態(tài)。具體過程如下：

1)姿態(tài)扭曲：此過程是使用來自初始位姿生成模塊的歐拉角和平移向量對中每個點(diǎn)進(jìn)行變換，生成。具體來說，首先將歐拉角轉(zhuǎn)換為對應(yīng)的旋轉(zhuǎn)矩陣。之后，使用旋轉(zhuǎn)矩陣和平移向量對點(diǎn)云進(jìn)行變換。扭曲變換的公式如下：

圖7. 速度感知注意力代價體積。該模塊以兩個點(diǎn)云的空間信息、速度信息和點(diǎn)特征為輸入。通過注意力加權(quán)獲得中每個點(diǎn)的運(yùn)動信息。最后，該模塊輸出的代價體積特征。

2)速度感知注意力代價體積：如果初始姿態(tài)估計準(zhǔn)確，那么和將大致相等。然而，初始姿態(tài)中的誤差僅使更接近而不是。受到文獻(xiàn)[45]的啟發(fā)，并結(jié)合4D雷達(dá)點(diǎn)云特有的速度信息，我們引入了速度感知注意力代價體積，以關(guān)聯(lián)和，然后基于代價體積生成和之間的校正姿態(tài)。代價體積使用空間和速度信息來關(guān)聯(lián)兩個點(diǎn)云，以生成代價體積特征。代價體積特征包含中每個點(diǎn)的運(yùn)動信息，這些信息與校正姿態(tài)直接相關(guān)。然而，屬于動態(tài)物體的點(diǎn)對雷達(dá)里程計是不利的。速度信息直接反映了雷達(dá)點(diǎn)的運(yùn)動。因此，我們利用雷達(dá)點(diǎn)的速度信息來學(xué)習(xí)注意力權(quán)重，對注意力流嵌入進(jìn)行加權(quán)。速度感知注意力代價體積如圖7所示。該模塊的輸入是兩個點(diǎn)云的空間、速度和點(diǎn)特征，和。其中，表示空間信息，表示速度信息，表示由點(diǎn)特征和點(diǎn)云的全局特征組成的特征向量。模型的輸出是第一點(diǎn)云中每個點(diǎn)的運(yùn)動編碼，其中。這一過程的詳細(xì)描述如下。

點(diǎn)的運(yùn)動編碼可以分為中的點(diǎn)對求取注意力成本量以及中的點(diǎn)對求取注意力成本量兩個過程。在第一個過程中，根據(jù)點(diǎn)的空間信息，對中的每個點(diǎn)在中選擇個最近的鄰居點(diǎn)。對中的每個點(diǎn)在中選擇個最近的鄰居點(diǎn)。使用和求取中的點(diǎn)對的注意力成本量。首先，求取用于注意力權(quán)重學(xué)習(xí)的特征向量：

除了點(diǎn)云的速度信息，我們還使用了點(diǎn)云的空間結(jié)構(gòu)信息，空間結(jié)構(gòu)信息與點(diǎn)的相似性直接相關(guān)。基于，注意力權(quán)重計算如下所示：

其中，表示softmax激活函數(shù)，用于歸一化注意力權(quán)重。之后，使用兩幀點(diǎn)云的點(diǎn)特征和特征向量構(gòu)建flow embedding ：

最后，基于和，可獲得中點(diǎn)對的attentive flow embedding:

這里，表示點(diǎn)乘。在第二個過程中，首先根據(jù)的局部3D空間結(jié)構(gòu)信息和速度信息求取用于注意力權(quán)重學(xué)習(xí)的特征向量：

基于，注意力權(quán)重計算如下所示：

最后，中點(diǎn)的attentive flow embedding如下所示：

連接中每個點(diǎn)的attentive flow embedding即可得到的運(yùn)動編碼。

圖8 修正的姿態(tài)回歸。該模塊將兩幀點(diǎn)云的成本量作為輸入，輸出矯正旋轉(zhuǎn)估計和矯正平移估計。

3)修正后的姿態(tài)回歸：下一步，基于兩幀點(diǎn)云的成本量，我們提出了一個矯正位姿回歸模塊從成本量中生成矯正位姿。如圖8所示，該模塊首先使用最大池化綜合點(diǎn)云中所有點(diǎn)運(yùn)動編碼每一維上的信息生成點(diǎn)云的運(yùn)動特征，之后使用MLP將提取的點(diǎn)云運(yùn)動特征映射到6-DoF位姿變換，可得到矯正的旋轉(zhuǎn)估計和矯正的平移向量，該過程如下式所示：

E.姿態(tài)細(xì)化

在本節(jié)中，根據(jù)剛體變換組合的基本法則進(jìn)行兩幀之間最終位姿的求解。更詳細(xì)地說，給定一個3幀連續(xù)點(diǎn)云的滑動窗口，根據(jù)3.3節(jié)可以獲得連續(xù)點(diǎn)云(consecutive point cloud)和區(qū)間點(diǎn)云(interval point cloud)的初始旋轉(zhuǎn)估計和初始平移估計，根據(jù)3.4.3節(jié)可以獲得連續(xù)點(diǎn)云和區(qū)間點(diǎn)云的矯正旋轉(zhuǎn)估計和矯正平移估計。最終位姿的求解在下其中給出。

其中，為歐拉角對應(yīng)的旋轉(zhuǎn)矩陣。通過這一過程，我們基于滑動窗口將姿態(tài)從粗糙細(xì)化到精細(xì)，得到了更準(zhǔn)確的最終姿態(tài)估計?；瑒哟翱诘囊氩粌H解決了數(shù)據(jù)分布不均勻的問題，而且提高了姿態(tài)估計的精度和對大規(guī)模運(yùn)動的魯棒性。

F.訓(xùn)練損失

網(wǎng)絡(luò)輸出滑動窗口內(nèi)連續(xù)點(diǎn)云的位姿和區(qū)間點(diǎn)云的位姿。對于每一個位姿，我們設(shè)計了旋轉(zhuǎn)損失和平移損失分別學(xué)習(xí)點(diǎn)云幀間旋轉(zhuǎn)和平移分量：

其中，表示范數(shù)，和分別是由真實(shí)姿態(tài)變換矩陣生成的真實(shí)歐拉角和平移向量。

由于歐拉角和平移向量之間的尺度和單位不同，參考之前的深度里程計工作[41]，我們引入了兩個可學(xué)習(xí)參數(shù)和。對于每一個位姿訓(xùn)練損失函數(shù)為：

因此，在一個滑動窗口內(nèi)，一個兩階段的監(jiān)督方法的定義如下：

其中，和為連續(xù)點(diǎn)云在兩階段的姿態(tài)損失函數(shù)。和是間隔點(diǎn)云在兩階段的姿態(tài)損失函數(shù)。是一個超參數(shù)，平衡連續(xù)點(diǎn)云損失函數(shù)和間隔點(diǎn)云損失函數(shù)的大小。

4 實(shí)施

A.數(shù)據(jù)集

表I 在VOD數(shù)據(jù)集中，與測試集相對應(yīng)的幀號

1)View-of-Delft Automotive Dataset:VoD數(shù)據(jù)集[18]是從Delft校園、郊區(qū)和老城區(qū)收集的，場景中包含許多動態(tài)對象，如行人和騎自行車的人。數(shù)據(jù)集包含8682幀，包括相機(jī)、激光雷達(dá)和4D雷達(dá)的數(shù)據(jù)。每個幀還提供了不同傳感器之間的外部參數(shù)轉(zhuǎn)換和里程計信息。基于幀之間的數(shù)據(jù)連續(xù)性，我們將8682幀分成了24個序列。在保持?jǐn)?shù)據(jù)分布一致性的前提下，我們選擇了五個序列（00、03、04、07、23）中的1718幀作為測試集，其余序列中的6964幀用作訓(xùn)練集，按照24個序列中訓(xùn)練集和測試集的8:2比例。數(shù)據(jù)集中測試序列對應(yīng)的幀號見表I。

圖9. 顯示內(nèi)部數(shù)據(jù)集收集場景。為了可視化數(shù)據(jù)，我們將四維雷達(dá)點(diǎn)投影到相應(yīng)的圖像上，并使用彩色編碼方案表示它們的深度。

2)The In-House Dataset:我們使用了一輛裝備有4D雷達(dá)和高精度多源信息組合定位設(shè)備的汽車作為數(shù)據(jù)收集平臺。4D雷達(dá)序列以10fps的幀率采集，高精度多源信息組合定位設(shè)備輸出的GPS數(shù)據(jù)以100fps的幀率采集。我們總共收集了11,192幀，分為4個序列，圖9顯示了收集的場景。在所有序列中，我們選擇了序列03和04，共3403幀作為測試集，而其余序列，共7789幀用作訓(xùn)練集。

B.數(shù)據(jù)集處理

1)Labels:所提出的方法求出來的兩幀點(diǎn)云之間的位姿變換是在雷達(dá)坐標(biāo)系下。由于VoD數(shù)據(jù)集提供的ground truth pose是相機(jī)坐標(biāo)系到里程計坐標(biāo)系的變換矩陣。因此，需要根據(jù)VoD數(shù)據(jù)集提供的4D雷達(dá)和相機(jī)的外參矩陣將相機(jī)坐標(biāo)系到里程計坐標(biāo)系的變換矩陣轉(zhuǎn)換為在雷達(dá)坐標(biāo)系下兩幀點(diǎn)云之間的位姿變換。首先，根據(jù)第幀相機(jī)坐標(biāo)系到里程計坐標(biāo)系的變換矩陣和第幀相機(jī)坐標(biāo)系到里程計坐標(biāo)系的變換矩陣求得第幀相機(jī)坐標(biāo)系到第幀相機(jī)坐標(biāo)系的變換矩陣：

接著，根據(jù)4D雷達(dá)和相機(jī)的外參矩陣求得第幀雷達(dá)坐標(biāo)系到第幀雷達(dá)坐標(biāo)系的變換矩陣：

相同的，我們可以獲得第幀雷達(dá)坐標(biāo)系到第幀雷達(dá)坐標(biāo)系的變換矩陣對滑動窗口中的區(qū)間點(diǎn)云(interval point cloud)之間的位姿變換監(jiān)督訓(xùn)練。對于自己采集的校園數(shù)據(jù)集，ground truth pose是由高精度多源信息組合定位設(shè)備輸出的GPS數(shù)據(jù)轉(zhuǎn)換得到。首先，將GPS數(shù)據(jù)轉(zhuǎn)換為在第幀定位設(shè)備坐標(biāo)系到東北天坐標(biāo)系下的位姿變換矩陣，這里為雷達(dá)幀的數(shù)目。接著，基于計算第幀定位設(shè)備坐標(biāo)系到第幀定位設(shè)備坐標(biāo)系的變換矩陣：

最后，根據(jù)4D雷達(dá)和定位設(shè)備的外參矩陣求得第幀雷達(dá)坐標(biāo)系到第幀雷達(dá)坐標(biāo)系的變換矩陣：

2)Data Augmentation:在VoD數(shù)據(jù)集中，車輛的左轉(zhuǎn)場景和右轉(zhuǎn)場景存在著高度不平衡。深度學(xué)習(xí)模型高度依賴盡可能完善的數(shù)據(jù)集，而在VoD數(shù)據(jù)集中并非如此。為了解決這個問題，我們采用了少量標(biāo)簽過采樣的方法。通過對訓(xùn)練集中樣本ground truth pose偏航分量統(tǒng)計分析，我們使用樣本重復(fù)的方法來獲得更平衡的數(shù)據(jù)集。通過這種方式，我們添加了大約1000個用于旋轉(zhuǎn)的樣本。

VoD數(shù)據(jù)集中提供的點(diǎn)云速度為速度補(bǔ)償后的絕對速度，而內(nèi)部數(shù)據(jù)集中提供的點(diǎn)云速度為原始RRV。為了使兩個數(shù)據(jù)集的網(wǎng)絡(luò)信息輸入保持一致性，我們對內(nèi)部數(shù)據(jù)集的點(diǎn)云速度進(jìn)行了速度補(bǔ)償，并進(jìn)行了參考[46]。

速度信息是4D雷達(dá)點(diǎn)云所特有的點(diǎn)云信息，使用該信息設(shè)定合適的速度閾值可以很方便的區(qū)分點(diǎn)云中的靜態(tài)點(diǎn)和動態(tài)點(diǎn)，即速度信息的絕對值大于的點(diǎn)被當(dāng)作動態(tài)點(diǎn)，反之則為靜態(tài)點(diǎn)。對于每幀點(diǎn)云輸入到網(wǎng)絡(luò)的個點(diǎn)，我們優(yōu)先從靜態(tài)點(diǎn)中進(jìn)行采樣，若靜態(tài)點(diǎn)數(shù)量不夠，則從動態(tài)點(diǎn)中采樣足夠數(shù)量的點(diǎn)。

3)baseLine:與3D雷達(dá)點(diǎn)相比，4D雷達(dá)點(diǎn)的空間表示已從二維（）轉(zhuǎn)變?yōu)槿S（），類似于激光雷達(dá)點(diǎn)的空間表示。因此，將4D雷達(dá)點(diǎn)適應(yīng)現(xiàn)有的3D雷達(dá)里程計方法是一個挑戰(zhàn)。因此，我們選擇了基于3D空間點(diǎn)的里程計方法。我們的比較方法包括三類：基于經(jīng)典的里程計方法、基于激光雷達(dá)的方法和基于4D雷達(dá)的方法。在基于經(jīng)典的里程計方法中，我們比較了幾種經(jīng)典的基于ICP的里程計方法，包括ICP-point2point [28]（ICP-po2po）、ICP-point2plane [29]（ICP-po2pl）和GICP [31]，以及基于NDT [36]的里程計方法。對于基于激光雷達(dá)的方法，我們使用了A-LOAM和LO-Net [41]作為比較算法。A-LOAM是LOAM [34]的高級實(shí)現(xiàn)，目前是基于激光雷達(dá)點(diǎn)云的同時定位與地圖構(gòu)建的最佳方法。本研究中提出的算法相當(dāng)于SLAM系統(tǒng)的前端里程計組件。因此，我們將4D雷達(dá)點(diǎn)云適應(yīng)到A-LOAM框架中，沒有后端優(yōu)化，以獲得基于A-LOAM框架的4D雷達(dá)里程計結(jié)果，而沒有進(jìn)行地圖構(gòu)建。LO-Net是一種基于學(xué)習(xí)的激光雷達(dá)里程計方法，用于訓(xùn)練和測試集的劃分，以獲得基于LO-Net學(xué)習(xí)的4D雷達(dá)里程計結(jié)果。對于基于4D雷達(dá)的方法，我們使用了RaFlow [10]和CMFlow [11]作為比較算法。RaFlow通過自監(jiān)督估計4D雷達(dá)場景流，將里程計估計作為中間任務(wù)。我們使用默認(rèn)模型參數(shù)和我們的數(shù)據(jù)集分割來訓(xùn)練網(wǎng)絡(luò)。CMFlow通過跨模態(tài)監(jiān)督估計4D雷達(dá)場景流、里程計和運(yùn)動分割，使用GPS/INS來監(jiān)督里程計。我們比較了與CMFlow重疊的測試序列。

4)Metrics:利用相對姿態(tài)誤差（RPE）來量化估計姿態(tài)和地面真實(shí)姿態(tài)之間的差異，評估了該方法的性能。RPE通過測量估計姿態(tài)的姿態(tài)變化和地面真實(shí)姿態(tài)之間的差值來評估算法的精度，這同時考慮了旋轉(zhuǎn)和平移誤差。此外，在本研究中，我們對長度為20~160m的所有可能子序列使用了平均平移均方根誤差（RMSE）（m/m）和平均旋轉(zhuǎn)RMSE（?/m），步長為20 m，以進(jìn)行比較。

5)Training Details:由于我們的系統(tǒng)中采用了與VoD數(shù)據(jù)集中使用的不同的4D雷達(dá)設(shè)備，每個點(diǎn)云內(nèi)的點(diǎn)數(shù)存在相當(dāng)大的變化。在對VoD和內(nèi)部數(shù)據(jù)集上的網(wǎng)絡(luò)進(jìn)行訓(xùn)練和評估期間，網(wǎng)絡(luò)分別輸入了256和512個點(diǎn)，分別記為N。所有的訓(xùn)練和評估實(shí)驗(yàn)都是在單個NVIDIA 2080Ti GPU上使用Pytorch 1.7完成的。采用了SGD優(yōu)化器，動量(momentum)設(shè)為0.9，權(quán)重衰減(weight_decay)設(shè)為10-4。初始學(xué)習(xí)率為0.001，每10個epoch后衰減0.1。epoch總數(shù)為40，批量大小(batchsize)為8。所有層都使用Xavier分布進(jìn)行初始化。在公式(15)中，可訓(xùn)練參數(shù)和的初始值分別設(shè)為-2.5和0。在公式(16)中，。速度閾值用于區(qū)分動態(tài)點(diǎn)和靜態(tài)點(diǎn)，設(shè)為2。

5 試驗(yàn)結(jié)果

在本節(jié)中，我們介紹了四維雷達(dá)測程任務(wù)的網(wǎng)絡(luò)性能的定量和定性結(jié)果，并與那些最先進(jìn)的方法進(jìn)行了比較。本文報告了一項(xiàng)廣泛的消融研究的結(jié)果，以證明每個成分對結(jié)果的影響。

A.性能評估

表II 在VOD數(shù)據(jù)集上的四維雷達(dá)測程實(shí)驗(yàn)結(jié)果

VoD數(shù)據(jù)集上的結(jié)果：在表II中展示了對VoD數(shù)據(jù)集進(jìn)行定量評估的結(jié)果。盡管在密集點(diǎn)云（例如激光雷達(dá)）上表現(xiàn)令人滿意，但雷達(dá)數(shù)據(jù)的稀疏性和噪聲性使得現(xiàn)有最先進(jìn)的方法在雷達(dá)數(shù)據(jù)上難以提供相同的效果。實(shí)驗(yàn)結(jié)果表明，與其他方法相比，所提出的方法在幾乎所有指標(biāo)上都取得了最佳性能。這證實(shí)了我們針對4D雷達(dá)的架構(gòu)設(shè)計在處理稀疏、嘈雜和低分辨率雷達(dá)點(diǎn)云方面的有效性。A-LOAM在00和03序列上沒有完全運(yùn)行，因?yàn)?D雷達(dá)點(diǎn)太稀疏了。

圖11. 在VoD序列00、03、04、07和21上，所有可能的長度為20、40...160米的子序列上的平均平移和旋轉(zhuǎn)誤差。我們的方法表現(xiàn)最佳。

定性結(jié)果在圖10和圖11中展示。圖10展示了我們提出的方法、ICP-point2point、GICP、LO-Net、RaFlow和CMFlow在XY平面上的軌跡。很明顯，所提出的算法的軌跡明顯比其他方法更準(zhǔn)確，并且與真實(shí)軌跡大致一致。圖11展示了序列00、03、04、07和21的平均段誤差圖。顯然，在平均平移誤差和平均旋轉(zhuǎn)誤差方面，所提出的方法都明顯優(yōu)于所有其他方法。

表Ⅲ 在內(nèi)部數(shù)據(jù)集上的四維雷達(dá)測程實(shí)驗(yàn)結(jié)果

圖12. 提出的方法、未進(jìn)行地圖構(gòu)建的A-LOAM和LO-Net在序列00和01上的軌跡結(jié)果。(a)序列00的2D軌跡圖。(b)序列01的2D軌跡圖。

圖13. 在內(nèi)部序列00、03、04、07和21上，所有可能長度為20、40...160米的子序列上的平均平移和旋轉(zhuǎn)誤差。我們的方法表現(xiàn)最佳。

內(nèi)部數(shù)據(jù)集的結(jié)果：內(nèi)部數(shù)據(jù)集的定量結(jié)果在表III中呈現(xiàn)。在測試集的兩個序列中，我們的方法在相對平移誤差和相對旋轉(zhuǎn)誤差方面都優(yōu)于其他方法。結(jié)果表明，所提出的方法表現(xiàn)出對各種類型4D雷達(dá)設(shè)備的良好適應(yīng)性。

定性結(jié)果在圖12和圖13中展示。圖12顯示了所提方法、GICP、NDT、LO-Net和RaFlow在XY平面上的軌跡投影。如圖12所示，所提方法的軌跡比其他方法更接近真實(shí)軌跡。圖13展示了我們的方法、ICP-po2po、ICP-po2pl和LOAM(無地圖構(gòu)建)在所有測試序列上的平均平移和旋轉(zhuǎn)誤差，考慮了從20到160米、每20米為一步的所有可能的子序列。圖13明顯表明，我們的方法實(shí)現(xiàn)了最佳的定位性能。

B.消融試驗(yàn)

為了分析所提方法中每個模塊的有效性，在VoD數(shù)據(jù)集上進(jìn)行了消融研究，通過移除或更改模塊組件來完成。訓(xùn)練和測試條件與第四部分B5節(jié)中描述的相同。

表IV 消融試驗(yàn)結(jié)果

深度特征融合模塊的效果：我們使用了PointNet[13]的編碼組件來替換所提方法中的深度特征融合模塊。這意味著將4D雷達(dá)點(diǎn)云的空間、速度和雷達(dá)截面（RCS）信息編碼到同一特征空間中。表IV-a的結(jié)果顯示，所提出的深度特征融合模塊基于相對平移誤差和相對旋轉(zhuǎn)誤差獲得了更好的結(jié)果。這是因?yàn)?，與PointNet相比，深度特征融合模塊分別對點(diǎn)云的空間、速度和RCS信息進(jìn)行編碼，并在三個特征尺度上融合特征，這有效地避免了不同類型的點(diǎn)云信息的混合以及高強(qiáng)度點(diǎn)云信息對低強(qiáng)度點(diǎn)云信息的掩蓋。

成本體積中速度信息的優(yōu)勢：我們從成本體積中移除了速度信息，以驗(yàn)證速度信息對于點(diǎn)運(yùn)動估計的重要性。我們僅使用點(diǎn)云的空間信息作為成本體積的輸入，結(jié)果如表IV-b所示。與我們提出的速度感知注意力成本體積相比，僅以點(diǎn)云的空間信息為輸入的成本體積在相對平移誤差和相對旋轉(zhuǎn)誤差方面的表現(xiàn)都有所下降。在包含更多動態(tài)對象的場景中，如序列03和04，這種下降更為明顯。這是因?yàn)橐胨俣刃畔樽⒁饬α髑度胩峁┝俗⒁饬訖?quán)，從而允許更準(zhǔn)確地估計點(diǎn)運(yùn)動。因此，所提出的速度感知注意力成本體積獲得了最佳結(jié)果。

位姿優(yōu)化的效果：我們移除了校正位姿生成模塊和位姿優(yōu)化，這意味著位姿僅通過粗略估計過程來確定。結(jié)果在表IV-c中展示，其中相對平移誤差和相對旋轉(zhuǎn)誤差的性能都顯著降低，這證明了粗到細(xì)分層優(yōu)化在位姿回歸中的重要性。我們還在圖10中展示了進(jìn)行位姿優(yōu)化和不進(jìn)行位姿優(yōu)化的軌跡。從圖中可以看出，位姿優(yōu)化對旋轉(zhuǎn)估計有明顯的校正效果，使得估計的軌跡與真實(shí)軌跡更加吻合。

C.計算時間

4D雷達(dá)點(diǎn)云隨時間被單獨(dú)捕獲，處理數(shù)據(jù)所需的時間是智能車輛實(shí)時定位的關(guān)鍵參數(shù)。我們在VoD數(shù)據(jù)集的序列04上測試了所提出的方法和比較方法的總計算時間。如表V所示，由于在4D雷達(dá)點(diǎn)云中每幀只有大約256個點(diǎn)，因此基于經(jīng)典方法的測程法的運(yùn)行時間非常短。本文所述方法的總計算時間為10.82 ms，約為100 Hz。時間戳對齊后，VoD數(shù)據(jù)集中的4D雷達(dá)點(diǎn)云捕獲頻率為10 Hz，即每100 ms捕獲一個點(diǎn)云。該方法對每個點(diǎn)云的處理時間均小于100 ms，足以滿足實(shí)時性需求。因此，本研究中提出的方法可以在100 Hz的實(shí)時4D雷達(dá)測程。

表V 總計算時間

6 總結(jié)

在這項(xiàng)研究中，我們介紹了4DRO-Net，一種設(shè)計用于測速的4d雷達(dá)網(wǎng)絡(luò)。本文提出了一種針對四維雷達(dá)點(diǎn)云的特征提取網(wǎng)絡(luò)，以實(shí)現(xiàn)對四維雷達(dá)點(diǎn)云特征的有效學(xué)習(xí)。提出了一種新的速度感知注意代價體積網(wǎng)絡(luò)，以減少動態(tài)對象對姿態(tài)估計的影響。我們的方法實(shí)現(xiàn)了一個完全端到端高效的框架，其中一個基于滑動窗口的粗到精細(xì)的層次優(yōu)化，用于估計和細(xì)化姿態(tài)。在VoD和內(nèi)部數(shù)據(jù)集上的實(shí)驗(yàn)證明了該方法的有效性。

據(jù)我們所知，本研究是首次使用深度學(xué)習(xí)方法進(jìn)行四維雷達(dá)測程測量。我們希望這項(xiàng)研究將促進(jìn)使用4D雷達(dá)傳感器，以實(shí)現(xiàn)低成本和高度魯棒的測速系統(tǒng)。在未來的工作中，我們將探索使用無監(jiān)督學(xué)習(xí)和多傳感器融合來實(shí)現(xiàn)4D雷達(dá)測程法。

參考文獻(xiàn)