自動駕駛技術(shù)的發(fā)展對環(huán)境感知系統(tǒng)提出了更高的要求，雷達(dá)與視覺傳感器的融合因其性能互補性成為研究的熱點。本期推薦的綜述文章深入探討了基于深度學(xué)習(xí)的雷達(dá)-視覺（RV）融合技術(shù)在三維物體檢測中的應(yīng)用，重點分析了不同融合策略的特點和優(yōu)勢。文章特別對端到端融合方法進(jìn)行了詳盡分類，并結(jié)合最新的4D雷達(dá)技術(shù)，闡述了其在自動駕駛中的創(chuàng)新應(yīng)用及潛力。此外，作者對RV融合未來的發(fā)展方向進(jìn)行了展望，提出了關(guān)鍵技術(shù)的挑戰(zhàn)與機遇。希望此文為讀者提供系統(tǒng)的研究視角，推動自動駕駛技術(shù)的進(jìn)一步完善。

本文譯自：

《A Survey of Deep Learning based Radar and Vision Fusion for 3D Object Detection in Autonomous Driving》

文章來源：

Di Wu, Feng Yang, Benlian Xu, Pan Liao, Bo Liu. "A Comprehensive Survey on Radar-Visual Fusion in Autonomous Driving: Recent Advances and Future Directions." arXiv preprint arXiv:2406.00714, 2024.

作者：

Di Wu, Feng Yang, Benlian Xu, Pan Liao, Bo Liu

作者單位：

西北工業(yè)大學(xué)、蘇州科技大學(xué)、上海理工大學(xué)

原文鏈接：

https://doi.org/10.48550/arXiv.2406.00714

摘要：隨著自動駕駛技術(shù)的迅速發(fā)展，對車輛在運行期間的自動 環(huán)境感知的安全性和效率的要求日益增加。在現(xiàn)代車輛設(shè)置中，攝像頭和毫米波雷達(dá)（雷達(dá)）是最廣泛使用的傳感器，它們具有互補的特性，使得它們適合融合，并有助于實現(xiàn)強大的性能和成本效益。本文重點對基于深度學(xué)習(xí)方法的車載雷達(dá)-視覺（RV）融合在自動駕駛中的三維物體檢測進(jìn)行了全面綜述。我們對每種RV融合類別進(jìn)行了全面概述，特別是那些采用感興趣區(qū)域（ROI）融合和端到端融合策略的類別。作為目前最有前景的融合策略，我們對端到端融合方法進(jìn)行了更深入的分類，包括基于三維包圍框預(yù)測和基于鳥瞰圖（BEV）的方法。此外，結(jié)合最近的進(jìn)展，我們詳細(xì)描述了最新的4D雷達(dá)及其在自動駕駛汽車（AV）中的應(yīng)用。最后，我們展示了 RV 融合可能的未來趨勢，并對本文進(jìn)行了總結(jié)。

關(guān)鍵詞：傳感器融合，雷達(dá)，攝像頭，物體檢測，計算機視覺，攝像頭雷達(dá)融合，雷達(dá) - 視覺，自動駕駛，綜述，調(diào)查

Ⅰ 引言 

根據(jù)世界衛(wèi)生組織（WHO）的最新報告，每年約有119 萬人死于道路交通事故[1]。因此，開發(fā)可靠的自動駕駛系統(tǒng)以幫助駕駛員減少潛在事故并及時避開障礙物具有重要的實際意義。自動駕駛感知是指自動駕駛系統(tǒng)有效感知周圍環(huán)境的能力，使車輛能夠理解和應(yīng)對各種駕駛場景。這一關(guān)鍵技術(shù)對于自動駕駛至關(guān)重要，它使智能車輛能夠識別、理解和應(yīng)對周圍的道路和交通狀況，從而顯著提高車輛安全性和降低交通事故率。

智能汽車中的高級駕駛輔助系統(tǒng)（ADAS）通常配備多 個傳感器，包括攝像頭、雷達(dá)和激光雷達(dá)。攝像頭可以捕捉豐富的語義 信息，包括物體的邊界和紋理等視覺特征以及背景。然而，它們?nèi)菀资艿酵獠恳蛩氐挠绊懀缣鞖夂凸庹?，并且它們的探測范圍有限。雷達(dá)發(fā)射無線電波，并利用多普勒效應(yīng)精確 測量物體的距離和徑向速度，最大探測范圍可達(dá)250米[2]。此外，雷達(dá)具有“全天候”能力，無論天氣狀況或時間如何 都能無縫運行。與激光雷達(dá)相比，雷達(dá)點云是稀疏的，可以節(jié)省計算資源，但代價是增加了錯誤，包括誤報和漏報。作為一種傳感器，激光雷達(dá)的數(shù)據(jù)格式類似于雷達(dá)所獲得的格式，它具有更高的角度分辨率和更密集的數(shù)據(jù)，從而包含了雷達(dá)點云中不存在的語義信息，并實現(xiàn)了更高的檢測精度。然而，激光雷達(dá)并不是沒有缺點，包括生產(chǎn)和維護(hù)成本的增加、對環(huán)境干擾的敏感性以及可靠性的降低?？傊煌膫鞲衅骶哂歇毺氐膬?yōu)勢和劣勢，如表一所示，這自然會促使它們相互融合，以彌補彼此的局限性，從而實現(xiàn)更準(zhǔn)確和更穩(wěn)健的感知結(jié)果。

表一 相機、雷達(dá)和激光雷達(dá)的傳感器特性[2]-[4]

目前，盡管激光雷達(dá)的成本略有下降，但其在智能汽車中的應(yīng)用仍受到極端天氣、光照差等因素的制約條件以及來自類似頻率的干擾[5]。同時，由于攝像頭和雷達(dá)在低成本、可維護(hù)性和高可靠性方面的優(yōu)勢，它們在2級至3級自動駕駛汽車（由汽車工程師協(xié)會（SAE） 于2014年發(fā)布的J3016標(biāo)準(zhǔn)分類）的傳感器設(shè)置中占據(jù)主導(dǎo)地位，使得雷達(dá)-視覺（RV）融合感知成為主要的研究重點。最近，在下一代汽車?yán)走_(dá)方面取得了重大進(jìn)展，不僅提供距離、方位和徑向速度，還提供仰角數(shù)據(jù)，稱為4D雷達(dá)。4D雷達(dá)傾向于提供更密集的點云[7]，并補充精確的高度信息，使其數(shù)據(jù)類似于激光雷達(dá)，但具有額外的速度細(xì)節(jié)。這些特性有助于4D雷達(dá)在自動駕駛感 知中的應(yīng)用，有助于克服與傳統(tǒng)毫米波雷達(dá)相關(guān)的限制。

關(guān)于雷達(dá)視覺融合感知，已經(jīng)進(jìn)行了多項調(diào)查。王等人[8]涵蓋了雷達(dá)視覺數(shù)據(jù)融合的策略，但缺乏對基于深度學(xué)習(xí)的當(dāng)前最流行的融合技術(shù)的綜述。魏等人[2]對雷達(dá)視覺融合目標(biāo)檢測進(jìn)行了詳細(xì)的綜述，而唐等人[9] 不僅對目標(biāo)檢測進(jìn)行了綜述，還涵蓋了目標(biāo)跟蹤的相關(guān)內(nèi)容。然而，兩者都缺乏對最新三維目標(biāo)檢測的系統(tǒng)概述。辛格等人[10]專注于鳥瞰視圖（BEV）檢測，這是近年來三維目標(biāo)檢測中的一種先進(jìn)解決方案。然而，它包含了大量的二維目標(biāo)檢測方法，并且缺乏對三維目標(biāo)檢測最新進(jìn)展的綜合總結(jié)。在本文中，以自動駕駛感知為背景，我們對基于現(xiàn)代深度學(xué)習(xí)的雷達(dá)視覺融合三維目標(biāo)檢測技術(shù)進(jìn)行了更全面的綜述。主要貢獻(xiàn)可總結(jié)如下：

• 詳細(xì)討論了在自動駕駛場景中用于三維物體檢測的最新基于深度學(xué)習(xí)的 RV 融合方法。

• 與基于不同傳感器信息集成階段劃分的傳統(tǒng)融合策略不同，本文基于深度學(xué)習(xí)框架的特點將機器人視覺（RV）融合方法分為兩類：基于感興趣區(qū)域 （ROI）的和端到端的。

• 與最新的技術(shù)發(fā)展保持一致，本文整理了有關(guān) 4D 毫米波雷達(dá)在自動駕駛汽車中應(yīng)用的最新研究成果。

如圖 1 所示，本文其余部分的組織結(jié)構(gòu)如下。第二 部分介紹了目標(biāo)檢測的任務(wù)、RV 融合數(shù)據(jù)集及其他內(nèi)容。第三部分回顧了用于目標(biāo)檢測的 RV 融合方案，包括基于感興趣區(qū)域（ROI）的融合和端到端的融合。第四部分提供了 4D 雷達(dá)在自動駕駛汽車中的最新應(yīng)用。第五部分分析了自動駕駛汽車中 RV 融合的未來趨勢。第六部分總結(jié)了本文。

圖 1.本文的結(jié)構(gòu)