自動(dòng)駕駛技術(shù)的發(fā)展對(duì)環(huán)境感知系統(tǒng)提出了更高的要求，雷達(dá)與視覺傳感器的融合因其性能互補(bǔ)性成為研究的熱點(diǎn)。本期推薦的綜述文章深入探討了基于深度學(xué)習(xí)的雷達(dá)-視覺（RV）融合技術(shù)在三維物體檢測(cè)中的應(yīng)用，重點(diǎn)分析了不同融合策略的特點(diǎn)和優(yōu)勢(shì)。文章特別對(duì)端到端融合方法進(jìn)行了詳盡分類，并結(jié)合最新的4D雷達(dá)技術(shù)，闡述了其在自動(dòng)駕駛中的創(chuàng)新應(yīng)用及潛力。此外，作者對(duì)RV融合未來(lái)的發(fā)展方向進(jìn)行了展望，提出了關(guān)鍵技術(shù)的挑戰(zhàn)與機(jī)遇。希望此文為讀者提供系統(tǒng)的研究視角，推動(dòng)自動(dòng)駕駛技術(shù)的進(jìn)一步完善。

本文譯自：

《A Survey of Deep Learning based Radar and Vision Fusion for 3D Object Detection in Autonomous Driving》

文章來(lái)源：

Di Wu, Feng Yang, Benlian Xu, Pan Liao, Bo Liu. "A Comprehensive Survey on Radar-Visual Fusion in Autonomous Driving: Recent Advances and Future Directions." arXiv preprint arXiv:2406.00714, 2024.

作者：

Di Wu, Feng Yang, Benlian Xu, Pan Liao, Bo Liu

作者單位：

西北工業(yè)大學(xué)、蘇州科技大學(xué)、上海理工大學(xué)

原文鏈接：

https://doi.org/10.48550/arXiv.2406.00714

摘要：隨著自動(dòng)駕駛技術(shù)的迅速發(fā)展，對(duì)車輛在運(yùn)行期間的自動(dòng) 環(huán)境感知的安全性和效率的要求日益增加。在現(xiàn)代車輛設(shè)置中，攝像頭和毫米波雷達(dá)（雷達(dá)）是最廣泛使用的傳感器，它們具有互補(bǔ)的特性，使得它們適合融合，并有助于實(shí)現(xiàn)強(qiáng)大的性能和成本效益。本文重點(diǎn)對(duì)基于深度學(xué)習(xí)方法的車載雷達(dá)-視覺（RV）融合在自動(dòng)駕駛中的三維物體檢測(cè)進(jìn)行了全面綜述。我們對(duì)每種RV融合類別進(jìn)行了全面概述，特別是那些采用感興趣區(qū)域（ROI）融合和端到端融合策略的類別。作為目前最有前景的融合策略，我們對(duì)端到端融合方法進(jìn)行了更深入的分類，包括基于三維包圍框預(yù)測(cè)和基于鳥瞰圖（BEV）的方法。此外，結(jié)合最近的進(jìn)展，我們?cè)敿?xì)描述了最新的4D雷達(dá)及其在自動(dòng)駕駛汽車（AV）中的應(yīng)用。最后，我們展示了 RV 融合可能的未來(lái)趨勢(shì)，并對(duì)本文進(jìn)行了總結(jié)。

關(guān)鍵詞：傳感器融合，雷達(dá)，攝像頭，物體檢測(cè)，計(jì)算機(jī)視覺，攝像頭雷達(dá)融合，雷達(dá) - 視覺，自動(dòng)駕駛，綜述，調(diào)查

Ⅰ 引言 

根據(jù)世界衛(wèi)生組織（WHO）的最新報(bào)告，每年約有119 萬(wàn)人死于道路交通事故[1]。因此，開發(fā)可靠的自動(dòng)駕駛系統(tǒng)以幫助駕駛員減少潛在事故并及時(shí)避開障礙物具有重要的實(shí)際意義。自動(dòng)駕駛感知是指自動(dòng)駕駛系統(tǒng)有效感知周圍環(huán)境的能力，使車輛能夠理解和應(yīng)對(duì)各種駕駛場(chǎng)景。這一關(guān)鍵技術(shù)對(duì)于自動(dòng)駕駛至關(guān)重要，它使智能車輛能夠識(shí)別、理解和應(yīng)對(duì)周圍的道路和交通狀況，從而顯著提高車輛安全性和降低交通事故率。

智能汽車中的高級(jí)駕駛輔助系統(tǒng)（ADAS）通常配備多 個(gè)傳感器，包括攝像頭、雷達(dá)和激光雷達(dá)。攝像頭可以捕捉豐富的語(yǔ)義 信息，包括物體的邊界和紋理等視覺特征以及背景。然而，它們?nèi)菀资艿酵獠恳蛩氐挠绊?，如天氣和光照，并且它們的探測(cè)范圍有限。雷達(dá)發(fā)射無(wú)線電波，并利用多普勒效應(yīng)精確 測(cè)量物體的距離和徑向速度，最大探測(cè)范圍可達(dá)250米[2]。此外，雷達(dá)具有“全天候”能力，無(wú)論天氣狀況或時(shí)間如何 都能無(wú)縫運(yùn)行。與激光雷達(dá)相比，雷達(dá)點(diǎn)云是稀疏的，可以節(jié)省計(jì)算資源，但代價(jià)是增加了錯(cuò)誤，包括誤報(bào)和漏報(bào)。作為一種傳感器，激光雷達(dá)的數(shù)據(jù)格式類似于雷達(dá)所獲得的格式，它具有更高的角度分辨率和更密集的數(shù)據(jù)，從而包含了雷達(dá)點(diǎn)云中不存在的語(yǔ)義信息，并實(shí)現(xiàn)了更高的檢測(cè)精度。然而，激光雷達(dá)并不是沒有缺點(diǎn)，包括生產(chǎn)和維護(hù)成本的增加、對(duì)環(huán)境干擾的敏感性以及可靠性的降低?？傊?，不同的傳感器具有獨(dú)特的優(yōu)勢(shì)和劣勢(shì)，如表一所示，這自然會(huì)促使它們相互融合，以彌補(bǔ)彼此的局限性，從而實(shí)現(xiàn)更準(zhǔn)確和更穩(wěn)健的感知結(jié)果。

表一 相機(jī)、雷達(dá)和激光雷達(dá)的傳感器特性[2]-[4]

目前，盡管激光雷達(dá)的成本略有下降，但其在智能汽車中的應(yīng)用仍受到極端天氣、光照差等因素的制約條件以及來(lái)自類似頻率的干擾[5]。同時(shí)，由于攝像頭和雷達(dá)在低成本、可維護(hù)性和高可靠性方面的優(yōu)勢(shì)，它們?cè)?級(jí)至3級(jí)自動(dòng)駕駛汽車（由汽車工程師協(xié)會(huì)（SAE） 于2014年發(fā)布的J3016標(biāo)準(zhǔn)分類）的傳感器設(shè)置中占據(jù)主導(dǎo)地位，使得雷達(dá)-視覺（RV）融合感知成為主要的研究重點(diǎn)。最近，在下一代汽車?yán)走_(dá)方面取得了重大進(jìn)展，不僅提供距離、方位和徑向速度，還提供仰角數(shù)據(jù)，稱為4D雷達(dá)。4D雷達(dá)傾向于提供更密集的點(diǎn)云[7]，并補(bǔ)充精確的高度信息，使其數(shù)據(jù)類似于激光雷達(dá)，但具有額外的速度細(xì)節(jié)。這些特性有助于4D雷達(dá)在自動(dòng)駕駛感 知中的應(yīng)用，有助于克服與傳統(tǒng)毫米波雷達(dá)相關(guān)的限制。

關(guān)于雷達(dá)視覺融合感知，已經(jīng)進(jìn)行了多項(xiàng)調(diào)查。王等人[8]涵蓋了雷達(dá)視覺數(shù)據(jù)融合的策略，但缺乏對(duì)基于深度學(xué)習(xí)的當(dāng)前最流行的融合技術(shù)的綜述。魏等人[2]對(duì)雷達(dá)視覺融合目標(biāo)檢測(cè)進(jìn)行了詳細(xì)的綜述，而唐等人[9] 不僅對(duì)目標(biāo)檢測(cè)進(jìn)行了綜述，還涵蓋了目標(biāo)跟蹤的相關(guān)內(nèi)容。然而，兩者都缺乏對(duì)最新三維目標(biāo)檢測(cè)的系統(tǒng)概述。辛格等人[10]專注于鳥瞰視圖（BEV）檢測(cè)，這是近年來(lái)三維目標(biāo)檢測(cè)中的一種先進(jìn)解決方案。然而，它包含了大量的二維目標(biāo)檢測(cè)方法，并且缺乏對(duì)三維目標(biāo)檢測(cè)最新進(jìn)展的綜合總結(jié)。在本文中，以自動(dòng)駕駛感知為背景，我們對(duì)基于現(xiàn)代深度學(xué)習(xí)的雷達(dá)視覺融合三維目標(biāo)檢測(cè)技術(shù)進(jìn)行了更全面的綜述。主要貢獻(xiàn)可總結(jié)如下：

• 詳細(xì)討論了在自動(dòng)駕駛場(chǎng)景中用于三維物體檢測(cè)的最新基于深度學(xué)習(xí)的 RV 融合方法。

• 與基于不同傳感器信息集成階段劃分的傳統(tǒng)融合策略不同，本文基于深度學(xué)習(xí)框架的特點(diǎn)將機(jī)器人視覺（RV）融合方法分為兩類：基于感興趣區(qū)域 （ROI）的和端到端的。

• 與最新的技術(shù)發(fā)展保持一致，本文整理了有關(guān) 4D 毫米波雷達(dá)在自動(dòng)駕駛汽車中應(yīng)用的最新研究成果。

如圖 1 所示，本文其余部分的組織結(jié)構(gòu)如下。第二 部分介紹了目標(biāo)檢測(cè)的任務(wù)、RV 融合數(shù)據(jù)集及其他內(nèi)容。第三部分回顧了用于目標(biāo)檢測(cè)的 RV 融合方案，包括基于感興趣區(qū)域（ROI）的融合和端到端的融合。第四部分提供了 4D 雷達(dá)在自動(dòng)駕駛汽車中的最新應(yīng)用。第五部分分析了自動(dòng)駕駛汽車中 RV 融合的未來(lái)趨勢(shì)。第六部分總結(jié)了本文。

圖 1.本文的結(jié)構(gòu)