Ⅱ 背景

A. 任務(wù)

目標(biāo)檢測(cè)是計(jì)算機(jī)視覺(jué)中的一個(gè)核心挑戰(zhàn)，涉及在圖像中定位預(yù)定義類別的目標(biāo)，回歸其邊界框，確定其類別，并且在自動(dòng)駕駛的背景下，估計(jì)其速度以提高駕駛安全性。目標(biāo)檢測(cè)可以統(tǒng)一為以下范例[11]

其中，是場(chǎng)景中 個(gè)對(duì)象的集合，是一個(gè)對(duì)象檢測(cè)模型，是一個(gè)或多個(gè)傳感輸入。當(dāng)前的道路上物體檢測(cè)任務(wù)可以分為兩種型：二維物體檢測(cè)和三維物體檢測(cè)。這兩種任務(wù)的物體表示 是不同的，這決定了后續(xù)預(yù)測(cè)和規(guī)劃步驟可用的信息。在大多數(shù)情況下，二維物體和三維物體的表示分別為輸入圖像中的矩形包圍框和三維坐標(biāo)系中的長(zhǎng)方體，分別記為和，表示為

圖 2. 二維和三維物體檢測(cè)結(jié)果。左：二維物體檢測(cè)[13]。右：三維物體檢測(cè)[14]

其中，、和、分別是矩形包圍框的二維中心 坐標(biāo)和形狀參數(shù)，、、 和 、、分別是立方體的三維中心坐標(biāo)和形狀參數(shù)，是立方體的 航向角，class 表示物體的類別。在某些特定場(chǎng)景中，特別是在道路物體檢測(cè)中，物體的沿地面平面的速度分量、也被視為補(bǔ)充參數(shù)。

B. 數(shù)據(jù)集

該數(shù)據(jù)集是深度學(xué)習(xí)基于對(duì)象檢測(cè)的研究基礎(chǔ)。表二總結(jié)了一些廣泛使用的公共數(shù)據(jù)集，這些數(shù)據(jù)集包括攝像頭和雷達(dá)設(shè)置，用于自動(dòng)駕駛場(chǎng)景。此外，它還包括了最新的數(shù)據(jù)集，這些數(shù)據(jù)集包含了4D雷達(dá)點(diǎn)云。表 中的“雷達(dá)”指的是傳統(tǒng)的毫米波雷達(dá)，與包括高度信息的“4D雷達(dá)”不同。nuScenes[12]數(shù)據(jù)集是nuTonomy 建立的用于自動(dòng)駕駛的最常用且傳感器豐富的數(shù)據(jù)集之 一。用于收集該數(shù)據(jù)集的車輛配備了六個(gè)環(huán)繞攝像頭、 五個(gè)環(huán)繞雷達(dá)和一個(gè)覆蓋360度視野的激光雷達(dá)。它為道路場(chǎng)景中的23類3D邊界框提供了注釋。除了nuScenes 數(shù)據(jù)集外，所有其他數(shù)據(jù)集的攝像頭都只能向前看。RadarScene[17]數(shù)據(jù)集有大量標(biāo)注的幀，但缺乏激光雷達(dá)數(shù)據(jù)。Astyx[7]數(shù)據(jù)集是第一個(gè)使用新一代4D雷達(dá)的數(shù)據(jù)集。不幸的是，它只有數(shù)量有限的標(biāo)注幀，并且其 類別分布不均衡，這使得它不適合大多數(shù)基于數(shù)據(jù)驅(qū)動(dòng)的深度學(xué)習(xí)目標(biāo)檢測(cè)研究。VoD [18] 數(shù)據(jù)集和 TJ4DRadSet [19] 數(shù)據(jù)集是兩個(gè)新穎的自動(dòng)駕駛數(shù)據(jù)集，其特點(diǎn)是復(fù)雜的城市道路場(chǎng)景，包含眾多同步和校準(zhǔn)的攝像頭、激光雷達(dá)和 4D 雷達(dá)數(shù)據(jù)的幀。K-Radar [41] 是最新的大規(guī)模目標(biāo)檢測(cè)數(shù)據(jù)集，包含 35K 幀的 4D 雷達(dá)張量數(shù)據(jù)。然而，仍然缺乏類似于 nuScenes 的多模態(tài)數(shù)據(jù)集，為每種類型的傳感器覆蓋 360°的環(huán)繞視圖，這對(duì)于基于 RV 融合的環(huán)繞感知研究至關(guān)重要。此外，由于數(shù)據(jù)驅(qū)動(dòng)的大型模型技術(shù)的發(fā)展，大規(guī)模且場(chǎng)景豐富的 數(shù)據(jù)集仍然有需求。

C. 其他

評(píng)估指標(biāo)和輸入數(shù)據(jù)格式在[10]中進(jìn)行了詳細(xì)的討論，本文不再贅述。值得注意的是，在[10]的第三部分 B 節(jié)中，給出了雷達(dá)點(diǎn)云的一般形式， 其中傳統(tǒng)毫米波雷達(dá)提供的高度信息不準(zhǔn)確，但4D雷達(dá)可以提供精確的值。

Ⅲ 基于雷達(dá)視覺(jué)融合的三維物體檢測(cè)

融合來(lái)自不同傳感器的數(shù)據(jù)可以充分利用它們各自感知優(yōu)勢(shì)，從而在物體檢測(cè)方面比依賴單一類型的傳感器具有更強(qiáng)的性能。本節(jié)全面概述了基于深度學(xué)習(xí)的3D 物體檢測(cè)方法，以及用于自動(dòng)駕駛汽車的RV融合框架。 融合方法包括兩種類型：感興趣區(qū)域（ROI）和端到端融合。從可靠性的角度來(lái)看，在某種類型的傳感器出現(xiàn)故障時(shí)，基于ROI的融合策略可以完全依賴于其他類型傳感器的提議來(lái)檢測(cè)物體。然而，在大多數(shù)情況下，端到端融合策略可以更全面地整合來(lái)自兩種傳感器數(shù)據(jù)的特征。

A. 基于投資回報(bào)率的融合

基于 ROI 的融合最初使用一種類型傳感器的輸入信息來(lái)生成初步的感興趣區(qū)域（ROI）。隨后，從另一種傳感器的數(shù)據(jù)或融合的多模態(tài)數(shù)據(jù)中進(jìn)一步提取與這些 ROI 相對(duì)應(yīng)的特征，以進(jìn)行分類和細(xì)化。由于 3D 到 2D 變換的簡(jiǎn)單性，它只需要一個(gè)變換矩陣，無(wú)需額外的信 息，大多數(shù)基于 ROI 的融合都采用從雷達(dá)點(diǎn)云中提取 ROI 的工作流程，然后將它們投影到圖像上進(jìn)行特征提取。這種方法，如[26]-[29]中引用的工作所示，被稱為雷達(dá)生成的 ROI，如圖 3(a)所示。另一種策略是先檢測(cè)圖像上的對(duì)象，然后基于邊界框裁剪圖像塊，最后使用雷達(dá)點(diǎn)補(bǔ)充速度和其他信息，如[30]、[31]中所做的，稱為視覺(jué)生成的 ROI，如圖 3(b)所示。