以上結(jié)果是IoU=0.3的情況下，三類樣本的PR曲線。

以上作者只與baseline進(jìn)行了對比，其他的工作只是列舉了他們的實驗細(xì)節(jié)，也可以從這一節(jié)看出，在非毫米波點(diǎn)云數(shù)據(jù)的工作中(當(dāng)然點(diǎn)云數(shù)據(jù)集也仍然沒有高度公認(rèn)的)，還沒有大部分工作都認(rèn)同的數(shù)據(jù)集，我猜測：一是不同毫米波傳感器之間的屬性差別大難以統(tǒng)一、二是毫米波的論文開源工作較少，目前我找到的大部分工作都是只有論文，細(xì)節(jié)描述不清，因此難以復(fù)現(xiàn)出原本的性能。三是開源的大型數(shù)據(jù)集較少。希望未來大家能夠?qū)⒆约旱墓ぷ鏖_源，至少說明足夠復(fù)現(xiàn)的細(xì)節(jié)。

總結(jié)

GCN和Voxel兩類網(wǎng)絡(luò)對比：在復(fù)雜度方面，graph-based的計算復(fù)雜度與點(diǎn)云數(shù)量呈線性相關(guān)性，而grid-based方法檢測性能不僅受到grid大小，大量的voxel等于0值造成計算資源浪費(fèi)，并且也受到檢測距離的關(guān)系而需要在檢測精度和效率之間做trade-off。在中心特征計算方面，radar pointcloud的點(diǎn)云過于稀疏，許多前景目標(biāo)僅投影個位數(shù)的點(diǎn)云，通過voxel等方法會造成過度降采樣和中心特征丟失。當(dāng)前各類榜單上grid-based方法能夠有效避免point數(shù)量過大導(dǎo)致的復(fù)雜度過高的問題而成為主流超越point-wise的方法，但是由于radar的稀疏性(Nuscenes中radar和lidar大概是50:1的關(guān)系)，采用point-wise的方法并不會導(dǎo)致很大的延遲。Radar檢測優(yōu)劣：優(yōu)勢：另一方面，radar由于其長波優(yōu)勢，探測的距離也較大，對于高速公路這類檢測目標(biāo)單一且方向等屬性較為單一的場景下，radar有著較大的優(yōu)勢。劣勢：由于兩個工作并不是同一數(shù)據(jù)集，所以兩者無法橫向?qū)Ρ?，能夠得到的幾點(diǎn)是：毫米波所包含的信息是能夠獨(dú)立地進(jìn)行3D檢測，但是僅對于車輛(卡車、汽車、建造車輛等)大型反射性良好的目標(biāo)進(jìn)行檢測，而對于弱反射的交通目標(biāo)則檢測效果較差。兩種數(shù)據(jù)對比：基于radar點(diǎn)云的檢測都是需要預(yù)定義每個需要檢測的類的bouding box大小，毫米波在辨別物體時有一定的優(yōu)勢，但是在物體的regression任務(wù)上缺乏可參考的尺寸特征(僅有RCS)，在回歸任務(wù)上需要預(yù)設(shè)大小。相比之下，在RD原始數(shù)據(jù)中顯示地帶有了目標(biāo)的橫截面積反射強(qiáng)度等信息(Doppler)，工作2**(暫定沒有預(yù)設(shè)尺寸)**可以在沒有預(yù)設(shè)尺寸情況下較好回歸目標(biāo)屬性。但是，在高度屬性等地面垂直方向?qū)傩灶A(yù)測上，雷達(dá)這種平面數(shù)據(jù)無法有效預(yù)測。

1.2 Reference to Lidar

這類工作主要對Lidar based方法進(jìn)行改進(jìn)，用于Radar。

1.2.1  Point-wise 的檢測方法

2D Car Detection in Radar Data with PointNets (2019 IEEE Intelligent Transportation Systems Cnference)出發(fā)點(diǎn)： 在point-level借鑒frustum-pointnet和pointnet進(jìn)行3D目標(biāo)檢測。

作者基于Frustum-Pointnet和Pointnet進(jìn)行了改進(jìn)，提出一種point-wise的3D目標(biāo)檢測網(wǎng)絡(luò)。整個模塊分為三個部分：

1. 第一部分基于現(xiàn)有的radar points生成2D的Patch Proposals，相當(dāng)于Frustum-Pointnet中的Frustum，用于聚合局部特征，現(xiàn)定某個patch內(nèi)部的point點(diǎn)數(shù)為n，相當(dāng)于對每個patch內(nèi)部的點(diǎn)做一系列的操作，Patch Proposal的輸入為n x 4(2D spatial data, ego motion compensated Doppler velocity and RCS information.)。

2. 第二部分將proposal內(nèi)部的點(diǎn)云提取局部和全局特征，經(jīng)過對clutter和radar-target的點(diǎn)云過濾，輸出mx4的篩選后的radar targets向量(與原始數(shù)據(jù)一致)。

3. 最后一部分，將篩選出來的點(diǎn)經(jīng)過傳統(tǒng)的T-NET和Box-Estimation輸出最后的各項屬性。下面是更詳細(xì)的結(jié)構(gòu)圖：

1.3 多模態(tài)融合

1.3.1 point-wise fusion和object-wise fusion(feature-level & decision level)集合用于多模態(tài)檢測

Bridging the View Disparity of Radar and Camera Features for Multi-modal Fusion 3D Object Detection (2021 8月  arxiv 清華)出發(fā)點(diǎn)： 在BEV空間，在point level和object level兩個層面實現(xiàn)圖像特征和點(diǎn)云特征的融合。

• 提出RCBEV，該模型主要解決在3D檢測中，毫米波和相機(jī)數(shù)據(jù)的異構(gòu)融合檢測問題，提出了一種Point-fusion和ROI fusion兩種融合并存互補(bǔ)的想法。

1. 模型架構(gòu)：

圖像分支：通過LSS的方法將圖像特征轉(zhuǎn)換到BEV空間，并通過ConvLSTM融合多幀的毫米波grid-based特征作為時序radar特征，與圖像BEV特征進(jìn)行point-wise的concate后，通過BEV特征編碼器完成模態(tài)融合并基于此進(jìn)行heatmap生成。radar分支：通過對radar特征圖的heatmap生成并與圖像的heatmap進(jìn)行融合，送入最終檢測頭預(yù)測。融合分支：采用point-wise fusion和object-wise fusion兩種融合兼顧的方式。

1. 模型細(xì)節(jié)：

(1) point-fusion和ROI fusion兩種融合并存互補(bǔ)的想法；(2) two-stage-fusion方法：兩個模態(tài)分支各自完成heatmap生成后，再次進(jìn)行融合，在特征細(xì)粒度和全局信息融合上都有考慮到，融合結(jié)構(gòu)如下所示：在融合之前，不用保持分辨率的一致，在point-wise融合時兩個不同分辨率的模態(tài)要分別經(jīng)過上下采樣統(tǒng)一后融合。(3)  在radar上使用conv-lstm這類方法進(jìn)行時序雷達(dá)信息融合，作者以此解決點(diǎn)云的部分噪聲問題：雜波和數(shù)據(jù)稀疏，但是沒有通過消融實驗證明lstm結(jié)構(gòu)的合理性。

(4) 雷達(dá)數(shù)據(jù)處理：temporal-spatial feature encoder

• 每一幀的雷達(dá)點(diǎn)云都經(jīng)過轉(zhuǎn)換到current frame，輸入的raw radar包含：x, y, vr, RCS；空間特征提?。菏褂贸Ｓ玫膙oxelnet或者pointpillars；

• 時序特征：ConvLSTM，對空間特征特征圖提取時序特征到Temporal Encoder中，具體結(jié)構(gòu)可參考如下結(jié)構(gòu)，將卷積和lstm結(jié)合起來，使得模型同時具有提取空間和時序特征的能力，這個在天氣預(yù)測有一些應(yīng)用；

(5) 圖像特征提?。篖SS

和BEVDet的方法一致，提取feature-map后，經(jīng)過一系列的轉(zhuǎn)換（lift）將特征轉(zhuǎn)換為基于視錐分布的深度特征圖，后通過pooling的方式（splat)特征到BEV空間。

1. 評價總結(jié)

作者在BEV空間中以top-down的形式檢測，沒有引入先驗的目標(biāo)尺寸信息，而是通過中心點(diǎn)回歸其他信息。

• baseline：相比未引入時序信息的BEVDet，在整體性能提高的基礎(chǔ)上，在mAVE上尤其明顯，毫米波雷達(dá)的引入，時序特征的提取對網(wǎng)絡(luò)的速度性能提升非常大，相比BEVFORMER和BEVDET4D預(yù)測速度，通過融合毫米波雷達(dá)能夠在避免多幀圖像的計算復(fù)雜度增加的同時，提高速度的預(yù)測能力。但是通過conv-lstm的方法完成雷達(dá)時序特征的提取相對其他方法并沒有體現(xiàn)出其優(yōu)勢，這個可以對比目前的camera+radar主流方法的mAVE來看。

• 模態(tài)消融實驗：相比晴天，雨天毫米波雷達(dá)帶來的提升更大，也能證明這種融合方式的魯棒性。在光照對比上，白天帶來的提升更加明顯，總體上，本篇工作確實在多個極端天氣下達(dá)到了良好的性能。