自動(dòng)駕駛中雷達(dá)與相機(jī)融合的目標(biāo)檢測(cè)工作多模態(tài)目標(biāo)檢測(cè)：

• 在之前，我已經(jīng)有介紹過毫米波雷達(dá)在2D視覺任務(wù)上的一些經(jīng)典網(wǎng)絡(luò)：總結(jié)概括而言，其本質(zhì)上都是對(duì)視覺任務(wù)的一種提升和輔助，主要的工作在于如何較好地在FOV視角中融合兩種模態(tài)，其中不乏有concate\add\product兩個(gè)模態(tài)的特征，或者使用radar對(duì)視覺局部特征增強(qiáng)，其中比較知名的工作CRFNet經(jīng)常用來作為baseline，其并沒有對(duì)毫米波這個(gè)模態(tài)做特殊的處理，僅是作為視覺特征的補(bǔ)充融入到傳統(tǒng)的2D檢測(cè)pipeline中，但是其消融實(shí)驗(yàn)提出了許多值的考慮的優(yōu)化方向：包括噪聲濾除、BlackIn這兩個(gè)，一個(gè)代表了對(duì)于毫米波這類有較多噪聲的數(shù)據(jù)進(jìn)行“理想化”的噪聲過濾，結(jié)果提升了接近10個(gè)點(diǎn)。二是通過BlackIn對(duì)于弱模態(tài)-毫米波點(diǎn)云加大學(xué)習(xí)權(quán)重(通過對(duì)訓(xùn)練時(shí)圖像的缺失)來提高網(wǎng)絡(luò)對(duì)于高噪聲弱模態(tài)的擬合能力也能提點(diǎn)。

• 在近些年，2D檢測(cè)任務(wù)在自動(dòng)駕駛的熱度遞減，取而代之的是3D任務(wù)，畢竟現(xiàn)在的實(shí)際場(chǎng)景一直多是基于3D場(chǎng)景。但是在3D檢測(cè)或者分割等任務(wù)中，雷達(dá)賦予了一個(gè)不一樣的角色，在之前FOV視角中，毫米波點(diǎn)云大多為了與FOV特征融合，都是通過投影這一種方法，而放到3D場(chǎng)景中，分為兩個(gè)流派：一個(gè)是點(diǎn)云流派：由于lidar和radar具有天然的相似性(當(dāng)然是處理后的點(diǎn)云)，自然就有l(wèi)idar的相關(guān)角色賦予毫米波雷達(dá)，相應(yīng)的，毫米波的角色從FOV到了BEV，它的下游任務(wù)，也從輔助為主到BEV下的分割、深度估計(jì)、生成密集點(diǎn)云等。另一個(gè)Range-Doppler流派：投入到毫米波雷達(dá)原始數(shù)據(jù)中去探求毫米波特有的處理方式，并且取得了不錯(cuò)的成果。

• 這也是我這篇文章的重點(diǎn)，文章的主要工作放在毫米波角色的轉(zhuǎn)換中，從3D檢測(cè)、深度估計(jì)、GAN(非重點(diǎn))，分割(非重點(diǎn))幾個(gè)方面列舉我看到的一些工作并做簡單介紹和總結(jié)，同時(shí)對(duì)毫米波算法的發(fā)展提出自己的一些拙見，毫米波雷達(dá)相關(guān)領(lǐng)域深邃奧妙，僅通過幾篇文章認(rèn)識(shí)它無疑是管中窺豹，由于個(gè)人能力有限，所以后面還會(huì)繼續(xù)以各個(gè)子章節(jié)細(xì)化，組成系列文章。

介紹的工作都比較冷門，很少有源碼開放，因此對(duì)一些細(xì)節(jié)分析可能并不到位，歡迎大家在評(píng)論區(qū)討論，提出自己的寶貴意見，指正我的一些偏見。

一、3D Detection

1.1 GCN：圖卷積用于毫米波目標(biāo)檢測(cè)

1.1.1 GCN用于毫米波點(diǎn)云

• Radar-PointGNN: Graph based Object Recognition for Unstructured Radar Point-cloud Data(**2021 IEEE Radar Conference)**之前我發(fā)過一篇文章：用于毫米波雷達(dá)的GNN—https://zhuanlan.zhihu.com/p/549641548

1.1.2 GCN用于原始毫米波信號(hào)

• Graph Convolutional Networks for 3D Object Detection on Radar Data (2021 ICCVW)建議在閱讀這篇工作前，先閱讀一篇關(guān)于雷達(dá)數(shù)據(jù)處理的文章以了解RD和RadarPointCloud的區(qū)別：毫米波雷達(dá)：信號(hào)處理—https://zhuanlan.zhihu.com/p/524371087

1. Abstract：作者借鑒GCN，提出基于毫米波原始數(shù)據(jù)Range-beam-Doppler tensor進(jìn)行3D目標(biāo)檢測(cè)GRT-Net，相比作者自設(shè)定的baseline(grid-based-convolutional baseline也就是voxel這類方法)提升約10%，同時(shí)作者在真實(shí)環(huán)境下自采的數(shù)據(jù)集合來驗(yàn)證模型效果。此外，將檢測(cè)距離增加至100m，大幅度提升檢測(cè)范圍。

2. 網(wǎng)絡(luò)結(jié)構(gòu)：

這項(xiàng)工作的輸入數(shù)據(jù)，并不是常見的雷達(dá)點(diǎn)云形式，這類點(diǎn)云是經(jīng)過CFAR等算法處理后的結(jié)果，這類算法處理后的結(jié)果會(huì)導(dǎo)致原始信息丟失的問題(部分工作將CFAR更換為DL模型后能夠有效降低點(diǎn)云噪聲)，近期的一些工作例如CRUW數(shù)據(jù)集，提供點(diǎn)云的上層數(shù)據(jù)-Range-Doppler數(shù)據(jù)，這類數(shù)據(jù)能夠以較小損失的條件下保留較多的原始信息，但是，相對(duì)點(diǎn)云原始數(shù)據(jù)無法直接將數(shù)據(jù)用于檢測(cè)等現(xiàn)有任務(wù)并且數(shù)據(jù)的直觀性和結(jié)構(gòu)化降低。在GCN中，RD不能夠直接用于構(gòu)建Graph，作者將其處理為range-beam-doppler坐標(biāo)系下的voxel用于構(gòu)建節(jié)點(diǎn)，edge則采用兩種方案：根據(jù)節(jié)點(diǎn)的距離確定和固定權(quán)重。

1. 重要部分：

(1) 極坐標(biāo)系和笛卡爾坐標(biāo)系

這里簡單聊一下毫米波數(shù)據(jù)的轉(zhuǎn)換過程，如上圖所示，從左到右經(jīng)過三次FFT變換，從原始的傳感器采集到的MNK維度的IF信號(hào)到最后的RD數(shù)據(jù)，就是我們所需要的原始雷達(dá)數(shù)據(jù)，對(duì)RD數(shù)據(jù)進(jìn)一步處理，得到點(diǎn)云數(shù)據(jù)信息，我們需要的是上圖中最后一個(gè)數(shù)據(jù)的形式。(2) 圖的構(gòu)建

• 邊的定義

首先，Radar-Doppler-Tensor作為輸入數(shù)據(jù)(HWC)，然后將輸入切分成range-beam為單位的cell作為基本單元，每個(gè)cell(256 channels doppler)作為node feature，這樣就完成了節(jié)點(diǎn)的原始特征定義。對(duì)于edge的定義如下(圖的邊則連接相鄰range或者相鄰angle的節(jié)點(diǎn)，邊的權(quán)重與歐式空間中節(jié)點(diǎn)距離成反比(實(shí)驗(yàn)證明這個(gè)權(quán)重的設(shè)置并不重要)：

• 點(diǎn)的定義

GCN包括兩層的圖卷積(Aggregate Spatial Information, ReLU)，此時(shí)向量變?yōu)閏hannel=3的Tensor，然后經(jīng)過雙線形插值將數(shù)據(jù)轉(zhuǎn)換為笛卡爾坐標(biāo)系方便目標(biāo)檢測(cè)，后送入到FPN中融合多尺度的Range-Doppler數(shù)據(jù)，最后通過two-stage方法，將RoI-Proposal的向量提取并通過兩個(gè)FC進(jìn)行類別和屬性的判別并通過NMS進(jìn)行處理。以下是原始的Radar beam Tensor和經(jīng)過轉(zhuǎn)換到笛卡爾坐標(biāo)系后的Tensor。

• 節(jié)點(diǎn)更新：和GCN保持一致

1. 實(shí)驗(yàn)：

如下，作者采集自真實(shí)場(chǎng)景的數(shù)據(jù)集各項(xiàng)參數(shù)：可以看出，部分遮擋的目標(biāo)占有大半部分，目標(biāo)大都分布在33.7m左右

如下，數(shù)據(jù)集中對(duì)于目標(biāo)檢測(cè)難度的定義：從距離和遮擋程度兩者考慮

baseline（GRT-Net）：作者僅是為了證明voxel-based方法和graph-based方法的優(yōu)劣性，將上述的兩層圖卷積網(wǎng)絡(luò)替換為普通的2D卷積，激活函數(shù)等其他網(wǎng)絡(luò)設(shè)置相同，具體結(jié)果如下所示：