RadSegNet: A Reliable Approach to Radar Camera Fusion (2022 年 8月)出發(fā)點(diǎn)： 用語義分割結(jié)果渲染點(diǎn)云圖，對(duì)毫米波點(diǎn)云引入圖像語義信息用于3D檢測。

1. 模型架構(gòu)：這里融合的方式并不復(fù)雜，類比與pointpainting的方式，將雷達(dá)點(diǎn)云賦予語義信息(圖像經(jīng)過pretrained maskrcnn的分割后的全景分割圖像)，生成semantic map用于渲染投影到FOV后對(duì)應(yīng)的毫米波點(diǎn)云，然后分別與對(duì)應(yīng)的點(diǎn)云的特征和BEV occupy map進(jìn)行疊加，到此完成特征的對(duì)齊和不同特征向量的疊加。后利用UNet網(wǎng)絡(luò)提取多尺度特征，分別送入分類和回歸檢測頭。這篇文論的精彩之處我認(rèn)為在于SPG representation的前面：

2. 模型細(xì)節(jié)：

(1) 點(diǎn)云渲染

通過對(duì)比，可以看出在語義通道中，毫米波通過語義分割渲染后的點(diǎn)云帶有圖像本身的語義信息，能夠直觀反映了其能夠彌補(bǔ)毫米波缺少類別特征的劣勢。(2) 檢測頭

• 最后兩個(gè)檢測頭分別預(yù)測NC128128也就是N個(gè)anchor的類別，而另一個(gè)輸出為7N128128，7為每個(gè)anchor的屬性，包括x, y, z, w, h, l, theta這7個(gè)屬性。

(3) 天氣模擬作者使用圖像增強(qiáng)庫模擬增加極端天氣：大霧、大雪等天氣，可以控制雪花大小、下降速度等參數(shù)模擬真實(shí)環(huán)境。(4)模型輸入：

• 分為BEV occupy grid, RadarPoint Feature, Semantic Maps，共計(jì)22 dims，在輸入模型前全部通過concate完成grid-level的特征對(duì)齊。

• 作者將點(diǎn)云格式化為grid-based feature map，如果多個(gè)點(diǎn)投影到同一grid，那么就計(jì)算平均值，同時(shí)y設(shè)置為7個(gè)channel代表不同的高度，彌補(bǔ)毫米波雷達(dá)不含有高度信息的缺點(diǎn)，n表示點(diǎn)云投影到grid的個(gè)數(shù)。數(shù)據(jù)由I(u,v)為0\1布爾值代表是否為空，d,r代表Doppler和Intensity。

1. 分析總結(jié)

作者在Astyx dataset數(shù)據(jù)集完成訓(xùn)練任務(wù)，在RADIATE進(jìn)行測試。RADIATE相比訓(xùn)練的數(shù)據(jù)集，極端環(huán)境的占比更多，對(duì)模型的魯棒性要求更高。(1)在Astyx數(shù)據(jù)集對(duì)比中：baseline選取Perspective-view-based方法當(dāng)時(shí)的SOTA-Centerfusion進(jìn)行比較，為了保持公平，將預(yù)訓(xùn)練的centernet微調(diào)到新數(shù)據(jù)集中，實(shí)驗(yàn)結(jié)果也證明微調(diào)后的網(wǎng)絡(luò)比from-scratch的centernet網(wǎng)絡(luò)表現(xiàn)更好，作者基于此對(duì)centernet進(jìn)行了微調(diào)并用于centerfusion。centerfusion性能下降很多，但是作者沒有給出足夠的細(xì)節(jié)，我能推測出來的：RadSegNet在BEV下3D檢測的結(jié)果與Centerfusion的FOV檢測結(jié)果相比較。(2)作者使用segmentation后的結(jié)果渲染point，所以融合的效果嚴(yán)重依賴于分割的效果，在極端天氣下的分割效果如下圖所示，點(diǎn)云的語義特征會(huì)嚴(yán)重退化；

(3) lidar vs radar

作者將pointcloud換成lidar進(jìn)行了對(duì)比試驗(yàn)，可以看出，在近處激光雷達(dá)的效果要優(yōu)于毫米波，在遠(yuǎn)處發(fā)生了目標(biāo)的遮擋并且lidar點(diǎn)云的密度急劇下降，作者計(jì)算了不同的感知距離上限下性能的變化，可以看出radar在遠(yuǎn)距離檢測的優(yōu)越性。毫米波作為長波，相比激光雷達(dá)，在穿透性和感知距離上都要更優(yōu)，但是同時(shí)也導(dǎo)致了毫米波雷達(dá)的多路徑干擾等問題。(4) 相比nuscenes，作者使用的這兩個(gè)采集自真實(shí)場景的數(shù)據(jù)集由于其極端環(huán)境的占比較高，因此對(duì)于算法的魯棒性要求更高，在nuscenes數(shù)據(jù)集上，點(diǎn)云過于稀疏同時(shí)極端的環(huán)境占比并不高，在許多

二、Depth Estimation

2.1 毫米波雷達(dá)輔助視覺進(jìn)行深度估計(jì)

• 題目：Depth Estimation From Monocular Images and Sparse Radar Using Deep Ordinal Regression Network （ICIP，2021，九月）

作者出發(fā)點(diǎn)： 隨著lidar-based的深度估計(jì)方法用于3D目標(biāo)檢測(BEVDepth)，radar-based方法也通過改進(jìn)，根據(jù)radar特性設(shè)計(jì)了一些深度估計(jì)的方法。作者結(jié)合DORN網(wǎng)絡(luò)并進(jìn)行改進(jìn)，引入radar分支用于深度檢測。在閱讀之前，Depth Estimation from Monocular Images and Sparse Radar Data，

• 源代碼：https://github.com/lochenchou/DORN radar

1. 網(wǎng)絡(luò)架構(gòu)：由圖可以看出，兩個(gè)模態(tài)在FOV分別通過resnet提取feature后（要注意，此時(shí)的radar并不是raw data，而是通過濾波后的深度值，可參考模型細(xì)節(jié)(2)），分別通過DORN深度估計(jì)網(wǎng)絡(luò)和普通的卷積進(jìn)行編碼，隨后concate并上采樣到輸入圖像大小，最后通過序數(shù)回歸對(duì)深度進(jìn)行估計(jì)，其中藍(lán)色部分與DORN保持一致，只是將深度估計(jì)問題變成分類問題(ordinal regression)。整體結(jié)構(gòu)并不復(fù)雜，重要的是作者如何將radar用于深度估計(jì)的流程。

2. 主要?jiǎng)?chuàng)新點(diǎn)：一個(gè)是將點(diǎn)云擴(kuò)展高度變成line，提高毫米波點(diǎn)云的"感受野"，增強(qiáng)深度估計(jì)效果。一個(gè)是將多模態(tài)引入單模態(tài)深度估計(jì)DORN網(wǎng)絡(luò)。

3. 模型細(xì)節(jié)

   (1) 作者將毫米波雷達(dá)的困難定義為：稀疏、噪聲比大、無高度信息(影響的高度范圍有限)，通過預(yù)處理，生成一個(gè)height-extended multi-frame denoised radar。

   (2) 雷達(dá)預(yù)處理流程如下：1. 高度擴(kuò)展，類似于crfnet，將點(diǎn)云擴(kuò)展0.25~2m的范圍內(nèi)，變成一條直線；2. 濾波：將不符合深度閾值的毫米波點(diǎn)云濾除，閾值定義如下，濾波過程和生成radar-depth特征的過程可參考Depth Estimation from Monocular Images and Sparse Radar Data

4. 總結(jié)

• 評(píng)價(jià)指標(biāo)：

  第一個(gè)評(píng)價(jià)值代表深度估計(jì)值和真實(shí)值的最大差異

  RMSE是平均深度差值

  ABSREL是相對(duì)的平均深度差值

由兩個(gè)圖可知，在經(jīng)過濾波、高度擴(kuò)展后，各方面性能都有一定提升，包括平均深度誤差等參數(shù)。

• 關(guān)于高度高擴(kuò)展和濾波對(duì)結(jié)果的影響：threshhold為濾波閾值，"-"表示不進(jìn)行濾波