arXiv上2022年4月上傳的論文“Exploiting Temporal Relations on Radar Perception for Autonomous Driving“，基本是Brandeis大學(xué)的學(xué)生在MERL的實(shí)習(xí)生工作。

該文考慮雷達(dá)傳感器在自動(dòng)駕駛中的目標(biāo)識(shí)別問題。與激光雷達(dá)傳感器相比，雷達(dá)在全天候條件下對(duì)自動(dòng)駕駛的感知具成本高效和具備魯棒性。然而，雷達(dá)信號(hào)在識(shí)別周圍目標(biāo)時(shí)，角分辨率和精度較低。為了提高車載雷達(dá)的能力，這項(xiàng)工作在連續(xù)自車為中心的BEV雷達(dá)圖像幀中充分利用時(shí)間信息進(jìn)行雷達(dá)目標(biāo)識(shí)別。作者利用目標(biāo)存在和屬性（大小、方向等）的一致性，提出一個(gè)時(shí)域關(guān)系層（temporal relational layer）對(duì)連續(xù)雷達(dá)圖像中目標(biāo)之間的關(guān)系明確地建模。在目標(biāo)檢測(cè)和多目標(biāo)跟蹤方面，該方法與其他幾種基準(zhǔn)方法相比具有優(yōu)越性。

車載雷達(dá)主要使用FMCW檢測(cè)目標(biāo)，并在多個(gè)物理域上生成點(diǎn)云。其原理如圖所示：

雷達(dá)通過M個(gè)發(fā)射天線之一發(fā)射一組FMCW脈沖信號(hào)即

具有徑向速度vt和遠(yuǎn)場(chǎng)空間角（即方位角、仰角或同時(shí)存在）距離在R0范圍內(nèi)的一個(gè)目標(biāo)，在N個(gè)接收器射頻鏈（包括低噪聲放大器LNA、本地振蕩器LO和模數(shù)轉(zhuǎn)換器ADC）的每一個(gè)，所接收到的FMCW信號(hào)做振幅衰減和相位調(diào)制。

基帶信號(hào)處理模塊（包括距離、多普勒和空域的快速傅里葉變換FFT）捕獲來自目標(biāo)的調(diào)制信號(hào)，生成一個(gè)多維譜。頻譜與自適應(yīng)閾值進(jìn)行比較，即恒定虛警率（CFAR）檢測(cè)，可以在距離、多普勒、方位和仰角域生成雷達(dá)點(diǎn)云。

如圖是所提出的具有時(shí)序性雷達(dá)目標(biāo)識(shí)別框架：從左到右，該方法取兩個(gè)連續(xù)的雷達(dá)幀，并從每一幀提取時(shí)域特征；然后，選擇可能是潛在目標(biāo)的特征，并學(xué)習(xí)它們之間的時(shí)域一致性。最后，對(duì)更新后的訓(xùn)練特征進(jìn)行一些回歸分析。

通過主干神經(jīng)網(wǎng)絡(luò)，輸入兩幀得到特征表示

為了在特征表示中聯(lián)合使用高級(jí)語義和低級(jí)細(xì)化細(xì)節(jié)，神經(jīng)網(wǎng)絡(luò)中不同尺度特征之間建立跳連接。具體地說，對(duì)于一個(gè)跳連接，在一個(gè)深層上采樣池化特征，通過雙線性插值將其大小與以前的淺層特征對(duì)齊。一系列操作，包括卷積、非線性激活和批量標(biāo)準(zhǔn)化（BN），隨后應(yīng)用于該上采樣特征。接下來，沿通道維度將上采樣特征與淺層特征連接。三個(gè)跳連接被插入到網(wǎng)絡(luò)中，推動(dòng)特征在四個(gè)不同層接納語義。

如圖是在主干網(wǎng)插入的幾個(gè)跳連接，收集不同尺度特征進(jìn)行預(yù)測(cè)。所選擇用于時(shí)域關(guān)系建模的特征附上位置編碼，揭示目標(biāo)的位置。

設(shè)計(jì)一個(gè)時(shí)域關(guān)系層模擬連續(xù)幀中潛在目標(biāo)之間的相關(guān)性和一致性。該時(shí)域關(guān)系層從兩個(gè)幀接收多個(gè)特征向量，每個(gè)向量表示雷達(dá)圖像中的潛在目標(biāo)。

應(yīng)用一個(gè)濾波模塊，挑選出前K個(gè)潛在目標(biāo)特征，其中Zc中的潛在目標(biāo)坐標(biāo)為：

類似地，可以得到Zp中的潛在目標(biāo)坐標(biāo)Pp。這樣所選特征組成的矩陣為

時(shí)域關(guān)系層的輸入即記作

在Hc+p傳遞到時(shí)域關(guān)系層之前，在特征向量中補(bǔ)上位置編碼。由于CNN具有平移不變性，卷積神經(jīng)網(wǎng)絡(luò)在輸出特征表示中不包含絕對(duì)位置信息。然而，位置在目標(biāo)時(shí)域關(guān)系中是至關(guān)重要的，因?yàn)樵趦蓚€(gè)連續(xù)幀中處于特定空域距離的目標(biāo)更有可能關(guān)聯(lián)，并且共享相似目標(biāo)的屬性。同一目標(biāo)之間的空域距離取決于幀率和車輛運(yùn)動(dòng)，可以通過數(shù)據(jù)驅(qū)動(dòng)的方法進(jìn)行學(xué)習(xí)。

時(shí)域關(guān)系層的輸出特征為：采用Transformer結(jié)構(gòu)

掩碼矩陣定義為：

自注意機(jī)制背后的邏輯是，由于一個(gè)目標(biāo)可以移出范圍，所以在連續(xù)幀中不能始終保證同一目標(biāo)同時(shí)出現(xiàn)，因此，當(dāng)一個(gè)目標(biāo)只在一幀中丟失時(shí)，自注意是可取的。值得注意的是，位置編碼只附加給key和query，而不是value，因此輸出特性不涉及位置。其他技術(shù)細(xì)節(jié)遵循Transformer的設(shè)計(jì)，這里省略了詳細(xì)描述。

關(guān)系建模是由多個(gè)具有相同設(shè)計(jì)的時(shí)域關(guān)系層構(gòu)成的。最后，將更新后的特征Hc和Hp從Hc+p中分離出來，并在Pc和Pp的相應(yīng)空間坐標(biāo)中將特征向量重新填充到Zc和Zp。

在模型訓(xùn)練時(shí)，從熱圖中選取目標(biāo)的中心坐標(biāo)，并通過回歸從特征表示中學(xué)習(xí)其屬性（即寬度、長(zhǎng)度、方向和中心坐標(biāo)偏移）。

將2D徑向基函數(shù)（RBF）核置于每個(gè)真值目標(biāo)的中心，生成真值熱圖，而RBF核的參數(shù)σ與目標(biāo)的寬度和長(zhǎng)度成比例?？紤]到雷達(dá)圖像中目標(biāo)的稀疏性，用focal loss來平衡真值中心和背景的回歸，并驅(qū)動(dòng)預(yù)測(cè)的熱圖來近似真值熱圖，即

注：在模型推理中，在熱圖上設(shè)置一個(gè)閾值，以區(qū)分目標(biāo)中心和背景。應(yīng)用NMS，可避免過多邊框出現(xiàn)。

目標(biāo)寬度和長(zhǎng)度的回歸損失項(xiàng)為：

其中L1平滑損失為

目標(biāo)姿態(tài)的回歸損失為

主干網(wǎng)絡(luò)中下采樣會(huì)造成目標(biāo)中心坐標(biāo)偏離。這里記作

其回歸損失為

這樣總損失為

每個(gè)訓(xùn)練步驟，都會(huì)計(jì)算損失L，并同時(shí)對(duì)當(dāng)前幀和前一幀進(jìn)行反向運(yùn)算。在當(dāng)前幀中的目標(biāo)，接收過去的信息以進(jìn)行識(shí)別。另一方面，從前一個(gè)幀角度來看，目標(biāo)會(huì)利用來自未來最近幀的時(shí)間信息。因此，可以將優(yōu)化視為對(duì)兩個(gè)連續(xù)幀的雙向后向-前向訓(xùn)練。目前，沒有將當(dāng)前的框架擴(kuò)展到多個(gè)幀，因?yàn)橐粋€(gè)中間幀沒有時(shí)域特征提取所需要的輸入圖像適當(dāng)序貫次序（既不是從過去到未來，也不是從未來到過去），并且會(huì)降低訓(xùn)練效率。

對(duì)于多目標(biāo)跟蹤，在中心特征向量添加一個(gè)回歸頭，預(yù)測(cè)當(dāng)前幀和前一幀具有相同跟蹤ID的目標(biāo)中心之間的2-D運(yùn)動(dòng)偏移。簡(jiǎn)單地，用歐氏距離來實(shí)現(xiàn)跟蹤解碼中的關(guān)聯(lián)。

如下是MOT的解碼算法偽代碼：

數(shù)據(jù)集Radiate，包括了在惡劣天氣（包括太陽、夜晚、雨、霧和雪）下錄制的視頻序列。駕駛場(chǎng)景從高速公路到市區(qū)，各不相同。數(shù)據(jù)格式為從點(diǎn)云生成的雷達(dá)圖像，其中像素值表示雷達(dá)信號(hào)反射的強(qiáng)度。Radiate采用機(jī)械掃描方式的Navtech CTS350-X雷達(dá)，提供360度4赫茲高分辨率距離-方位（range-azimuth）圖像。目前，雷達(dá)無法提供多普勒或速度信息。整個(gè)數(shù)據(jù)集共有61個(gè)序列，劃分為三部分：好天氣下訓(xùn)練（31個(gè)序列，22383幀，僅在好天氣，晴天或陰天），好天氣和壞天氣（12個(gè)序列，9749幀，好天氣和壞天氣）條件下訓(xùn)練以及測(cè)試（18個(gè)序列，11305幀，各種天氣條件）。分別在前兩個(gè)訓(xùn)練集上訓(xùn)練模型，并在測(cè)試集上進(jìn)行評(píng)估。

實(shí)驗(yàn)結(jié)果如下：