車(chē)輛和行人檢測(cè)技術(shù)是高級(jí)駕駛輔助系統(tǒng)（ADAS）和自動(dòng)駕駛的最重要組成部分。毫米波雷達(dá)與攝像機(jī)的融合是提高環(huán)境感知性能的重要趨勢(shì)。本文提出了一種基于毫米波雷達(dá)和攝像機(jī)的車(chē)輛和行人檢測(cè)方法。此外，該方法基于雷達(dá)數(shù)據(jù)和滑動(dòng)窗口算法生成的動(dòng)態(tài)區(qū)域，完成了對(duì)車(chē)輛和行人的檢測(cè)。首先，借助坐標(biāo)變換將雷達(dá)目標(biāo)信息映射到圖像；然后通過(guò)分析場(chǎng)景，獲得滑動(dòng)窗口；再通過(guò)粗略檢測(cè)通過(guò)HOG特征和SVM分類(lèi)器檢測(cè)滑動(dòng)窗口；然后使用匹配功能確認(rèn)目標(biāo)；最終在精確檢測(cè)中檢測(cè)窗口并合并檢測(cè)窗口。目標(biāo)檢測(cè)過(guò)程分為以下三個(gè)步驟：第一步是讀取雷達(dá)信號(hào)并同時(shí)捕獲攝像機(jī)數(shù)據(jù)，第二步是對(duì)數(shù)據(jù)進(jìn)行構(gòu)架和融合，第三步是檢測(cè)目標(biāo)并顯示結(jié)果。通過(guò)實(shí)驗(yàn)證明，本文提出的融合算法能夠更好地檢測(cè)車(chē)輛和行人，為后續(xù)的目標(biāo)跟蹤研究提供依據(jù)。

簡(jiǎn) 介

在交通事故中，很大一部分事故是由追尾事故引起的，其中91％的追尾事故由駕駛員分心所致。因此，車(chē)輛和行人檢測(cè)技術(shù)是高級(jí)駕駛輔助系統(tǒng)（ADAS）的重要組成部分，它可以用于準(zhǔn)確識(shí)別前方的車(chē)輛和行人，在發(fā)生碰撞危險(xiǎn)之前及時(shí)提醒駕駛員，避免交通事故的發(fā)生。

在車(chē)輛和行人檢測(cè)中，使用單個(gè)傳感器經(jīng)常面臨誤檢和漏檢率高的問(wèn)題。然而，對(duì)雷達(dá)和攝像機(jī)進(jìn)行信息采集，實(shí)現(xiàn)數(shù)據(jù)融合，可以提高車(chē)輛和行人檢測(cè)的速度和準(zhǔn)確性。

在基于毫米波雷達(dá)和攝像機(jī)的車(chē)輛檢測(cè)融合中，Shigeki Sugimoto等人完成了從雷達(dá)到攝像機(jī)坐標(biāo)的轉(zhuǎn)換，并在圖像上標(biāo)注了信息，但未做進(jìn)一步的工作。Giancarlo Alessandretti等人，Trung-Dung Vu等人和li-sheng jin等人，JIN Lisheng 完成了融合算法并對(duì)車(chē)輛進(jìn)行了測(cè)試，但對(duì)于雷達(dá)生成的區(qū)域沒(méi)有進(jìn)一步的研究。在基于毫米波雷達(dá)和攝像機(jī)融合的行人檢測(cè)中，由于早期毫米波雷達(dá)檢測(cè)行人的能力有限，因此很少進(jìn)行研究。目前毫米波雷達(dá)可以滿足行人檢測(cè)的要求，并且可以與攝像機(jī)集成在一起進(jìn)行行人檢測(cè)。

為了彌補(bǔ)單傳感器檢測(cè)的不足，并詳細(xì)研究雷達(dá)與攝像機(jī)融合檢測(cè)，提出了一種雷達(dá)與攝像機(jī)融合的新方法。該算法使用雷達(dá)目標(biāo)信息來(lái)確定由雷達(dá)數(shù)據(jù)在圖像中生成的動(dòng)態(tài)區(qū)域。然后通過(guò)分析場(chǎng)景來(lái)獲得動(dòng)態(tài)的滑動(dòng)窗口。接下來(lái)，可以在粗略檢測(cè)中通過(guò)HOG功能和SVM分類(lèi)器測(cè)試滑動(dòng)窗口。然后使用匹配功能確認(rèn)目標(biāo)。最終在精確檢測(cè)中檢測(cè)窗口并合并檢測(cè)窗口。

坐標(biāo)融合

坐標(biāo)轉(zhuǎn)換

雷達(dá)和攝像頭是處于不同坐標(biāo)系中的傳感器。因此，為了實(shí)現(xiàn)傳感器的空間融合，需要統(tǒng)一兩個(gè)傳感器的坐標(biāo)。因此，有必要在雷達(dá)坐標(biāo)系和圖像像素坐標(biāo)系之間建立過(guò)渡關(guān)系。

圖1顯示了毫米波雷達(dá)坐標(biāo)系 OrRrθr ，相機(jī)坐標(biāo)系 Oc-XcYcZc 和3D世界坐標(biāo)系 Ow-XwYwZw 的相對(duì)位置。在本文中，我們?cè)O(shè)定世界坐標(biāo)系與相機(jī)坐標(biāo)系重合。

如圖所示，毫米波雷達(dá)和攝像機(jī)的安裝位置是固定的。因此，平面 OrRrθr 垂直于平面XcOc Zc 。因此，相機(jī)坐標(biāo)系 P(Xc，Yc，Zc) 和雷達(dá)系統(tǒng) P(Rr，θr) 的轉(zhuǎn)換關(guān)系如下所示：



其中Lx，Ly，Lz是相機(jī)坐標(biāo)系和雷達(dá)坐標(biāo)系在三個(gè)方向上的距離。


圖1. 三個(gè)坐標(biāo)系的相對(duì)位置

從攝像機(jī)坐標(biāo)系 P(Xc，Yc，Zc) 到圖像像素坐標(biāo)系 (u，v) 的轉(zhuǎn)換公式為：




在上式中，dx 和 dy 表示圖像像素坐標(biāo)系中X軸和Y軸上每個(gè)像素的物理長(zhǎng)度，像素坐標(biāo)（u0，v0）是光軸 Zc 與光軸 Zc 的交點(diǎn)。圖像平面，f是相機(jī)的焦距。

雷達(dá)坐標(biāo)系與圖像像素坐標(biāo)系之間的轉(zhuǎn)換關(guān)系可以通過(guò)公式（1）和公式（2）得到：


在上式中：


其中，M1是攝像機(jī)的內(nèi)部參數(shù)矩陣，M2是從世界坐標(biāo)系到攝像機(jī)坐標(biāo)系的變換矩陣，M3是從雷達(dá)坐標(biāo)系到世界坐標(biāo)系的變換矩陣。

雷達(dá)數(shù)據(jù)生成的區(qū)域

雷達(dá)生成的區(qū)域用于與攝像機(jī)檢測(cè)到的目標(biāo)進(jìn)行匹配。由于在雷達(dá)目標(biāo)中，漏檢率遠(yuǎn)低于虛警率，并且攝像機(jī)檢測(cè)在目標(biāo)檢測(cè)方面具有更高的準(zhǔn)確性，因此雷達(dá)生成區(qū)域內(nèi)的攝像機(jī)目標(biāo)檢測(cè)在數(shù)據(jù)融合之后具有更好的可信度。

雷達(dá)信號(hào)預(yù)處理

如圖2所示，原始距離、速度和角度的圖表可以通過(guò)繪制雷達(dá)輸出目標(biāo)距離隨時(shí)間的原始數(shù)據(jù)來(lái)獲得。同時(shí)，可以將雷達(dá)目標(biāo)信號(hào)轉(zhuǎn)換為圖像并獲得轉(zhuǎn)換后的原始數(shù)據(jù)圖。雷達(dá)目標(biāo)信息可以連續(xù)輸出目標(biāo)的軌跡。同時(shí)，所有障礙物都將被輸出，包括路邊的護(hù)欄，電線桿，樹(shù)木等。此外，還將輸出一些虛假目標(biāo)。



a. 雷達(dá)輸出的原始距離數(shù)據(jù)。
圖2 雷達(dá)輸出的原始數(shù)據(jù)。


b. 雷達(dá)輸出的原始速度數(shù)據(jù)。



c. 雷達(dá)輸出的原始角度數(shù)據(jù)。
圖2（續(xù)）. 雷達(dá)輸出的原始數(shù)據(jù)。

可以通過(guò)過(guò)濾和跟蹤雷達(dá)數(shù)據(jù)來(lái)過(guò)濾掉錯(cuò)誤目標(biāo)。對(duì)于其他障礙，我們可以使用圖像檢測(cè)的方法進(jìn)行判斷。在對(duì)雷達(dá)數(shù)據(jù)進(jìn)行跟蹤濾波之后，可以獲得目標(biāo)信息的圖形。圖3顯示了濾波后雷達(dá)的輸出數(shù)據(jù)（包括范圍、速度和角度）。將一個(gè)雷達(dá)周期的雷達(dá)信號(hào)轉(zhuǎn)換為圖像，將得到圖4的融合圖，圖中的白色區(qū)域?yàn)樽儞Q后的區(qū)域。


a. 濾波后雷達(dá)輸出的距離數(shù)據(jù)。


b. 濾波后用于雷達(dá)輸出的速度數(shù)據(jù)。


c. 濾波后雷達(dá)輸出的角度數(shù)據(jù)。
圖3. 濾波后雷達(dá)輸出的數(shù)據(jù)。


圖4. 雷達(dá)與攝像機(jī)的融合圖。

計(jì)算雷達(dá)數(shù)據(jù)生成的區(qū)域

雷達(dá)生成的區(qū)域的計(jì)算包括位置和區(qū)域大小。本文提出了一種通過(guò)認(rèn)證來(lái)確定區(qū)域并考慮多種因素的新方法。

通過(guò)上一部分中的坐標(biāo)變換將預(yù)處理雷達(dá)目標(biāo)(Rr，θr) 映射到圖像。然后可以在圖像中獲得相應(yīng)的點(diǎn)O1。從理論上講，該點(diǎn)位于圖像中目標(biāo)輪廓的中心，因此該點(diǎn)將用作雷達(dá)在車(chē)輛檢測(cè)中生成的區(qū)域的中心。

考慮到實(shí)際安裝，攝像機(jī)的水平角與車(chē)輛的側(cè)傾角一致。將雷達(dá)在世界坐標(biāo)系中生成的區(qū)域確定為矩形區(qū)域，以雷達(dá)目標(biāo)為中心，并且該矩形區(qū)域垂直于垂直軸。

根據(jù)GB 159-2016，車(chē)輛輪廓的界限在寬Wm為2.55 m，在高Hm為4 m。此大小可以滿足大多數(shù)汽車(chē)，卡車(chē)或其他車(chē)輛的檢測(cè)要求。

因此選擇測(cè)試區(qū)域時(shí)應(yīng)考慮雷達(dá)的角分辨率α，雷達(dá)測(cè)距分辨率L，雷達(dá)與世界坐標(biāo)系之間的距離以及角度測(cè)量誤差。

所選的測(cè)試區(qū)域如下：


其中βx，βy 表示相機(jī)坐標(biāo)系和雷達(dá)系統(tǒng)之間 YcZc 和 ZcXc 平面中順時(shí)針旋轉(zhuǎn)角度的測(cè)量誤差。 Px, Py, Pz 是3個(gè)方向上的測(cè)量誤差。[X1 Y1 Z1]，[Xr Yr Zr] 分別是相機(jī)坐標(biāo)系中感興趣區(qū)域的左下角坐標(biāo)和右下角坐標(biāo)。當(dāng)考慮到由于雷達(dá)產(chǎn)生的區(qū)域中的左上角和中心之間的距離最遠(yuǎn)而導(dǎo)致的測(cè)量誤差時(shí)，M4 是矩陣。當(dāng)考慮到由于雷達(dá)產(chǎn)生的區(qū)域中的右上角和中心之間的最遠(yuǎn)距離而引起的測(cè)量誤差時(shí)，M5 是矩陣。

根據(jù)公式（2），雷達(dá)坐標(biāo)系與圖像像素坐標(biāo)系之間的轉(zhuǎn)換關(guān)系為：



其中 [ul νl]，[ur νr] 是雷達(dá)在圖像像素坐標(biāo)系中生成的區(qū)域中的左上角和右下角的坐標(biāo)。

獲取由雷達(dá)數(shù)據(jù)生成的用于行人檢測(cè)的動(dòng)態(tài)區(qū)域的方法與確定由雷達(dá)生成的用于車(chē)輛檢測(cè)的區(qū)域的方法相同。寬 Wp 中行人輪廓的上限大小為0.5m，高度 Hp 為2m。以相同的方式，通過(guò)坐標(biāo)變換，可以在圖像像素坐標(biāo)系中得到行人檢測(cè)雷達(dá)產(chǎn)生的區(qū)域。


本文譯自：《A New Method of Target Detection based on Autonomous Radar and Camera Data Fusion》
會(huì)議名稱：Intelligent and Connected Vehicles Symposium
作者：Xin Bi, Bin Tan, etc.