車輛和行人檢測(cè)技術(shù)是高級(jí)駕駛輔助系統(tǒng)（ADAS）和自動(dòng)駕駛的最重要組成部分。毫米波雷達(dá)與攝像機(jī)的融合是提高環(huán)境感知性能的重要趨勢(shì)。本文提出了一種基于毫米波雷達(dá)和攝像機(jī)的車輛和行人檢測(cè)方法。此外，該方法基于雷達(dá)數(shù)據(jù)和滑動(dòng)窗口算法生成的動(dòng)態(tài)區(qū)域，完成了對(duì)車輛和行人的檢測(cè)。首先，借助坐標(biāo)變換將雷達(dá)目標(biāo)信息映射到圖像；然后通過(guò)分析場(chǎng)景，獲得滑動(dòng)窗口；再通過(guò)粗略檢測(cè)通過(guò)HOG特征和SVM分類器檢測(cè)滑動(dòng)窗口；然后使用匹配功能確認(rèn)目標(biāo)；最終在精確檢測(cè)中檢測(cè)窗口并合并檢測(cè)窗口。目標(biāo)檢測(cè)過(guò)程分為以下三個(gè)步驟：第一步是讀取雷達(dá)信號(hào)并同時(shí)捕獲攝像機(jī)數(shù)據(jù)，第二步是對(duì)數(shù)據(jù)進(jìn)行構(gòu)架和融合，第三步是檢測(cè)目標(biāo)并顯示結(jié)果。通過(guò)實(shí)驗(yàn)證明，本文提出的融合算法能夠有效地檢測(cè)車輛和行人，為后續(xù)的目標(biāo)跟蹤研究提供依據(jù)。

1  基于視覺(jué)的車輛和行人檢測(cè)

在車輛和行人檢測(cè)中，基于機(jī)器學(xué)習(xí)的算法是最常用的方法?；跈C(jī)器學(xué)習(xí)的車輛和行人檢測(cè)算法的核心技術(shù)是特征提取和分類。特征提取方法包括類Haar特征、LBP特征、edgelet特征、SIFT特征、HOG特征等。分類算法包括決策樹(shù)、神經(jīng)網(wǎng)絡(luò)、貝葉斯分類、支持向量機(jī)（SVM）、k最近鄰分類算法等。在選擇檢測(cè)算法時(shí)，梯度方向直方圖（HOG）特征可以很好地表達(dá)圖像的邊緣，滿足行人和車輛檢測(cè)的要求。同時(shí)，支持向量機(jī)（SVM）算法也是一種很好的分類算法，可以通過(guò)訓(xùn)練超平面對(duì)數(shù)據(jù)進(jìn)行分類。因此，我們采用了基于HOG特征和SVM分類器的車輛和行人檢測(cè)算法。在車輛和行人檢測(cè)方面，本文重點(diǎn)介紹了在獲得車輛和行人雷達(dá)產(chǎn)生的區(qū)域后，如何使用雷達(dá)生成的區(qū)域來(lái)檢測(cè)車輛和行人。

特征提取

梯度方向直方圖（HOG）特征通過(guò)計(jì)算圖像局部區(qū)域的梯度信息來(lái)表示對(duì)象的邊緣特征。它在局部幾何形狀和光學(xué)變化方面具有良好的不變性。車輛和行人的信息主要是邊緣部分的梯度信息，因此已被廣泛應(yīng)用于行人和車輛的檢測(cè)中。

為了提取HOG特征，本文使用了Dali等人提出的方法。

1.將圖像轉(zhuǎn)換為灰度，如圖5和圖6所示。

2.使用gamma校正方法對(duì)輸入圖像的色彩空間進(jìn)行標(biāo)準(zhǔn)化，調(diào)整圖像對(duì)比度，減少局部陰影和照明變化的影響。gamma壓縮公式：

推薦的gamma = 0.5。

3.計(jì)算每個(gè)像素的梯度和方向，獲取圖像輪廓信息。圖像中像素（x，y）的梯度為：

在公式中，Gx(x, y），Gy(x, y)，H(x, y) 分別表示輸入圖像中像素(x, y) 的水平漸變、垂直漸變和像素值。像素(x, y) 的梯度幅度和梯度方向?yàn)椋?br />

4.將圖像分成小塊，稱為單元。

5.獲取每個(gè)單元格的直方圖統(tǒng)計(jì)信息，形成每個(gè)單元格的描述符。

6.每個(gè)塊由幾個(gè)單元組成，包括所有單元特征描述符。

7.圖像的所有HOG特征描述符構(gòu)成圖像的特征向量。

在車輛檢測(cè)方面，滑動(dòng)窗口被縮放為64 x 64像素，每個(gè)小塊包括8 x 8像素。在梯度方向上，它分為九個(gè)塊，一個(gè)塊包含2 x 2個(gè)相鄰單元。相鄰的塊重疊，步長(zhǎng)與小塊一樣大。最后，將變換后的HOG字符描述為長(zhǎng)度為1764的向量，車輛灰度及其HOG特征圖如下所示：

a. 灰階 b. HOG特征圖
圖5. 車輛的灰度及其HOG特征圖

在行人檢測(cè)方面，滑動(dòng)窗口被縮放為128 x 64像素。其他設(shè)置類似于車輛設(shè)置。最后，HOG字符被描述為長(zhǎng)度為3780的向量。行人的灰度及其HOG特征圖如下所示：


a. 灰階 b. HOG特征圖
圖6. 行人的灰度及其HOG特征圖。

訓(xùn)練支持向量機(jī)

在支持向量機(jī)（SVM）的訓(xùn)練中，樣本的選擇對(duì)訓(xùn)練結(jié)果有很大的影響。有效樣本數(shù)量越多，結(jié)果越接近真實(shí)。車輛檢測(cè)樣本來(lái)自KITTI 和GTI 車輛圖像數(shù)據(jù)庫(kù)，以及我們自己制作的樣本。陽(yáng)性樣本包括通過(guò)汽車攝像頭收集道路上的背面和側(cè)面的車輛。陰性樣本包括道路，車道線，護(hù)欄等。

行人檢測(cè)樣本來(lái)自CVC行人數(shù)據(jù)庫(kù)和我們自己制作的一些樣本。樣本庫(kù)用于高級(jí)駕駛輔助系統(tǒng)研究中的行人檢測(cè)。陽(yáng)性樣本包括道路區(qū)域所有方向的行人。負(fù)樣本包括非行人區(qū)域的道路區(qū)域。這些樣本能夠滿足道路行人檢測(cè)的需要。

圖像的HOG特征向量被用作SVM的輸入數(shù)據(jù)以訓(xùn)練分類器。同時(shí)，車輛和行人檢測(cè)需要使用線性SVM分類方法在高精度和速度之間取得平衡。因此，通過(guò)交叉驗(yàn)證的方法將樣本劃分為測(cè)試集，并分別訓(xùn)練車輛和行人檢測(cè)分類器。

最后，訓(xùn)練后的線性SVM判別函數(shù)為：

x* 是支持向量，α* 是支持系數(shù)，b* 是偏移量。

滑動(dòng)窗口檢測(cè)

滑動(dòng)窗口檢測(cè)表示從單個(gè)輸入圖像源生成的一組窗口。窗口具有不同的大小，可以在不同的距離檢測(cè)目標(biāo)。窗口應(yīng)覆蓋目標(biāo)大小的最大范圍。檢測(cè)窗口如下所示，不同顏色的窗口使用不同距離的檢測(cè)目標(biāo)。

圖7. 檢測(cè)窗口

2  目標(biāo)融合

由于環(huán)境背景噪聲，雷達(dá)在速度和距離測(cè)量中具有很高的精度，并且檢測(cè)靜態(tài)目標(biāo)的能力有限。但是，攝像機(jī)可以檢測(cè)特定場(chǎng)景中的靜態(tài)或動(dòng)態(tài)行人或車輛。因此，目標(biāo)融合算法需要同時(shí)利用兩者。

圖8顯示了融合算法圖。雷達(dá)和攝像機(jī)的數(shù)據(jù)進(jìn)行了高水平的融合。在視覺(jué)過(guò)程中，檢測(cè)車輛和行人都在滑動(dòng)窗口中進(jìn)行，再根據(jù)雷達(dá)生成的區(qū)域?qū)δ繕?biāo)進(jìn)行匹配。最后，由數(shù)據(jù)融合系統(tǒng)輸出融合結(jié)果。

圖8. 融合算法流程圖

匹配

雷達(dá)在圖像像素坐標(biāo)系中生成的區(qū)域的左上角和右下角的坐標(biāo)為[ul νl] [ur νr]。滑動(dòng)窗口的左上角和右下角的坐標(biāo)為[usl νsl]，[usr νsr]。

實(shí)際上，由于車輛間距和非平坦道路，雷達(dá)數(shù)據(jù)生成的區(qū)域不等同于目標(biāo)的滑動(dòng)，由于雷達(dá)數(shù)據(jù)中存在較大的橫向誤差，[ul νl] , [ur νr] 不等于 [usl νsl]，[usr νsr]。

不同距離的目標(biāo)可以得到不同大小的雷達(dá)數(shù)據(jù)區(qū)域。然后通過(guò)匹配函數(shù)選擇最合適的框架。

一個(gè)簡(jiǎn)單的匹配函數(shù)考慮了緊密接近的情況，此時(shí)的區(qū)域定義為：


其中C1和C2，C3是可調(diào)整的重量值。在視覺(jué)過(guò)程中，對(duì)粗略檢測(cè)后雷達(dá)與視覺(jué)目標(biāo)之間的所有匹配測(cè)量值進(jìn)行計(jì)算并分類。然后對(duì)這些結(jié)果進(jìn)行排序，并確定其是否大于閾值。

檢測(cè)

訓(xùn)練了兩種不同規(guī)模的分類，用于粗略檢測(cè)和精確檢測(cè)。粗略的檢測(cè)分類可以快速過(guò)濾掉不合理的目標(biāo)，而精密的檢測(cè)分類可以正確檢測(cè)車輛和行人。粗略檢測(cè)和精確檢測(cè)的區(qū)別在于訓(xùn)練和檢測(cè)圖像的規(guī)模。另外，使用具有較低閾值的精度檢測(cè)分類來(lái)檢測(cè)匹配的目標(biāo)，并且使用具有較高閾值的精度檢測(cè)分類來(lái)檢測(cè)未匹配的目標(biāo)。最后，通過(guò)合并和提取滑動(dòng)窗口，可以檢測(cè)到目標(biāo)。

結(jié) 果

如圖8和圖9所示，可以獲得車輛和行人的檢測(cè)數(shù)據(jù)。此外，可以從雷達(dá)數(shù)據(jù)中獲取匹配目標(biāo)的距離和速度。

a. 車輛檢測(cè)圖 b. 行人檢測(cè)圖
圖9. 車輛和行人檢測(cè)圖

a. 車輛在實(shí)驗(yàn)中的檢測(cè)結(jié)果。

b. 實(shí)驗(yàn)中行人的檢測(cè)結(jié)果
圖10.實(shí)驗(yàn)中的檢測(cè)結(jié)果

3  總 結(jié)

本文提出了一種基于雷達(dá)和攝像機(jī)數(shù)據(jù)融合的車輛與行人檢測(cè)方法，并基于動(dòng)態(tài)區(qū)域和目標(biāo)融合算法完成了對(duì)車輛和行人的識(shí)別。測(cè)試表明，該算法能夠準(zhǔn)確地檢測(cè)出車輛和行人。車輛和行人檢測(cè)是高級(jí)駕駛輔助系統(tǒng)中最重要的部分之一。本文僅將雷達(dá)和攝像機(jī)的數(shù)據(jù)融合在一起，僅檢測(cè)車輛和行人。因此，接下來(lái)將對(duì)基于融合算法的視覺(jué)檢測(cè)與跟蹤開(kāi)展進(jìn)一步研究。

本文譯自：《A New Method of Target Detection based on Autonomous Radar and Camera Data Fusion》
會(huì)議名稱：Intelligent and Connected Vehicles Symposium
作者：Xin Bi, Bin Tan, etc.