日本无码免费高清在线|成人日本在线观看高清|A级片免费视频操逼欧美|全裸美女搞黄色大片网站|免费成人a片视频|久久无码福利成人激情久久|国产视频一二国产在线v|av女主播在线观看|五月激情影音先锋|亚洲一区天堂av

  • 手機(jī)站
  • 小程序

    汽車測(cè)試網(wǎng)

  • 公眾號(hào)

    • 汽車測(cè)試網(wǎng)

    • 在線課堂

    • 電車測(cè)試

適用于各種雨，霧和雪汽車感知雷達(dá)數(shù)據(jù)集研究分析

2020-10-27 23:37:55·  來源：Heriot Watt大學(xué)傳感器、信號(hào)和系統(tǒng)研究所、智車行家  作者：Marcel Sheeny?, Emanuele De Pellegrin?, Saptarshi  
　
引言：無人駕駛汽車的數(shù)據(jù)集對(duì)于感知系統(tǒng)的開發(fā)和基準(zhǔn)測(cè)試至關(guān)重要。但是，大多數(shù)現(xiàn)有數(shù)據(jù)集都是在天氣良好的情況下使用相機(jī)和LiDAR傳感器捕獲的。在本文中，我
引言：無人駕駛汽車的數(shù)據(jù)集對(duì)于感知系統(tǒng)的開發(fā)和基準(zhǔn)測(cè)試至關(guān)重要。但是，大多數(shù)現(xiàn)有數(shù)據(jù)集都是在天氣良好的情況下使用相機(jī)和LiDAR傳感器捕獲的。在本文中，我們提出了不利天氣中的RAdar數(shù)據(jù)集（RADIATE），旨在促進(jìn)使用雷達(dá)感應(yīng)進(jìn)行安全自動(dòng)駕駛的目標(biāo)檢測(cè)，跟蹤和場(chǎng)景理解的研究。

RADIATE包含3個(gè)小時(shí)的帶注釋的雷達(dá)圖像，總共有20萬個(gè)帶有標(biāo)簽的道路參與者，平均每個(gè)雷達(dá)圖像約4.6個(gè)實(shí)例。它涵蓋了在各種天氣條件（例如，太陽，夜晚，雨，霧和雪）和駕駛場(chǎng)景（例如，停車，城市，高速公路和郊區(qū)）中的8個(gè)不同類別的參與者，代表了不同程度的挑戰(zhàn)。在不利天氣（例如霧和降雪）中收集的數(shù)據(jù)是唯一的。給出了一些基于雷達(dá)的物體檢測(cè)和識(shí)別的基線結(jié)果，這些結(jié)果表明，雷達(dá)數(shù)據(jù)的使用有望在惡劣天氣下用于汽車應(yīng)用，在這種情況下，視覺和LiDAR可能會(huì)失效。

01  （RADIATE ）雷達(dá)數(shù)據(jù)集可以在惡劣天氣用于自動(dòng)駕駛和駕駛員輔助的感知任務(wù)

自主駕駛研究和開發(fā)在很大程度上依賴于計(jì)算機(jī)視覺。攝像機(jī)和激光雷達(dá)是兩個(gè)主要的通常采用的感知傳感器。但是，由于這些是可見光譜傳感器，惡劣天氣嚴(yán)重影響數(shù)據(jù)，導(dǎo)致衰減、多次散射和湍流。

另一方面，已知雷達(dá)傳感器在不利條件下更為穩(wěn)健。然而，目前用于汽車應(yīng)用的公共雷達(dá)數(shù)據(jù)很少，特別是在惡劣天氣和帶有目標(biāo)注釋的情況下。

在這篇文章中，我們提出了在惡劣天氣（RADIATE ）雷達(dá)數(shù)據(jù)集，用于自動(dòng)駕駛和駕駛員輔助的感知任務(wù)。它包括天氣狀況和駕駛場(chǎng)景的混合，代表不同程度的挑戰(zhàn)。

我們選擇高分辨率79GHZ 360°雷達(dá)作為目標(biāo)標(biāo)注的主要傳感器，RADIATE 包括5小時(shí)的雷達(dá)圖像，其中3小時(shí)是完全注釋的。這將為RADIATE 提供超過200K個(gè)標(biāo)記的對(duì)象實(shí)例，其中包含8個(gè)類別的道路參與者（即汽車、貨車、公共汽車、卡車、摩托車、自行車、行人和一組行人）。RADIATE 也利用立體相機(jī)，激光雷達(dá)和GPS數(shù)據(jù)同時(shí)進(jìn)行收集。

圖1顯示了一些來自RADIATE的示例。
 
 
圖1:RADIATE的示例。該數(shù)據(jù)集包含雷達(dá)、立體相機(jī)、激光雷達(dá)和GPS數(shù)據(jù)。它是在不同的天氣條件和駕駛場(chǎng)景下收集的8類注釋對(duì)象。

•  據(jù)我們所知，RADIATE是第一個(gè)公共雷達(dá)數(shù)據(jù)集，其中包括大量在公共道路上標(biāo)記的道路參與者。

•  它包括在惡劣天氣條件下收集的多模態(tài)傳感器數(shù)據(jù)，如濃霧和大雪。攝像機(jī)、激光雷達(dá)和GPS數(shù)據(jù)也提供給所有序列。

•  作為一個(gè)用例的例子，我們證明了當(dāng)光學(xué)傳感器（攝像機(jī)和激光雷達(dá)）發(fā)生故障時(shí)，RADIATE可用于惡劣天氣下的車輛檢測(cè)。
 
02  現(xiàn)有的公共汽車?yán)走_(dá)和RADIATE數(shù)據(jù)集對(duì)比分析

對(duì)于自主駕駛和輔助駕駛的感知研究，有許多公開可用的數(shù)據(jù)集。最受歡迎的是KITTI數(shù)據(jù)集，它使用攝像機(jī)和Velodyne HDL-64e激光雷達(dá)為多個(gè)任務(wù)提供數(shù)據(jù)，如目標(biāo)檢測(cè)和跟蹤、里程計(jì)和語義分割。

雖然數(shù)據(jù)被廣泛用作基準(zhǔn)，但數(shù)據(jù)只在天氣好的時(shí)候才被捕捉到，現(xiàn)在看來規(guī)模相當(dāng)小。Waymo和Argo有比KITTI更大的汽車數(shù)據(jù)集，提供了更多的數(shù)據(jù)可變性。一些數(shù)據(jù)是在雨中和夜間收集的，所有這些數(shù)據(jù)集只使用光學(xué)傳感器。

另一方面，雷達(dá)提供了一種對(duì)霧、雨和雪更具彈性的傳感解決方案。它通常提供低分辨率的圖像，這給目標(biāo)識(shí)別和語義分割帶來了很大的挑戰(zhàn)。目前的汽車?yán)走_(dá)技術(shù)依賴于多輸入多輸出（MIMO）技術(shù)，它使用多個(gè)發(fā)射機(jī)和接收機(jī)來測(cè)量到達(dá)方向（DOA）。

目前的配置缺乏方位分辨率，例如，具有15°角分辨率的商用雷達(dá)的交叉距離圖像在20米距離處約為10米。這意味著雷達(dá)圖像無法提供足夠的細(xì)節(jié)來進(jìn)行目標(biāo)識(shí)別或去瓷磚場(chǎng)景映射。掃描雷達(dá)使用移動(dòng)天線測(cè)量每個(gè)方位角，提供更好的方位分辨率，這種類型的傳感器最近被開發(fā)用來處理汽車應(yīng)用中基于雷達(dá)的感知任務(wù)。

對(duì)于大多數(shù)為汽車應(yīng)用提供雷達(dá)數(shù)據(jù)的數(shù)據(jù)集，雷達(dá)僅用作簡(jiǎn)單的檢測(cè)器，例如NuScenes，以給出稀疏的二維點(diǎn)云。最近，牛津機(jī)器人車（Oxford Robotcar）和Murran數(shù)據(jù)集提供了在各種天氣條件下從掃描導(dǎo)航技術(shù)雷達(dá)收集的數(shù)據(jù)。然而，他們不提供對(duì)象注釋，因?yàn)閿?shù)據(jù)主要是為同時(shí)定位和制圖（SLAM）和長(zhǎng)期自治的位置識(shí)別而設(shè)計(jì)的。

 
表一：RADIATE與使用雷達(dá)傳感的公共汽車數(shù)據(jù)集的比較

表一比較了現(xiàn)有的公共汽車?yán)走_(dá)和RADIATE數(shù)據(jù)集 。綜上所述，盡管針對(duì)自主駕駛的雷達(dá)感知的研究最近越來越受歡迎，但還沒有公開的雷達(dá)數(shù)據(jù)集包含大量的參與者注釋。我們希望RADIATE 的引入能促進(jìn)社區(qū)的自主駕駛研究。
 
03  RADIATE數(shù)據(jù)集解析

RADIATE 數(shù)據(jù)集收集于2019年2月至2020年2月。數(shù)據(jù)采集系統(tǒng)是使用機(jī)器人操作系統(tǒng)（ROS）創(chuàng)建的。從ROS創(chuàng)建的“rosbag”中提取傳感器信息，每個(gè)信息都有其各自的時(shí)間戳。圖3顯示了用于數(shù)據(jù)集的文件夾結(jié)構(gòu)。為了方便訪問，發(fā)布了一個(gè)用于數(shù)據(jù)校準(zhǔn)、可視化和預(yù)處理的RADIATE軟件開發(fā)工具包（SDK）。

 
圖2：每個(gè)序列的文件夾樹、注釋、元數(shù)據(jù)和時(shí)間戳結(jié)構(gòu)
 
適用于各種雨，霧和雪汽車感知雷達(dá)數(shù)據(jù)集研究分析
圖3：用于數(shù)據(jù)采集的傳感器設(shè)置

A、 感知傳感器

RADIATE 數(shù)據(jù)集包括雷達(dá)，激光雷達(dá)和立體相機(jī)。圖2顯示了我們車輛上的傳感器設(shè)置和外部配置。為支持傳感器融合，對(duì)傳感器進(jìn)行校準(zhǔn)（詳見第III-B節(jié)）。

a） 立體攝像機(jī)

使用現(xiàn)成的ZED立體攝像機(jī)。每臺(tái)攝像機(jī)的圖像分辨率設(shè)置為672×376，每秒15幀。它由防水外殼保護(hù)，以防極端天氣。由于雨滴、濃霧或大雪，圖像可能會(huì)嚴(yán)重模糊、模糊或完全被遮擋。圖1顯示了一些示例。

b） 激光雷達(dá)

一個(gè)32通道，10Hz，Velodyne HDL-32e激光雷達(dá)用于提供360°覆蓋。由于激光雷達(dá)信號(hào)會(huì)被干涉的霧或雪嚴(yán)重衰減和反射，數(shù)據(jù)可能會(huì)丟失、噪聲和不正確。

c） 雷達(dá)

RADIATE 采用Navtech CTS350-X雷達(dá)。它是一種掃描雷達(dá)，可提供360°高分辨率的距離方位圖像。最大工作距離為100米，距離分辨率為0.175m，方位分辨率為1.8°，仰角分辨率為1.8°，目前不提供多普勒信息。

B、 傳感器校準(zhǔn)

多傳感器融合、特征與角色對(duì)應(yīng)需要傳感器標(biāo)定。立體攝像機(jī)的固有參數(shù)和失真系數(shù)是使用Matlab攝像機(jī)校準(zhǔn)工具箱進(jìn)行校準(zhǔn)的。然后，可以生成校正圖像來計(jì)算深度。在非本征定標(biāo)方面，由于雷達(dá)傳感器是主要的傳感器，所以選擇雷達(dá)傳感器作為本機(jī)坐標(biāo)系的原點(diǎn)。

雷達(dá)、攝像機(jī)和激光雷達(dá)的外部參數(shù)用自由度變換（平移和旋轉(zhuǎn)）表示。首先明確測(cè)量傳感器之間的距離，然后通過調(diào)整每對(duì)傳感器之間的測(cè)量值進(jìn)行微調(diào)。傳感器校準(zhǔn)參數(shù)在yaml文件中提供。傳感器以不同的幀速率工作，我們簡(jiǎn)單地采用數(shù)據(jù)到達(dá)每個(gè)傳感器的時(shí)間作為時(shí)間戳。

C、 數(shù)據(jù)收集方案

我們收集了7種不同情景下的數(shù)據(jù)，即晴天（停車）、晴天/陰天（市區(qū)）、陰天（高速公路）、夜間（高速公路）、雨（郊區(qū)）、霧（郊區(qū)）和雪（郊區(qū)）。

a） Sunny（停車）

在這個(gè)場(chǎng)景中，車輛停在路邊，感覺周圍的演員經(jīng)過。這是目標(biāo)檢測(cè)、目標(biāo)跟蹤和軌跡預(yù)測(cè)的最簡(jiǎn)單場(chǎng)景。這是在晴天收集的。

b） 晴天/多云（市區(qū)）

城市場(chǎng)景是在交通繁忙、建筑密集的市中心收集的。這是一個(gè)挑戰(zhàn)，因?yàn)樵S多道路演員出現(xiàn)。在這種情況下收集的雷達(dá)也被來自非道路參與者的大量反射（如樹木、柵欄、垃圾箱和建筑物）和多徑效應(yīng)所干擾，增加了挑戰(zhàn)性。這些序列是在晴天和陰天采集的。

c） 陰天（高速公路）

高速公路場(chǎng)景是在愛丁堡市繞道上拍攝的。這可以被認(rèn)為是相對(duì)容易的，因?yàn)榇蠖鄶?shù)周圍的動(dòng)態(tài)參與者是車輛和背景大多非常相似。這個(gè)場(chǎng)景是在陰天收集的。

d） 夜間（高速公路）

我們?cè)诟咚俟飞鲜占艘归g數(shù)據(jù)。由于缺乏照明，夜間對(duì)被動(dòng)光學(xué)傳感器是不利的。由于激光雷達(dá)和雷達(dá)是主動(dòng)式傳感器，不依賴外部光源，因此它們的性能預(yù)計(jì)會(huì)很好。

e） 雨（郊區(qū)）

我們?cè)诖笥曛惺占?8分鐘的數(shù)據(jù)。收集發(fā)生在靠近大學(xué)校園的郊區(qū)場(chǎng)景中。

f） 霧（郊區(qū)）

我們發(fā)現(xiàn)霧狀數(shù)據(jù)很難收集。大霧在大多數(shù)地方并不經(jīng)常發(fā)生，而且很難預(yù)測(cè)它何時(shí)會(huì)出現(xiàn)，濃霧有多濃。在實(shí)踐中，我們?cè)诮紖^(qū)停車和開車時(shí)，偶然地收集了霧狀數(shù)據(jù)。

g） 雪（郊區(qū)）

RADIATE包括34分鐘的雪數(shù)據(jù)，其中3分鐘是標(biāo)簽。雪花預(yù)計(jì)會(huì)干擾激光雷達(dá)和相機(jī)數(shù)據(jù)，也會(huì)對(duì)雷達(dá)圖像造成較小程度的影響。此外，大雪會(huì)在數(shù)據(jù)收集后3分鐘內(nèi)阻塞傳感器（見圖6）。雪地里的數(shù)據(jù)是在郊區(qū)場(chǎng)景中收集的。
 
適用于各種雨，霧和雪汽車感知雷達(dá)數(shù)據(jù)集研究分析1
圖4：被雪覆蓋的傳感器
 
04   標(biāo)記雷達(dá)圖像是一項(xiàng)挑戰(zhàn)

因?yàn)槿祟惒蝗菀鬃R(shí)別雷達(dá)數(shù)據(jù)中的物體。現(xiàn)有的大多數(shù)工具都是為該傳感器設(shè)計(jì)的。因此，開發(fā)了一種新的注釋工具，通過傳感器校準(zhǔn)自動(dòng)關(guān)聯(lián)和可視化多個(gè)傳感器。

八種不同的道路行為體被標(biāo)記為：汽車、面包車、卡車、公共汽車、摩托車、自行車、行人和行人群。在驗(yàn)證了相應(yīng)的攝像機(jī)圖像后，在雷達(dá)圖像上標(biāo)注了二維邊界框。每個(gè)邊界框表示為（x，y，width，height，angle），其中（x，y）是邊界框的左上角像素位置，具有給定的寬度和高度以及逆時(shí)針旋轉(zhuǎn)角度。為了實(shí)現(xiàn)有效的注釋，使用了CamShift跟蹤器。

總的來說，RADIATE在44K雷達(dá)圖像上有超過200K個(gè)邊界框，平均每個(gè)圖像有4.6個(gè)邊界框。圖4顯示了每個(gè)驅(qū)動(dòng)場(chǎng)景的類分布。在圖5中，給出了每個(gè)場(chǎng)景中對(duì)象的長(zhǎng)度和總數(shù)。
圖5：每個(gè)場(chǎng)景的類別分布

圖6：駕駛場(chǎng)景和天氣條件的數(shù)據(jù)集長(zhǎng)度（以分鐘為單位）
 
05  使用示例：基于雷達(dá)的車輛檢測(cè)

自動(dòng)駕駛車輛的關(guān)鍵感知能力之一是檢測(cè)和識(shí)別道路參與者，以實(shí)現(xiàn)安全導(dǎo)航和決策。據(jù)我們所知，目前還沒有基于雷達(dá)的極端天氣下自動(dòng)駕駛目標(biāo)檢測(cè)的研究。因此，我們將使用RADIATE的第一個(gè)基線結(jié)果作為用例。

圖7顯示了我們?cè)趷毫犹鞖庀率占囊恍?shù)據(jù)示例，在這種情況下，經(jīng)過訓(xùn)練的網(wǎng)絡(luò)無法識(shí)別光學(xué)圖像中的參與者。如圖7所示。雷達(dá)圖像受影響較小，因此我們假設(shè)在所有情況下都更有可能進(jìn)行穩(wěn)健的目標(biāo)檢測(cè)。

圖7：各種天氣條件下的數(shù)據(jù)。頂部：投影激光雷達(dá)點(diǎn)的圖像。中：雷達(dá)上有標(biāo)注的物體。底部：激光雷達(dá)，目標(biāo)從雷達(dá)注釋投影。注：圖像和激光雷達(dá)圖像在霧、雨和雪中都會(huì)退化。黃色圓圈包圍了由雪花造成的假激光雷達(dá)點(diǎn)

從幾種天氣條件下獲得的數(shù)據(jù)中，RADIATE包括3個(gè)可用于評(píng)估車輛檢測(cè)的示例性數(shù)據(jù)集：

•  良好天氣下的訓(xùn)練集：僅包含晴天或多云天氣下的數(shù)據(jù)。它的建立是為了驗(yàn)證傳感器是否能夠適應(yīng)好天氣和壞天氣條件。

•  好天氣和壞天氣下的訓(xùn)練集：這套附加訓(xùn)練集包括來自好天氣和壞天氣條件（夜間、雨、霧和雪）的數(shù)據(jù)。這是用來開發(fā)所有天氣的算法。

•  測(cè)試集：該測(cè)試集包括來自良好和惡劣天氣條件的數(shù)據(jù)，用于評(píng)估和基準(zhǔn)測(cè)試。

作為第一個(gè)基線，我們對(duì)單個(gè)圖像中的車輛檢測(cè)進(jìn)行了評(píng)估。我們將車輛定義為以下類別之一：轎車、面包車、卡車、公共汽車、摩托車和自行車。表二顯示了用于訓(xùn)練和測(cè)試網(wǎng)絡(luò)的雷達(dá)圖像和車輛數(shù)量。

表二：定義的每組圖像的數(shù)量

A、基于雷達(dá)的野外車輛檢測(cè)

我們采用了流行的更快的R-CNN架構(gòu)來演示輻射用于基于雷達(dá)的目標(biāo)檢測(cè)。為了更好地適應(yīng)雷達(dá)探測(cè)，對(duì)原始架構(gòu)進(jìn)行了兩次修改：

預(yù)先定義的尺寸用于錨點(diǎn)生成，因?yàn)檐囕v數(shù)量通常是眾所周知的，雷達(dá)圖像提供了不同于攝像機(jī)圖像的公制比例。

我們將快速R-CNN中的區(qū)域建議網(wǎng)絡(luò)（RPN）修改為輸出邊界框和旋轉(zhuǎn)角，邊界框由x、y、寬度、高度、角度表示。

為了研究天氣條件的影響，模型被訓(xùn)練了兩個(gè)不同的訓(xùn)練數(shù)據(jù)集：只來自好天氣的數(shù)據(jù)和來自好天氣和壞天氣的數(shù)據(jù)。選擇ResNet-50和ResNet-101作為主干模型。訓(xùn)練過的模型在一個(gè)從所有天氣條件和駕駛場(chǎng)景中收集的測(cè)試集上進(jìn)行測(cè)試。

用于評(píng)估的指標(biāo)是平均精度，與PASCAL VOC[33]和DOTA評(píng)估指標(biāo)相同，IoU（IoU）等于0.5。表三顯示了平均精度（AP）結(jié)果，圖8顯示了精度召回曲線。

可以看出，在好天氣和好天氣和壞天氣條件下訓(xùn)練的AP差異很小，這表明天氣條件對(duì)雷達(dá)目標(biāo)檢測(cè)沒有或只有細(xì)微的影響。AP相對(duì)于雷達(dá)圖像坐標(biāo)的熱圖也在圖9中給出。

表三：試驗(yàn)裝置的平均精度結(jié)果

圖8：精確召回曲線

圖9：平均精度熱圖

由于僅對(duì)好天氣數(shù)據(jù)進(jìn)行訓(xùn)練的模型的AP分布與同時(shí)使用好天氣和壞天氣數(shù)據(jù)訓(xùn)練的模型的AP分布非常相似，進(jìn)一步驗(yàn)證了雷達(dá)在全天候目標(biāo)檢測(cè)中的應(yīng)用前景。

關(guān)于每種情況下的結(jié)果，它主要是受數(shù)據(jù)類型的影響，而不是天氣本身。停車場(chǎng)景被證明是最簡(jiǎn)單的，實(shí)現(xiàn)接近80%的AP，可能是由環(huán)境周圍的雷達(dá)回波的一致性所輔助的。結(jié)果在雨雪數(shù)據(jù)中表現(xiàn)較差。

查看圖7，使用的雷達(dá)傳感器受到雨水影響，改變背景像素值。在霧天，我們用雷達(dá)取得了相當(dāng)好的效果。由于對(duì)光學(xué)傳感器來說這是一個(gè)具有挑戰(zhàn)性的方案，雷達(dá)被證明是一個(gè)很好的解決方案濃霧感知。在夜間，高速公路場(chǎng)景下，結(jié)果接近白天的結(jié)果。

這是意料之中的，因?yàn)槔走_(dá)是一個(gè)有源傳感器，不受照明不足的影響。圖10說明了在各種駕駛場(chǎng)景和天氣條件下，使用僅在良好天氣下訓(xùn)練的更快的R-CNN ResNet-101，對(duì)基于雷達(dá)的車輛檢測(cè)的一些定性結(jié)果。

圖10：基于雷達(dá)的車輛檢測(cè)的定性結(jié)果
 
06  結(jié)論

我們提出了一個(gè)新的，標(biāo)記的，大規(guī)模的RADIATE數(shù)據(jù)集，用于研究自主駕駛和輔助駕駛的感覺數(shù)據(jù)感知。介紹了傳感器的設(shè)置、校準(zhǔn)和標(biāo)記過程，并舉例說明了在幾種不同天氣和道路情況下收集的數(shù)據(jù)。作為一個(gè)使用實(shí)例，我們展示了它如何被用于野外基于雷達(dá)的車輛檢測(cè)。

這些結(jié)果表明，基于雷達(dá)的目標(biāo)檢測(cè)受天氣影響較小，特別是在有霧的情況下，根據(jù)霧密度，從激光雷達(dá)數(shù)據(jù)中識(shí)別出的目標(biāo)在很短的距離內(nèi)失敗。這項(xiàng)初步的基線實(shí)驗(yàn)顯示了有希望的結(jié)果，特別是在不利條件下。希望RADIATE能促進(jìn)社區(qū)的研究，特別是在惡劣天氣下可以進(jìn)行強(qiáng)烈感知。

本文可以從http://pro.hw.ac.uk/radiate/訪問公共數(shù)據(jù)集。
 
 
分享到：
滬ICP備11026917號(hào)-25