日本无码免费高清在线|成人日本在线观看高清|A级片免费视频操逼欧美|全裸美女搞黄色大片网站|免费成人a片视频|久久无码福利成人激情久久|国产视频一二国产在线v|av女主播在线观看|五月激情影音先锋|亚洲一区天堂av

  • 手機(jī)站
  • 小程序

    汽車測(cè)試網(wǎng)

  • 公眾號(hào)

    • 汽車測(cè)試網(wǎng)

    • 在線課堂

    • 電車測(cè)試

視透霧天：看不見的惡劣天氣中的深度多模式傳感器融合

2020-09-16 12:22:36·  來源：同濟(jì)智能汽車研究所  
　
編者按：目標(biāo)檢測(cè)是自動(dòng)駕駛車輛中基本的計(jì)算機(jī)視覺問題。由于自然偏向，現(xiàn)有的訓(xùn)練數(shù)據(jù)集偏向晴朗的天氣，而惡劣天氣下的數(shù)據(jù)非常罕見，現(xiàn)有的檢測(cè)架構(gòu)依賴于未
編者按：目標(biāo)檢測(cè)是自動(dòng)駕駛車輛中基本的計(jì)算機(jī)視覺問題。由于自然偏向，現(xiàn)有的訓(xùn)練數(shù)據(jù)集偏向晴朗的天氣，而惡劣天氣下的數(shù)據(jù)非常罕見，現(xiàn)有的檢測(cè)架構(gòu)依賴于未失真的傳感器流，而惡劣天氣下傳感器會(huì)產(chǎn)生非對(duì)稱的失真，因此現(xiàn)有的目標(biāo)檢測(cè)方法不適用于惡劣天氣場(chǎng)景。本文提出了一種自適應(yīng)單次深度融合架構(gòu)，并引入新型多模式數(shù)據(jù)集來解決現(xiàn)有數(shù)據(jù)集中的天氣偏差，使本文的方法可以在晴朗天氣的數(shù)據(jù)上進(jìn)行訓(xùn)練，并將傳感器不對(duì)稱損壞的情況穩(wěn)健地推廣到惡劣天氣的情況。

本文譯自:
Seeing Through FogWithout Seeing Fog: Deep Multimodal Sensor Fusion in Unseen Adverse Weather
文章來源：
CVPR2020
作者：
Mario Bijelic, Tobias Gruber, Fahim Mannan, Florian Kraus, Werner Ritter, Klaus Dietmayer, Felix Heide
原文鏈接：
https://www.cs.princeton.edu/~fheide/AdverseWeatherFusion/

摘要：多模式傳感器流的融合，例如相機(jī)，激光雷達(dá)和雷達(dá)測(cè)量，在自動(dòng)駕駛汽車的目標(biāo)檢測(cè)中起著至關(guān)重要的作用，這些輸入是自動(dòng)駕駛汽車的決策基礎(chǔ)。盡管現(xiàn)有方法在良好的環(huán)境條件下可以利用大量的信息，但在惡劣的天氣中這些方法會(huì)失效，因?yàn)樵谶@種情況下，傳感器流可能會(huì)不對(duì)稱地失真。這些罕見的“邊緣情況”的場(chǎng)景沒有呈現(xiàn)在可用的數(shù)據(jù)集里，而且現(xiàn)有的融合架構(gòu)也不旨在解決這些問題。為了應(yīng)對(duì)這一挑戰(zhàn)，本文提出了一個(gè)新的多模式數(shù)據(jù)集，該數(shù)據(jù)集是在北歐10,000 多公里的行駛中獲得的。盡管此數(shù)據(jù)集是惡劣天氣下的第一個(gè)大型的多模式數(shù)據(jù)集，且具有10 萬個(gè)激光雷達(dá)、相機(jī)、雷達(dá)和門控NIR傳感器的標(biāo)簽，但由于極端天氣很少見，因此不利于訓(xùn)練。為此，本文提出了一種深層融合網(wǎng)絡(luò)，可進(jìn)行穩(wěn)健的融合，而無需涵蓋所有非對(duì)稱失真的大量標(biāo)記訓(xùn)練數(shù)據(jù)。與提案層的融合不同，本文提出了一種由測(cè)量熵驅(qū)動(dòng)的自適應(yīng)融合特征的單次模型。本文在廣泛的驗(yàn)證數(shù)據(jù)集中驗(yàn)證經(jīng)過清晰數(shù)據(jù)訓(xùn)練的所提出方法。代碼和數(shù)據(jù)可以在這個(gè)網(wǎng)站獲得：https://github.com/princeton-computationalimaging/SeeingThroughFog。

1 前言

目標(biāo)檢測(cè)是自動(dòng)駕駛機(jī)器人（包括自動(dòng)駕駛車輛和自動(dòng)駕駛無人機(jī)）中基本的計(jì)算機(jī)視覺問題。在具有挑戰(zhàn)性的現(xiàn)實(shí)場(chǎng)景中，此類應(yīng)用需要場(chǎng)景對(duì)象的2D 或3D 邊界框，包括復(fù)雜的混亂場(chǎng)景，變化很大的照明以及惡劣的天氣條件。最有前景的自動(dòng)駕駛汽車系統(tǒng)依賴于來自多種傳感器形式的大量輸入[58、6、73]，包括相機(jī)、激光雷達(dá)、雷達(dá)和新興傳感器（例如FIR）[29]。使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行物體檢測(cè)的研究越來越多，這使得用這種多模態(tài)數(shù)據(jù)可以準(zhǔn)確地進(jìn)行2D 和3D 盒子估計(jì)，尤其是依賴于相機(jī)和激光雷達(dá)數(shù)據(jù)的[64、11、56、71、66、42、35]。

盡管這些現(xiàn)有方法以及在其輸出上執(zhí)行決策的自動(dòng)駕駛系統(tǒng)在正常成像的條件下表現(xiàn)良好，但在惡劣的天氣和成像條件下卻無法使用。這是因?yàn)楝F(xiàn)有的訓(xùn)練數(shù)據(jù)集偏向晴朗的天氣條件，并且檢測(cè)器的架構(gòu)設(shè)計(jì)僅依賴于未失真的傳感流中的冗余信息。但是，它們不適用于惡劣的場(chǎng)景，這些場(chǎng)景會(huì)導(dǎo)致傳感器流非對(duì)稱變形，詳見圖1。極端天氣情況在統(tǒng)計(jì)上很少見。例如，在北美，僅有0.01％典型駕駛情況下可以觀察到濃霧；在大霧地區(qū)，每年能見度在50m 以下的濃霧最多發(fā)生15 次[61]。圖3展示了瑞典四個(gè)星期內(nèi)獲得的實(shí)際駕駛數(shù)據(jù)分布，其中包括冬季行駛的10,000 km。自然偏倚的分布驗(yàn)證了可用數(shù)據(jù)集中很少甚至根本沒有惡劣天氣情況[65，19，58]。不幸的是，域自適應(yīng)方法[44、28、41] 也沒有對(duì)此提供解決方案，因?yàn)樗鼈冃枰繕?biāo)樣本，而惡劣天氣的失真數(shù)據(jù)通常很少被考慮。而且，現(xiàn)有方法限于圖像數(shù)據(jù)，而不受限于多傳感器數(shù)據(jù)，包括激光雷達(dá)點(diǎn)云數(shù)據(jù)。
 


圖1 現(xiàn)有的物體檢測(cè)方法，包括高效的單次檢測(cè)器（SSD）[40]，都是在偏向于良好天氣條件的汽車數(shù)據(jù)集上進(jìn)行訓(xùn)練的。雖然這些方法在良好的條件下效果很好[19，58]，但在罕見的天氣事件中卻失敗了（頂部）。由于在霧或雪（中心）中發(fā)生嚴(yán)重的反向散射，Lidaronly 探測(cè)器（例如在預(yù)計(jì)的激光雷達(dá)深度上訓(xùn)練的同一SSD 模型）可能會(huì)失真。這些不對(duì)稱失真對(duì)依賴冗余信息的融合方法構(gòu)成了挑戰(zhàn)。本文所提出的方法（底部）將學(xué)習(xí)解決多模式數(shù)據(jù)中看不見的（可能不對(duì)稱）失真的問題，而不會(huì)看到這些罕見情況的訓(xùn)練數(shù)據(jù)。
 
由于現(xiàn)有訓(xùn)練數(shù)據(jù)集中的傳感器輸入有限[65、19、58]，目前已提出了主要用于激光雷達(dá)攝像機(jī)設(shè)置的融合方法[64、11、42、35、12]。由于訓(xùn)練數(shù)據(jù)的偏差，這些方法不只是專注于研究惡劣天氣中的傳感器失真。他們要么在獨(dú)立處理各個(gè)傳感器流后，通過過濾執(zhí)行后期融合[12]，要么融合假設(shè)[35] 或高級(jí)特征向量[64]。這些方法的網(wǎng)絡(luò)架構(gòu)是在假設(shè)數(shù)據(jù)流一致且冗余的前提下設(shè)計(jì)的，即出現(xiàn)在一個(gè)傳感流中的目標(biāo)也出現(xiàn)在另一個(gè)傳感流中。但是，在惡劣的天氣條件下，例如霧、雨、雪或極端光照條件下，包括低光照或低反射物體，多模式傳感器配置可能會(huì)不對(duì)稱地失效。例如，傳統(tǒng)的RGB 相機(jī)在弱光場(chǎng)景區(qū)域中會(huì)產(chǎn)生不可靠的嘈雜測(cè)量，而掃描激光雷達(dá)傳感器則使用主動(dòng)照明來提供可靠的深度。在雨雪中，小顆粒同樣會(huì)通過反向散射影響彩色圖像和激光雷達(dá)深度估計(jì)。相反，在有霧或雪的天氣下，由于反向散射，最新的脈沖激光雷達(dá)系統(tǒng)被限制在小于20m的范圍內(nèi)，請(qǐng)參見圖4。雖然激光雷達(dá)可能是夜間駕駛的解決方案，但對(duì)于惡劣的天氣并非如此。

本文的研究提出了一種多模式融合方法，可用于惡劣天氣（包括霧，雪和大雨）中的目標(biāo)檢測(cè)，而沒有適用于這些場(chǎng)景的大型注釋訓(xùn)練數(shù)據(jù)集。具體來說，通過偏離現(xiàn)有的提案層融合方法來處理相機(jī)、激光雷達(dá)、雷達(dá)和門控NIR傳感器流中的非對(duì)稱測(cè)量損壞：本文提出了一種自適應(yīng)單次深度融合架構(gòu)，該架構(gòu)在交織的特征提取器塊中交換特征。這種深度的早期融合通過測(cè)量的熵來控制。提出的自適應(yīng)融合能夠?qū)W習(xí)在各種情況下進(jìn)行概括的模型。為了驗(yàn)證此方法，通過引入三個(gè)月內(nèi)在北歐采集的新型多模式數(shù)據(jù)集來解決現(xiàn)有數(shù)據(jù)集中的偏差。該數(shù)據(jù)集是惡劣天氣下的第一個(gè)大型多模式駕駛數(shù)據(jù)集，具有10萬個(gè)激光雷達(dá)、攝像機(jī)、雷達(dá)、門控NIR 傳感器和FIR 傳感器標(biāo)簽。盡管天氣偏向仍然不利于訓(xùn)練，但是這些數(shù)據(jù)使本文的方法可以在晴朗天氣的數(shù)據(jù)上進(jìn)行訓(xùn)練，同時(shí)將傳感器不對(duì)稱損壞的情況穩(wěn)健地推廣到惡劣天氣的情況。

具體來說，本文做出了以下貢獻(xiàn)：

·  引入多模式惡劣天氣數(shù)據(jù)集，涵蓋了相機(jī)、激光雷達(dá)、雷達(dá)、門控NIR 和FIR 傳感器數(shù)據(jù)。該數(shù)據(jù)集包含罕見的場(chǎng)景，例如在北歐行駛10,000 多公里時(shí)的大霧、大雪和大雨。

·  提出一個(gè)深度的多模式融合網(wǎng)絡(luò)，該網(wǎng)絡(luò)不同于提案層的融合，而是由測(cè)量熵驅(qū)動(dòng)的自適應(yīng)融合。

·  在本文提出的數(shù)據(jù)集上評(píng)估該模型，驗(yàn)證該模型可以推廣到惡劣天氣的不對(duì)稱失真。在與天氣無關(guān)的惡劣情況下（包括小霧、濃霧、大雪和晴朗的天氣），該方法比先進(jìn)的融合方法性能高出8％以上，并且可以實(shí)時(shí)運(yùn)行。

2 相關(guān)研究

在惡劣的天氣條件下進(jìn)行檢測(cè) 在過去的十年中，汽車數(shù)據(jù)集的開創(chuàng)性工作[5、14、19、16、65、9] 為汽車目標(biāo)檢測(cè)，深度估計(jì)[18、39、21]，車道檢測(cè)[26]，交通信號(hào)燈檢測(cè)[32]，道路場(chǎng)景分割[5、2] 和端到端駕駛模型[4、65] 都提供了沃土[11、8、64、35、40、20]。盡管現(xiàn)有的數(shù)據(jù)集為該研究領(lǐng)域提供了動(dòng)力，但由于地理位置[65] 和獲得數(shù)據(jù)的季節(jié)[19]，數(shù)據(jù)集偏向于良好的天氣條件，因此缺乏罕見的霧、大雪和雨水引起的嚴(yán)重失真。許多近期的工作探索了在這種惡劣條件下僅使用攝像頭的方法[51，7，1]。然而，這些數(shù)據(jù)集非常小，捕獲的圖像少于100個(gè)[51]，并且僅限于攝像機(jī)的視覺任務(wù)。相比之下，現(xiàn)有的自動(dòng)駕駛應(yīng)用依賴于多模式傳感器堆棧，包括攝像頭、雷達(dá)、激光雷達(dá)和新興傳感器，例如門控NIR 成像[22、23]，并且必須在數(shù)千小時(shí)的駕駛中進(jìn)行評(píng)估。本研究填補(bǔ)了這一空白，并引入了一個(gè)大規(guī)模評(píng)估數(shù)據(jù)集，以便為這種多模式輸入開發(fā)一種融合模型，該模型對(duì)惡劣天氣下的失真具有魯棒性。

惡劣天氣中的數(shù)據(jù)預(yù)處理 大量研究探索了在處理之前消除傳感器失真的方法。特別是，廣泛地研究了從常規(guī)強(qiáng)度圖像數(shù)據(jù)中去除霧氣和霧霾的方法[67、70、33、53、36、7、37、46]。霧會(huì)導(dǎo)致對(duì)比度和色彩的距離損失。除霧方法不僅可以應(yīng)用于顯示[25]，還可以作為預(yù)處理方法提高下游語義任務(wù)的性能[51]?，F(xiàn)有的霧霾消除方法是依靠場(chǎng)景先驗(yàn)的潛在清晰圖像和深度來解決不合適的恢復(fù)問題。這些先驗(yàn)是手動(dòng)的[25]，分別用于深度和傳輸估計(jì)，或者作為可訓(xùn)練的端到端模型的一部分共同學(xué)習(xí)[37、31、72]。用于照相機(jī)駕駛員輔助系統(tǒng)的霧和能見度估計(jì)的方法已被提出[57、59]。圖像恢復(fù)方法也已應(yīng)用于排水[10] 或去模糊[36]。

域適應(yīng) 另一研究領(lǐng)域是通過域適應(yīng)來解決未標(biāo)記數(shù)據(jù)分布的變化[60，28，50，27，69，62]。這樣的方法可以使清晰標(biāo)記的場(chǎng)景適應(yīng)苛刻的惡劣天氣場(chǎng)景[28] 或通過特征自適應(yīng)的表示[60]。不幸的是，這兩種方法都難以一概而論，因?yàn)榕c現(xiàn)有的域傳輸方法相比，總體而言，受天氣影響的數(shù)據(jù)（不僅是標(biāo)記數(shù)據(jù)）的代表性不足。此外，現(xiàn)有方法不能處理多模式數(shù)據(jù)。

多傳感器融合 通常融合自動(dòng)駕駛汽車中的多傳感器饋送以利用測(cè)量中的變化線索[43]，以及簡化路徑規(guī)劃[15]，在出現(xiàn)失真的情況下實(shí)現(xiàn)冗余[47] 或解決聯(lián)合視覺任務(wù)，例如作為3D對(duì)象檢測(cè)[64]。現(xiàn)有的用于全自動(dòng)駕駛的傳感系統(tǒng)包括激光雷達(dá)，攝像頭和雷達(dá)傳感器。由于大型汽車數(shù)據(jù)集[65、19、58] 僅覆蓋了有限的傳感器輸入，因此，現(xiàn)有的融合方法主要針對(duì)激光雷達(dá)相機(jī)設(shè)置[64、55、11、35、42]。諸如AVOD[35] 和MV3D [11] 之類的方法結(jié)合了相機(jī)和激光雷達(dá)的多個(gè)視圖來檢測(cè)物體。它們依賴于合并的感興趣區(qū)域的融合，因此遵循主流的區(qū)域提議架構(gòu)進(jìn)行后期特征融合[49]。Qi 等人[48] 在另一項(xiàng)研究中和Xu 等[64] 提出了一種管道模型，該模型需要針對(duì)攝像機(jī)圖像的有效檢測(cè)輸出以及從激光雷達(dá)點(diǎn)云中提取的3D 特征向量。Kim 等[34] 提出了一種用于相機(jī)-激光雷達(dá)融合的門控機(jī)制。在所有現(xiàn)有方法中，傳感器流均在特征提取階段進(jìn)行單獨(dú)處理，這會(huì)阻礙學(xué)習(xí)冗余，實(shí)際上，在存在非對(duì)稱測(cè)量失真的情況下，其性能比單個(gè)傳感器流差。

3 多模式惡劣天氣數(shù)據(jù)集

為了評(píng)估惡劣天氣中的目標(biāo)檢測(cè)，本文獲得了一個(gè)大型的汽車數(shù)據(jù)集，該數(shù)據(jù)集提供了用于多模式數(shù)據(jù)的2D 和3D 檢測(cè)邊界框，并對(duì)罕見惡劣天氣情況下的天氣，光照和場(chǎng)景類型進(jìn)行了精細(xì)分類。表2比較了本文的數(shù)據(jù)集和最近的大規(guī)模汽車數(shù)據(jù)集，例如Waymo[58]，NuScenes[6]，KITTI[19] 和BDD[68] 數(shù)據(jù)集。與[6] 和[68] 相比，本文的數(shù)據(jù)集不僅包含在晴朗天氣條件下的實(shí)驗(yàn)數(shù)據(jù)，還包含在大雪，雨天和霧中的實(shí)驗(yàn)數(shù)據(jù)。補(bǔ)充材料中給出了注釋程序和標(biāo)簽規(guī)格的詳細(xì)說明。借助這種多模式傳感器數(shù)據(jù)的跨天氣注釋和廣泛的地理采樣，它是現(xiàn)有數(shù)據(jù)集中唯一可以評(píng)估本文的多模式融合方法的。將來，設(shè)想研究人員可以開發(fā)和評(píng)估現(xiàn)有數(shù)據(jù)集未涵蓋的天氣條件下的多模式融合方法。

表1：提出的多模式惡劣天氣數(shù)據(jù)集與現(xiàn)有的汽車檢測(cè)數(shù)據(jù)集的比較。
 
圖3：繪制了上述數(shù)據(jù)集的天氣分布。通過以0.1Hz 的幀速率手動(dòng)注釋所有同步幀來獲得統(tǒng)計(jì)信息。當(dāng)可見度分別低于1km[45] 和100m 以下時(shí)，指導(dǎo)注釋者手動(dòng)地將光與濃霧區(qū)分開。如果霧和降水同時(shí)發(fā)生，則根據(jù)環(huán)境道路狀況將場(chǎng)景標(biāo)記為下雪或下雨。對(duì)于本文的實(shí)驗(yàn)，將雪和雨天的情況結(jié)合。值得注意的是，統(tǒng)計(jì)數(shù)據(jù)證實(shí)了惡劣天氣下的場(chǎng)景稀有性，這一點(diǎn)與[61] 一致，并說明了在評(píng)估真正的自動(dòng)駕駛車輛時(shí)，即在沒有在地理圍欄區(qū)域之外的遠(yuǎn)程操作員交互的情況下，獲取此類數(shù)據(jù)的難度和關(guān)鍵性。本文發(fā)現(xiàn)極端惡劣的天氣條件僅在當(dāng)?shù)匕l(fā)生并且變化非?？?。

個(gè)別的天氣狀況會(huì)導(dǎo)致各種傳感器技術(shù)的不對(duì)稱擾動(dòng)，從而導(dǎo)致不對(duì)稱退化，即，并非所有傳感器輸出均受到不斷惡化的環(huán)境條件的統(tǒng)一影響，有些傳感器的退化要比其他傳感器要嚴(yán)重得多，請(qǐng)參見圖4。例如，傳統(tǒng)的被動(dòng)式攝像機(jī)在白天條件下表現(xiàn)良好，但在夜間條件或光照不良的設(shè)置（例如低太陽光照）下其性能會(huì)下降。同時(shí)，激光雷達(dá)和雷達(dá)等有源掃描傳感器受有源照明和檢測(cè)邊的窄帶通環(huán)境的光變化影響較小。另一方面，有源激光雷達(dá)傳感器的性能會(huì)由于霧，雪或雨等散射介質(zhì)而大大退化，從而限制了在霧密度低于50m 至25m 時(shí)的最大可感知距離，請(qǐng)參見圖4。毫米波雷達(dá)波不會(huì)在霧中強(qiáng)烈散射[24]，但目前僅提供低方位角分辨率。最近的門控圖像在惡劣天氣下顯示出穩(wěn)健的感知能力[23]，且具有較高的空間分辨率，但與標(biāo)準(zhǔn)成像儀相比缺少色彩信息。由于每個(gè)傳感器這些特定的優(yōu)缺點(diǎn)，多模式數(shù)據(jù)對(duì)于可靠的檢測(cè)方法至關(guān)重要。

圖3: 右：數(shù)據(jù)收集活動(dòng)的地理覆蓋范圍，涵蓋了兩個(gè)月和德國，瑞典，丹麥和芬蘭的10,000 公里。左上方：配置了頂部激光雷達(dá)，帶閃光燈的門控?cái)z像頭，RGB 攝像頭，專有雷達(dá)，F(xiàn)IR 攝像頭，氣象站和道路摩擦傳感器的測(cè)試車輛的設(shè)置。左下：整個(gè)數(shù)據(jù)采集過程中天氣狀況的分布。駕駛數(shù)據(jù)相對(duì)于天氣狀況特別不平衡，包含惡劣天氣的情況非常稀有。

圖4: 在濃霧中的RGB 攝像頭，掃描激光雷達(dá)，門控?cái)z像頭和雷達(dá)的多模式傳感器響應(yīng)。第一行顯示了清晰條件下的參考記錄，第二行顯示了在可見度為23m 的霧中的記錄。

3.1 多模式傳感器設(shè)置

為了進(jìn)行采集，為測(cè)試車輛配備了涵蓋可見光，毫米波，NIR 和FIR 波段的傳感器，請(qǐng)參見圖3。測(cè)量光強(qiáng)度，深度和天氣狀況。

立體聲相機(jī) 使用兩個(gè)前置立體高動(dòng)態(tài)范圍的汽車RCCB 相機(jī)作為可見波長RGB 相機(jī)，由兩臺(tái)分辨率為1920 × 1024，基線為20.3cm 和12 位量化的onSemi AR0230 成像儀組成。攝像機(jī)以30Hz 的頻率運(yùn)行并同步進(jìn)行立體成像。使用焦距為8mm 的Lensagon B5M8018C光學(xué)元件，可獲得39.6? × 21.7? 的視場(chǎng)。

門控?cái)z像機(jī) 使用以120Hz 運(yùn)行，且分辨率為1280×720 和10 位位深度的BrightwayVisionBrightEye 攝像機(jī)，以在808nm 的近紅外波段捕獲門控圖像。該攝像機(jī)提供與31.1? × 17.8? 的立體攝像機(jī)類似的視野。門控成像器依賴于時(shí)間同步相機(jī)和泛光閃光燈激光源[30]。激光脈沖發(fā)出可變的窄脈沖，在可調(diào)的延遲后，相機(jī)捕獲激光回波。這可以顯著減少惡劣天氣條件下粒子的反向散射[3]。此外，高成像儀的速度可以捕獲具有不同范圍強(qiáng)度文件的多個(gè)重疊切片，這些切片對(duì)多個(gè)切片之間可提取的深度信息進(jìn)行編碼[23]。按照[23]，以10Hz 的系統(tǒng)采樣率捕獲了3 個(gè)寬片用于深度估計(jì)，另外還捕獲了3-4 個(gè)窄片及其被動(dòng)對(duì)應(yīng)關(guān)系。

雷達(dá) 對(duì)于雷達(dá)傳感，使用專有的頻率連續(xù)波（FMCW）雷達(dá)，頻率為77GHz，角分辨率為1?，最大距離為200m。雷達(dá)提供15Hz 的位置速度檢測(cè)。

激光雷達(dá) 在汽車的車頂上，安裝了兩個(gè)來自Velodyne 的激光掃描儀，分別是HDL64S3D 和VLP32C。兩者都在903nm 下工作，并且可以在10Hz 下提供雙返回（最強(qiáng)和最強(qiáng)）。Velodyne HDL64 S3D 提供了平均分布的64 條掃描線，其角分辨率為0.4?，而Velodyne VLP32C提供了32 條非線性分布的掃描線。HDL64 S3D 和VLP32C 掃描儀可以分別達(dá)到100m 和120m的范圍。

FIR 攝像機(jī) 使用Axis Q1922 FIR 攝像機(jī)以30Hz 的溫度捕獲熱圖像。該相機(jī)的分辨率為640 × 480，像素間距為17μm，等效噪聲溫差（NETD）<100 mK。

環(huán)境傳感器 使用提供溫度，風(fēng)速和濕度的Airmar WX150 氣象站以及專有的道路摩擦傳感器來測(cè)量環(huán)境信息。所有傳感器均采用專有慣性測(cè)量單元（IMU）進(jìn)行時(shí)間同步和自我運(yùn)動(dòng)校正。系統(tǒng)提供10 Hz 的采樣率。

3.2 記錄

真實(shí)記錄 所有實(shí)驗(yàn)數(shù)據(jù)分別在德國，瑞典，丹麥和芬蘭進(jìn)行的試駕中獲得, 兩次試駕于2019 年二月和十二月進(jìn)行，為期兩個(gè)星期，在不同的天氣和光照條件下覆蓋了10,000km 的距離。以10Hz 的幀速率共收集了140 萬幀。每第100 幀都經(jīng)過手動(dòng)標(biāo)記，以平衡場(chǎng)景類型的覆蓋范圍。生成的注釋包含5 500個(gè)晴天，1 000個(gè)濃霧，1 000個(gè)薄霧，4 000個(gè)雪/雨。大量的捕獲工作表明在惡劣條件下訓(xùn)練數(shù)據(jù)是很少的。本文通過僅訓(xùn)練晴朗天氣的數(shù)據(jù)，以及在惡劣情況下進(jìn)行測(cè)試來解決此問題。訓(xùn)練區(qū)域和測(cè)試區(qū)域沒有任何地理重疊。除了按幀劃分外，還根據(jù)不同位置的獨(dú)立記錄（長度為5-60 分鐘）對(duì)數(shù)據(jù)集進(jìn)行劃分。這些記錄來自圖3中所示的18個(gè)不同的主要城市以及沿途的幾個(gè)較小的城市。

受控條件記錄 為了在受控條件下收集圖像和距離數(shù)據(jù)，還提供了在霧室中獲取的測(cè)量值。霧室設(shè)置的詳細(xì)信息可以在[17，13] 中找到。本文已經(jīng)以10Hz 的幀速率捕獲了35000幀，并在兩種不同的光照條件（白天/夜晚）和三種霧密度下分別標(biāo)記了1500幀的子集，其氣象可見度V分別為30m，40m 和50m。補(bǔ)充材料中提供了詳細(xì)信息，其中還使用[51] 中的正向模型對(duì)模擬數(shù)據(jù)集進(jìn)行了比較。

4 自適應(yīng)深度融合

本節(jié)描述了本文提出的自適應(yīng)深度融合架構(gòu)，該架構(gòu)允許在出現(xiàn)不可見的不對(duì)稱傳感器失真的情況下實(shí)現(xiàn)多模式融合。本文在自動(dòng)駕駛車輛和無人駕駛飛機(jī)所需的實(shí)時(shí)處理約束下設(shè)計(jì)架構(gòu)。具體來說，本文提出了一種有效的單次融合架構(gòu)。

4.1 自適應(yīng)多模式單次融合

提出的網(wǎng)絡(luò)架構(gòu)如圖5所示。它由多個(gè)單次檢測(cè)分支組成，每個(gè)分支都分析一個(gè)傳感器模式。

數(shù)據(jù)表示 相機(jī)分支使用常規(guī)的三平面RGB 輸入，而對(duì)于激光雷達(dá)和雷達(dá)分支，本文的方法與最近的鳥瞰（BeV）投影[35] 方案或原始點(diǎn)云表示[64] 不同。BeV 投影或點(diǎn)云輸入不允許進(jìn)行深度的早期融合，因?yàn)樵缙趫D層中的特征表示與相機(jī)特征天生不同。因此，現(xiàn)有的BeV 融合方法只能在建議匹配區(qū)域之后進(jìn)行提升空間中的特征融合，而不能提前。圖5可視化了本文提出的輸入數(shù)據(jù)編碼，該編碼有助于進(jìn)行深度多模態(tài)融合。深度，高度和脈沖強(qiáng)度作為激光雷達(dá)網(wǎng)絡(luò)的輸入，而不是僅使用樸素的深度輸入編碼。對(duì)于雷達(dá)網(wǎng)絡(luò)，假設(shè)雷達(dá)在與圖像平面正交和與水平圖像尺寸平行的2D 平面中進(jìn)行掃描。因此，考慮沿垂直圖像軸雷達(dá)的不變性，并沿垂直軸復(fù)制掃描。使用單應(yīng)性映射將門控圖像轉(zhuǎn)換為RGB 相機(jī)的圖像平面，這部分請(qǐng)參閱補(bǔ)充材料。本文所提出的輸入編碼使用不同流之間的逐像素對(duì)應(yīng)，可以實(shí)現(xiàn)與位置和強(qiáng)度相關(guān)的融合。用零值來編碼缺失的測(cè)量樣本。

特征提取 作為每個(gè)流中的特征提取堆棧，本文使用了改進(jìn)的VGG[54] 主干。類似于[35，11]，將通道數(shù)量減少一半，并在conv4 層上切斷網(wǎng)絡(luò)。受[40，38] 的啟發(fā)，使用conv4-10中的六個(gè)要素層作為SSD 檢測(cè)層的輸入。特征圖的隨尺寸減小，實(shí)現(xiàn)了一個(gè)用于不同比例檢測(cè)的特征金字塔。如圖5所示，不同特征提取堆棧的激活進(jìn)行了交換。為了使融合更加可靠，為每個(gè)特征交換塊提供了傳感器熵。首先對(duì)熵進(jìn)行卷積，應(yīng)用S 形，與來自所有傳感器的級(jí)聯(lián)輸入特征相乘，最后級(jí)聯(lián)輸入熵。熵的折疊和S 形的應(yīng)用在區(qū)間[0,1] 中生成一個(gè)乘法矩陣，這可以根據(jù)可用信息分別縮放每個(gè)傳感器的級(jí)聯(lián)特征。具有低熵的區(qū)域可以被衰減，而富熵的區(qū)域可以在特征提取中被放大。這樣做能夠在特征提取堆棧中實(shí)現(xiàn)自適應(yīng)融合特征，將在下一部分中深入探討。
 
視透霧天：看不見的惡劣天氣中的深度多模式傳感器融合
圖5: 本文的體系結(jié)構(gòu)概述，由四個(gè)單次檢測(cè)器分支組成，具有深度特征交換和激光雷達(dá)，RGB 攝像頭，門控?cái)z像頭和雷達(dá)的自適應(yīng)融合。按照第4.1 節(jié)的規(guī)定，所有傳感器數(shù)據(jù)都將投影到相機(jī)坐標(biāo)系中。為了引導(dǎo)傳感器之間的融合，模型依賴于傳感器熵，該熵被提供給每個(gè)特征交換塊（紅色）。深層特征交換塊（白色）與并行特征提取塊交換信息（藍(lán)色）。融合的特征圖由SSD 塊（橙色）分析。

4.2 熵導(dǎo)向融合

為了使深度融合具有冗余且可靠的信息，在每個(gè)傳感器流中引入了一個(gè)熵通道，而不是像[57，59] 中那樣直接推斷惡劣的天氣類型和強(qiáng)度。估計(jì)局部測(cè)量熵，

 
熵值是由本文提出的圖像控件數(shù)據(jù)表示中，像素值i∈ [0, 255] 的每8 位二進(jìn)制流I 計(jì)算得到的。每個(gè)流被分成大小為M×N = 16px×16px 的小塊，從而產(chǎn)生w×? = 1920px×1024px 的熵圖。兩種不同場(chǎng)景的多模式熵圖如圖6所示：左側(cè)展示了在受控霧室內(nèi)的場(chǎng)景，包含車輛，騎自行車的人和行人。隨著霧的可見性降低，被動(dòng)式RGB 相機(jī)和激光雷達(dá)會(huì)受到反向散射和衰減的影響，而門控相機(jī)則通過門控來抑制反向散射，雷達(dá)測(cè)量的性能在霧中也不會(huì)顯著降低。圖6中的右圖顯示了在變化的環(huán)境光照下的靜態(tài)室外場(chǎng)景。在這種場(chǎng)景下，有源激光雷達(dá)和雷達(dá)不受環(huán)境照度變化的影響。對(duì)于門控?cái)z像機(jī)，環(huán)境照明消失，僅保留主動(dòng)照明的區(qū)域，而被動(dòng)RGB 攝像機(jī)隨著環(huán)境光線的減少性能逐漸下降。
 
控制過程完全是在晴朗的天氣數(shù)據(jù)中學(xué)習(xí)的，其中包含白天到晚上的不同照明設(shè)置。在訓(xùn)練過程中，沒有出現(xiàn)真正的惡劣天氣模式。此外，以0.5 的概率隨機(jī)放置傳感器流，并將熵設(shè)置為恒定的零值。

4.3 損失功能和訓(xùn)練細(xì)節(jié)

各個(gè)特征圖層中的錨框數(shù)量及其大小在訓(xùn)練過程中起著重要作用，可以在補(bǔ)充材料中查看。總的來說，每個(gè)帶有等級(jí)yi 和概率pi 的錨框都使用帶有softmax的交叉熵?fù)p失進(jìn)行訓(xùn)練，

 
對(duì)于匹配閾值為0.5 的正錨定框和負(fù)錨定框，損耗將進(jìn)行拆分。對(duì)于每個(gè)正錨點(diǎn)框，使用下式的Huber 損失H(x) 對(duì)邊界框坐標(biāo)x進(jìn)行回歸：

 
將負(fù)錨的總數(shù)限制為5× 使用示例[45，52] 的正示例的數(shù)量。從頭開始訓(xùn)練所有網(wǎng)絡(luò)，學(xué)習(xí)速率恒定，L2 權(quán)重衰減為0.0005。

圖6: 門控相機(jī)，RGB 相機(jī)，雷達(dá)和激光雷達(dá)在不同霧度（左）和光照（右）下帶有清晰參考記錄的歸一化熵。熵是根據(jù)圖4中所示的受控霧室內(nèi)的動(dòng)態(tài)場(chǎng)景（左）和具有變化的自然光照設(shè)置的靜態(tài)場(chǎng)景（右）計(jì)算得出的。定量的數(shù)字已根據(jù)方程式1計(jì)算，注意不同傳感器技術(shù)的非對(duì)稱傳感器故障。定性結(jié)果在下面給出，并通過箭頭連接到其相應(yīng)的霧密度/日間。

5 評(píng)估

本節(jié)將在惡劣天氣的實(shí)驗(yàn)測(cè)試數(shù)據(jù)上驗(yàn)證所提出的融合模型。將這種方法與現(xiàn)有的單傳感器輸入和融合的檢測(cè)器，以及域自適應(yīng)方法進(jìn)行比較。由于訓(xùn)練數(shù)據(jù)獲取存在天氣偏向，僅使用提出的數(shù)據(jù)集的晴朗天氣部分進(jìn)行訓(xùn)練。使用本文新的多模式天氣數(shù)據(jù)集作為測(cè)試集來評(píng)估檢測(cè)性能，請(qǐng)參閱補(bǔ)充數(shù)據(jù)以了解測(cè)試和訓(xùn)練分組的詳細(xì)信息。

本文驗(yàn)證了表2中提出的基于真實(shí)惡劣天氣數(shù)據(jù)的方法，將其稱為“深度熵融合”。本文報(bào)告了三種不同難度級(jí)別（容易，中等，困難）的平均精度（AP），并根據(jù)KITTI 評(píng)估框架[19] 在各種霧密度，雪干擾和晴朗天氣下對(duì)汽車進(jìn)行了評(píng)估。將提出的模型與最新的激光雷達(dá)-照相機(jī)融合模型進(jìn)行了比較，包括AVODFPN[35]，F(xiàn)rustum PointNets[48]，以及提出的方法的變體，比如另一種方式融合或傳感器輸入。作為基準(zhǔn)變量，實(shí)現(xiàn)了兩個(gè)融合和四個(gè)單傳感器探測(cè)器。特別是，比較了后期融合和早期融合，后期融合有圖像，激光雷達(dá)，門控和邊界框回歸（Fusion SSD）之前融合的雷達(dá)特征，早期融合是在一個(gè)特征提取堆棧的早期開始將所有傳感器數(shù)據(jù)進(jìn)行關(guān)聯(lián)來融合（Concat SSD）。Fusion SSD 網(wǎng)絡(luò)與提出的模型的結(jié)構(gòu)是一樣的，但沒有特征交換和自適應(yīng)融合層。此外，將提出的模型與具有單傳感器輸入的相同SSD 分支（僅圖像SSD，僅門控SSD，僅激光雷達(dá)SSD，僅雷達(dá)SSD）進(jìn)行了比較。所有模型都使用相同的超參數(shù)和錨點(diǎn)進(jìn)行訓(xùn)練。

表2：對(duì)數(shù)據(jù)集中受真實(shí)的看不見天氣影響的數(shù)據(jù)的定量檢測(cè)AP，其中，數(shù)據(jù)根據(jù)天氣和不同的難易程度劃分（容易/中等/困難[19]）除域適應(yīng)法外，所有檢測(cè)模型都僅針對(duì)清晰的數(shù)據(jù)進(jìn)行訓(xùn)練，而不會(huì)出現(xiàn)天氣失真。最佳模型以粗體突出顯示。
 
對(duì)惡劣天氣情況進(jìn)行評(píng)估時(shí)，所有方法的檢測(cè)性能都會(huì)下降。值得一提的是，隨著場(chǎng)景復(fù)雜度在天氣分類之間變化，評(píng)估指標(biāo)可能會(huì)同時(shí)增加。例如，當(dāng)更少的車輛參與道路交通或者在冰雪的條件下車輛之間的距離增加時(shí)，阻塞的車輛更少。圖像和門控?cái)?shù)據(jù)的性能幾乎穩(wěn)定，但激光雷達(dá)數(shù)據(jù)卻大幅下降，而雷達(dá)數(shù)據(jù)卻有所提高。強(qiáng)烈的反向散射可以導(dǎo)致激光雷達(dá)性能的下降，請(qǐng)參閱補(bǔ)充材料。最多有100 個(gè)測(cè)量目標(biāo)，這限制了雷達(dá)輸入的性能，因此報(bào)告中的改進(jìn)來自更簡單的場(chǎng)景。

總體而言，在有霧條件下，激光雷達(dá)性能的大幅降低會(huì)影響僅激光雷達(dá)情況下的檢測(cè)率，降低幅度為45.38％AP。此外，它還對(duì)相機(jī)-激光雷達(dá)融合模型AVOD，Concat SSD 和Fusion SSD產(chǎn)生了重大影響。它使得學(xué)習(xí)到的冗余不再成立，這些方法甚至低于僅使用圖像的方法。

兩階段方法（例如Frustum PointNet[48]）會(huì)迅速下降。但是，與AVOD 相比，它們漸近地實(shí)現(xiàn)了更高的結(jié)果，因?yàn)樵诘谝浑A段學(xué)習(xí)到的統(tǒng)計(jì)先驗(yàn)是基于僅圖像SSD 的，這限制其性能為圖像域先驗(yàn)。AVOD 受天氣晴朗的幾個(gè)假設(shè)所限制，例如在訓(xùn)練過程中對(duì)裝有激光雷達(dá)數(shù)據(jù)的盒子進(jìn)行重要性采樣，從而獲得最低的融合性能。此外，隨著霧密度的增加，本文所提出的自適應(yīng)融合模型的性能優(yōu)于所有其他方法。特別是在嚴(yán)重失真的情況下，提出的自適應(yīng)融合層在沒有深度融合的情況下會(huì)在模型上產(chǎn)生很大的邊際?？傮w而言，本文所提出的方法優(yōu)于所有基準(zhǔn)方法。在濃霧中，與次佳的特征融合變體相比，它提高了9.69％的邊際。

為了完整起見，還將提出的模型與最新的領(lǐng)自適應(yīng)方法進(jìn)行比較。首先，根據(jù)[60]將僅圖像SSD 特征從晴天轉(zhuǎn)為惡劣天氣。其次，利用[28] 研究從晴天到惡劣天氣的特征轉(zhuǎn)換，并從晴天輸入中生成惡劣天氣訓(xùn)練樣本。值得一提的是，這些方法相對(duì)于所有其他比較方法均具有不公平的優(yōu)勢(shì)，因?yàn)樗鼈円呀?jīng)從的驗(yàn)證集中看到了惡劣的天氣情況。請(qǐng)注意，領(lǐng)域適應(yīng)方法無法直接應(yīng)用，因?yàn)樗鼈冃枰獊碜蕴囟I(lǐng)域的目標(biāo)圖像。因此，它們也無法為數(shù)據(jù)有限的罕見情況提供解決方案。此外，[28] 沒有對(duì)包括霧或雪在內(nèi)的失真進(jìn)行建模，請(qǐng)參見補(bǔ)充材料中的實(shí)驗(yàn)。值得一提的是，遵循[51] 的合成數(shù)據(jù)增強(qiáng)或消除惡劣天氣影響的圖像到圖像重建方法[63] 都不會(huì)影響所提出的多模式深度熵融合的邊際。
 
6 結(jié)論和展望

本文解決了自動(dòng)駕駛中的一個(gè)關(guān)鍵問題：場(chǎng)景中的多傳感器融合，其中注釋數(shù)據(jù)稀少且由于自然的天氣偏向而難以獲取。為了評(píng)估惡劣天氣下的多模式融合，本文引入了一個(gè)新穎的惡劣天氣數(shù)據(jù)集，涵蓋了相機(jī)、激光雷達(dá)、雷達(dá)、門控NIR 和FIR 傳感器數(shù)據(jù)。該數(shù)據(jù)集包含罕見的場(chǎng)景，例如在北歐行駛10,000 多公里時(shí)遇到的大霧，大雪和大雨。本文提出了一個(gè)實(shí)時(shí)的深度多模態(tài)融合網(wǎng)絡(luò)，該網(wǎng)絡(luò)不同于提案層的融合，而是由測(cè)量熵驅(qū)動(dòng)自適應(yīng)融合。未來研究的方向包括開發(fā)能夠進(jìn)行故障檢測(cè)的端到端模型以及激光雷達(dá)傳感器中的自適應(yīng)傳感器控制（例如噪聲水平或功率水平控制）。

參考文獻(xiàn)：
 
 
 
 
 
分享到：
 
反對(duì) 0 舉報(bào) 0 收藏 0 評(píng)論 0
滬ICP備11026917號(hào)-25