arXiv論文“Data generation using simulation technology to improve perception mechanism of autonomous vehicles“上傳于2022年7月1日，作者來(lái)自UCLA。

計(jì)算機(jī)圖形技術(shù)的最新進(jìn)展使汽車(chē)駕駛環(huán)境渲染工作更加逼真。DeepGTA-V和CARLA等自動(dòng)駕駛汽車(chē)模擬器能夠生成大量合成數(shù)據(jù)，可以補(bǔ)充現(xiàn)有的真實(shí)數(shù)據(jù)集，用于訓(xùn)練自主汽車(chē)感知。此外，由于自動(dòng)駕駛汽車(chē)模擬器允許完全控制環(huán)境，因此它們可以生成真實(shí)數(shù)據(jù)集所缺乏的危險(xiǎn)駕駛場(chǎng)景，例如惡劣天氣和事故場(chǎng)景。

本文從真實(shí)世界收集的數(shù)據(jù)與在模擬世界中生成的數(shù)據(jù)相結(jié)合來(lái)訓(xùn)練感知系統(tǒng)進(jìn)行目標(biāo)檢測(cè)和定位任務(wù)。提出一個(gè)多層深度學(xué)習(xí)感知框架，旨在模擬人類(lèi)的學(xué)習(xí)體驗(yàn)，在特定領(lǐng)域?qū)W習(xí)一系列從簡(jiǎn)單到更困難的任務(wù)。自動(dòng)汽車(chē)感知可以通過(guò)仿真軟件，從易于駕駛的場(chǎng)景到定制的更具挑戰(zhàn)性的場(chǎng)景學(xué)習(xí)駕駛。

利用CARLA的虛擬世界——一個(gè)為城市駕駛場(chǎng)景開(kāi)發(fā)的開(kāi)源模擬器——來(lái)重建汽車(chē)遇到的駕駛環(huán)境。通過(guò)模擬器提供的一組傳感器套件捕捉環(huán)境細(xì)節(jié)：激光雷達(dá)、RGB圖像、深度和分割攝像機(jī)。傳感器可以安裝在任何位置和朝向的車(chē)輛上。模擬器允許測(cè)量不同的傳感器配置。

在Carla提供的傳感器套件中，分割攝像機(jī)是模擬訓(xùn)練數(shù)據(jù)集與真實(shí)數(shù)據(jù)集相比的主要優(yōu)勢(shì)。該傳感器根據(jù)目標(biāo)的類(lèi)型（汽車(chē)、行人、紅綠燈等）對(duì)其進(jìn)行顏色編碼，生成攝像機(jī)圖像。本質(zhì)上，這是一種工具，可以保證“在像素級(jí)快速生成準(zhǔn)確的真值”，這是許多用分割掩碼進(jìn)行訓(xùn)練的流行感知算法所需要的。

由于底層游戲引擎對(duì)模擬世界中的所有目標(biāo)都有很好的了解，因此也可以快速生成其他類(lèi)型傳感器的真值標(biāo)簽（例如，生成攝像機(jī)圖像中所有目標(biāo)邊框，以及被激光雷達(dá)射線(xiàn)擊中的所有目標(biāo)位置和方向）。

目前，Carla仿真器不提供自動(dòng)生成定位信息去標(biāo)記訓(xùn)練數(shù)據(jù)的工具。因此，一個(gè)初步工具，自動(dòng)生成攝像頭捕獲的目標(biāo)標(biāo)簽，與KITTI數(shù)據(jù)集格式相同集。以下步驟可生成標(biāo)簽：

• 1、請(qǐng)求附近感興趣物體的信息。建議在120米半徑范圍內(nèi)為汽車(chē)和行人貼上標(biāo)簽。請(qǐng)記住，盡管激光雷達(dá)的覆蓋范圍為200米，但120米的覆蓋范圍足以捕捉所有圖像，不會(huì)因?yàn)樘h(yuǎn)導(dǎo)致分割不相關(guān)的圖像。

• 2.為每個(gè)目標(biāo)生成邊框頂點(diǎn)。

• 3.將每個(gè)目標(biāo)的頂點(diǎn)從世界視圖投影到攝像頭視圖，然后投影到像素視圖。

• 4、確定投影像素周?chē)南袼厥欠癖徽趽?。將像素的深度與深度圖中的相應(yīng)深度進(jìn)行比較來(lái)實(shí)現(xiàn)的。

• 5.如果目標(biāo)的兩個(gè)以上頂點(diǎn)未被遮擋，并且目標(biāo)像素高度大于25，則根據(jù)下表所示的KITTI格式生成目標(biāo)標(biāo)簽。

將Carla模擬器與GTA-V游戲引擎區(qū)別開(kāi)來(lái)的主要特點(diǎn)是能夠控制虛擬世界的方方面面和復(fù)雜性，最重要的是目標(biāo)和天氣。天氣控制的一個(gè)應(yīng)用是通過(guò)模擬各種天氣條件下的道路來(lái)提高自主車(chē)輛感知能力。天氣條件對(duì)攝像機(jī)和激光雷達(dá)傳感器的感知都有顯著影響。最顯著的是光源（太陽(yáng)和汽車(chē)前照燈的角度等）和降水（雨雪）。

太陽(yáng)的角度將決定陰影在環(huán)境中的投射方式，以及鏡頭光斑在攝像頭圖像上的形成，這兩者都會(huì)阻礙基于攝像頭的檢測(cè)算法；從以前的狀態(tài)下降到陰影中的目標(biāo)的對(duì)比度降低會(huì)導(dǎo)致不需要的圖像偽影。在夜間，由于建筑物、道路反射器和其他汽車(chē)頭燈發(fā)出人造光，鏡頭光斑的效果更為顯著。

雖然光源僅影響基于攝像頭的檢測(cè)，但降水同時(shí)影響攝像頭和激光雷達(dá)。雨水坑的反射光會(huì)混淆基于攝像機(jī)的目標(biāo)識(shí)別算法，并可能加劇鏡頭光斑效應(yīng)。在激光雷達(dá)傳感器中記錄的雨滴和雪花可以降低3D云點(diǎn)圖中真實(shí)目標(biāo)的分辨率，也可以生成更多的污染目標(biāo)。盡管很容易包括撞車(chē)事件，但在此類(lèi)天氣條件下可用的帶標(biāo)注的訓(xùn)練數(shù)據(jù)集很少。暴風(fēng)雪或暴雨等天氣條件在現(xiàn)實(shí)生活中很少發(fā)生，因此不存在，更不用說(shuō)收集這些條件會(huì)使測(cè)試車(chē)進(jìn)入危險(xiǎn)。因此，理想的做法是用合成的數(shù)據(jù)集來(lái)補(bǔ)充收集的傳統(tǒng)數(shù)據(jù)集。

Carla模擬器目前能夠改變太陽(yáng)的位置、云量、降水量以及街道上形成水坑的方式。由這些條件引起的偽影，如反射、陰影和鏡頭光斑，在很大程度上可以在攝像機(jī)傳感器上模擬。

如圖描述用CARLA在各種天氣條件下生成的各種場(chǎng)景：

為了證明模擬生成的訓(xùn)練數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)集具有可比性，將訓(xùn)練數(shù)據(jù)輸入到其他研究預(yù)訓(xùn)練目標(biāo)定位算法（Yolo和MobileNet v2），并評(píng)估性能。使用風(fēng)格遷移條件生成對(duì)抗網(wǎng)絡(luò)（cGAN），可以進(jìn)一步提高Carla模擬器生成的圖像質(zhì)量，使其更逼真。在正常的生成對(duì)抗網(wǎng)絡(luò)（GAN）中，模型提供了所需產(chǎn)品的樣本，例如來(lái)自汽車(chē)前攝像頭的圖像。從這些樣本中，經(jīng)過(guò)訓(xùn)練的模型將學(xué)習(xí)如何在給定隨機(jī)輸入的情況下生成類(lèi)似的結(jié)果。

此外，cGAN在隨機(jī)輸入的基礎(chǔ)上引入了期望輸出的額外條件，以生成更直接的結(jié)果。這里的條件通常是想要的類(lèi)標(biāo)簽。在用例中，為模型提供與合成圖像一起生成的語(yǔ)義標(biāo)記圖像，以便構(gòu)建該圖像的真值。在Cityscape數(shù)據(jù)集上訓(xùn)練cGAN模型，以攝像機(jī)圖像為真值，以語(yǔ)義分割圖像為條件。然后，將訓(xùn)練后的模型從Carla模擬器生成的語(yǔ)義分割圖像中生成真實(shí)圖像。這些增強(qiáng)圖像將用于補(bǔ)充目標(biāo)檢測(cè)模型。

如圖所示：

為了進(jìn)一步改進(jìn)現(xiàn)有的模型，提出一個(gè)用于自主車(chē)輛目標(biāo)識(shí)別和定位的多級(jí)深度學(xué)習(xí)框架。該模型利用模擬和真實(shí)數(shù)據(jù)的組合。希望通過(guò)該框架實(shí)現(xiàn)兩個(gè)主要目標(biāo)：1）學(xué)習(xí)模擬世界和真實(shí)世界之間常見(jiàn)目標(biāo)的特征；2）模擬人類(lèi)學(xué)習(xí)過(guò)程，學(xué)習(xí)一系列任務(wù)，從特定領(lǐng)域中易于解決的任務(wù)到更具挑戰(zhàn)性的任務(wù)。

如圖所示：1.在常用數(shù)據(jù)集ImageNet和Coco上使用預(yù)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)（CNN），從輸入圖像生成特征；生成的特征將反饋給區(qū)域提議網(wǎng)絡(luò)（RPN），該網(wǎng)絡(luò)隨后將生成包含感興趣目標(biāo)的候選邊框。2.使用STRV安排訓(xùn)練RPN。這使RPN專(zhuān)注于提取真實(shí)世界和模擬數(shù)據(jù)之間共享特征。3、分類(lèi)器層；三個(gè)不同分類(lèi)器代表三個(gè)不同的學(xué)習(xí)階段：簡(jiǎn)單、中等和困難；每個(gè)分類(lèi)器都用對(duì)應(yīng)于其困難階段的數(shù)據(jù)集進(jìn)行訓(xùn)練。例如，簡(jiǎn)單分類(lèi)器將在具有少量完全可見(jiàn)目標(biāo)的數(shù)據(jù)集上訓(xùn)練，而困難分類(lèi)器將在由大量被遮擋的目標(biāo)組成的數(shù)據(jù)集上訓(xùn)練。

目標(biāo)（goal）是集中在以下特征的圖像，其中目標(biāo)（object）難以正確分類(lèi)：遮擋，目標(biāo)數(shù)量，邊框像素區(qū)域。根據(jù)這些特征對(duì)模擬數(shù)據(jù)和真實(shí)數(shù)據(jù)進(jìn)行分類(lèi)，以形成具有不同難度的數(shù)據(jù)集。

這種分類(lèi)過(guò)程可以在模擬部分快速完成，因?yàn)榭梢栽L(fǎng)問(wèn)圖像渲染引擎以及圖像中所有目標(biāo)的狀態(tài)，以推斷樣本的所有必要特征。對(duì)于真實(shí)世界部分，盡管每個(gè)數(shù)據(jù)集的標(biāo)簽中都有目標(biāo)數(shù)和邊框區(qū)域，但遮擋級(jí)別的標(biāo)簽將需要手動(dòng)操作。實(shí)驗(yàn)要確定在STVR數(shù)據(jù)集排列下模擬真實(shí)世界數(shù)據(jù)的最佳比例。該比例越高，標(biāo)記真實(shí)數(shù)據(jù)所需的手動(dòng)工作就越少。

附加學(xué)習(xí)的訓(xùn)練過(guò)程如下：

• 1、通用架構(gòu)用上述容易數(shù)據(jù)集進(jìn)行訓(xùn)練。這一步中只有一個(gè)容易分類(lèi)器。CNN和RPN層的權(quán)值將被凍結(jié)。只修改分類(lèi)器的權(quán)重，因?yàn)榕d趣在于訓(xùn)練分類(lèi)器從RPN層識(shí)別包含在提議邊框中的目標(biāo)。分類(lèi)器將來(lái)自其他基于攝像機(jī)目標(biāo)檢測(cè)工作的所選樣本。這一步的目標(biāo)是讓分類(lèi)器在不受遮擋、小尺寸和擁擠影響的情況下學(xué)習(xí)目標(biāo)分類(lèi)的核心基本概念。

• 2.在中等數(shù)據(jù)集上重復(fù)與步驟1相同的過(guò)程。這一次，將添加額外的分類(lèi)器（中等）。這個(gè)額外的分類(lèi)器將是唯一修改權(quán)重的分類(lèi)器。將兩種分類(lèi)器的檢測(cè)結(jié)果結(jié)合起來(lái)。丟棄具有相同類(lèi)且與容易分類(lèi)器的結(jié)果非常接近的中等分類(lèi)器的檢測(cè)結(jié)果。由于這種安排，從簡(jiǎn)易分類(lèi)器學(xué)習(xí)的目標(biāo)分類(lèi)的基本概念得以保留并具有更高的優(yōu)先級(jí)。這將迫使中等分類(lèi)器提出新技術(shù)來(lái)檢測(cè)由于遮擋、小尺寸和擁擠的適度影響而被簡(jiǎn)單分類(lèi)器遺漏的目標(biāo)。

• 3.在困難數(shù)據(jù)集上重復(fù)與步驟2相同的過(guò)程，使用另一個(gè)額外的分類(lèi)（困難）。訓(xùn)練邏輯同上。這一次，困難分類(lèi)器被迫提出新技術(shù)來(lái)檢測(cè)由于遮擋、小尺寸和擁擠的嚴(yán)重影響而被簡(jiǎn)單和中等分類(lèi)器遺漏的目標(biāo)。

提出的框架不僅限于3個(gè)分類(lèi)器。它可以概括為具有任意數(shù)量的分類(lèi)器，對(duì)應(yīng)于難度級(jí)別。該框架的靈活性提供了一個(gè)平臺(tái)，使用戶(hù)可以選擇廣泛的功能；最終決定目標(biāo)檢測(cè)難度的特征。如圖所示：