日本无码免费高清在线|成人日本在线观看高清|A级片免费视频操逼欧美|全裸美女搞黄色大片网站|免费成人a片视频|久久无码福利成人激情久久|国产视频一二国产在线v|av女主播在线观看|五月激情影音先锋|亚洲一区天堂av

  • 手機(jī)站
  • 小程序

    汽車(chē)測(cè)試網(wǎng)

  • 公眾號(hào)

    • 汽車(chē)測(cè)試網(wǎng)

    • 在線(xiàn)課堂

    • 電車(chē)測(cè)試

駕駛模擬器之LGSVL篇：一個(gè)高保真的自動(dòng)駕駛模擬器

2020-11-12 19:25:55·  來(lái)源：自動(dòng)駕駛仿真  作者：Guodong Rong等  
　
對(duì)于自動(dòng)駕駛仿真，LGSVL是主流的模擬器之一。本文《LGSVL Simulator-A High Fidelity Simulator for Autonomous Driving》，由LGSVL開(kāi)發(fā)者（主要來(lái)自L(fǎng)G電子美國(guó)
對(duì)于自動(dòng)駕駛仿真，LGSVL是主流的模擬器之一。本文《LGSVL Simulator-A High Fidelity Simulator for Autonomous Driving》，由LGSVL開(kāi)發(fā)者（主要來(lái)自L(fǎng)G電子美國(guó)研發(fā)中心）撰寫(xiě)，對(duì)LGSVL做了詳細(xì)介紹。

摘要
在真正的自動(dòng)駕駛車(chē)輛上測(cè)試自動(dòng)駕駛算法是非常昂貴的，許多研究和開(kāi)發(fā)人員不一定有足夠的資金購(gòu)買(mǎi)真正的汽車(chē)和相應(yīng)的傳感器。盡管有一些免費(fèi)的開(kāi)源的自動(dòng)駕駛系統(tǒng)，比如Autoware和Apollo，但是與它們一起使用的開(kāi)源模擬器的選擇是有限的。本文介紹了一種高保真度自動(dòng)駕駛模擬器LGSVL。模擬器提供端到端的全棧仿真，隨時(shí)可以連接到Autoware和Apollo。此外，模擬器工具還配備了核心仿真引擎，用戶(hù)可以輕松定制傳感器、創(chuàng)建新型可控對(duì)象、替換核心模擬器中的一些模塊、創(chuàng)建特定環(huán)境的數(shù)字孿生體。
 
1 簡(jiǎn)介
在過(guò)去的幾年里，自動(dòng)駕駛汽車(chē)取得了巨大的進(jìn)步。研究表明，自動(dòng)駕駛汽車(chē)必須行駛數(shù)十億英里才能證明其可靠性[1]，如果沒(méi)有仿真的幫助，這是不可能的。從自動(dòng)駕駛研究的一開(kāi)始[2]，模擬器就在自動(dòng)駕駛系統(tǒng)的開(kāi)發(fā)和測(cè)試中發(fā)揮了關(guān)鍵作用。仿真使開(kāi)發(fā)人員能夠在不駕駛真實(shí)車(chē)輛的情況下快速測(cè)試新算法。與道路測(cè)試相比，仿真模擬有幾個(gè)重要的優(yōu)點(diǎn)：它比真實(shí)的道路測(cè)試更安全，特別是對(duì)于某些危險(xiǎn)場(chǎng)景（如行人亂穿馬路），并且可以生成在現(xiàn)實(shí)世界中很少遇到的corner case（例如極端天氣）。此外，模擬器能夠準(zhǔn)確地再現(xiàn)問(wèn)題場(chǎng)景的所有因素，從而允許開(kāi)發(fā)人員調(diào)試和測(cè)試新的補(bǔ)丁。
 
今天的自動(dòng)駕駛系統(tǒng)在越來(lái)越多的模塊中使用深度神經(jīng)網(wǎng)絡(luò)（DNN）來(lái)幫助提高性能。訓(xùn)練DNN模型需要大量的標(biāo)記數(shù)據(jù)。傳統(tǒng)的自動(dòng)駕駛數(shù)據(jù)集，如KITTI[3]和Cityscapes[4]，沒(méi)有足夠的數(shù)據(jù)供DNN處理復(fù)雜的場(chǎng)景。盡管最近學(xué)術(shù)界[5]和自主駕駛公司[6]、[7]、[8]發(fā)布了一些大型數(shù)據(jù)集，但這些從現(xiàn)實(shí)世界中收集的數(shù)據(jù)集通常是手動(dòng)（通常在一些自動(dòng)化工具的幫助下）標(biāo)記的，這是緩慢、昂貴和容易出錯(cuò)的。對(duì)于真值類(lèi)型，如像素分割或光流，手動(dòng)標(biāo)記數(shù)據(jù)非常困難或不可能。在云平臺(tái)的幫助下，模擬器可以輕松地生成更大數(shù)量級(jí)的精確標(biāo)記數(shù)據(jù)集。
 
本文介紹了LGSVL模擬器。核心仿真引擎使用Unity[9]，是開(kāi)源的，源代碼可以在GitHub上免費(fèi)獲得。模擬器支持ROS、ROS2和Cyber RT，使其可以與Autoware和Baidu Apollo一起使用。提供地圖工具來(lái)導(dǎo)入和導(dǎo)出用于自動(dòng)駕駛的高清地圖，格式包括Lanelet2[10]、OpenDRIVE和Apollo HD Map。圖1展示了來(lái)自L(fǎng)GSVL模擬器的一些渲染示例。
 
圖1 LGSVL的渲染示例
本文的其余部分結(jié)構(gòu)如下：第二節(jié)回顧了以往的相關(guān)工作，第三節(jié)對(duì)LGSVL模擬器進(jìn)行了詳細(xì)的概述，第四節(jié)列舉了該模擬器的應(yīng)用示例，第五節(jié)總結(jié)了本文的工作方向。
2 相關(guān)工作
仿真在汽車(chē)工業(yè)中得到了廣泛的應(yīng)用，尤其是在汽車(chē)動(dòng)力學(xué)方面。一些著名的例子有：CarMaker[11]、CarSim[12]和ADAMS[13]。自動(dòng)駕駛不僅僅需要車(chē)輛動(dòng)力學(xué)，還必須考慮復(fù)雜的環(huán)境設(shè)置、不同的傳感器布置和配置以及模擬車(chē)輛和行人的交通等因素。早期的一些模擬器[14]、[15]在虛擬環(huán)境中運(yùn)行自動(dòng)駕駛車(chē)輛，但缺乏一些重要元素，例如支持不同的傳感器和行人模擬。
Gazebo[16]是機(jī)器人學(xué)和相關(guān)研究領(lǐng)域中最流行的仿真平臺(tái)之一。它的模塊化設(shè)計(jì)允許不同的傳感器模型和物理引擎接入模擬器。但是用Gazebo來(lái)創(chuàng)造大型復(fù)雜的環(huán)境是很困難的，而且它難以達(dá)到現(xiàn)代游戲引擎（如Unreal[17]和Unity）的渲染效果。
還有一些其他流行的用于自動(dòng)駕駛的開(kāi)源模擬器，比如AirSim[18]、CARLA[19]和Deepdrive[20]。這些仿真器通常作為研究平臺(tái)創(chuàng)建，以支持強(qiáng)化學(xué)習(xí)或機(jī)器學(xué)習(xí)的合成數(shù)據(jù)生成，通常需要大量額外的努力來(lái)集成用戶(hù)的自動(dòng)駕駛系統(tǒng)和通訊模塊。
還有一些商用汽車(chē)模擬器，包括ANSYS[21]、dSPACE[22]、PreScan[23]、rFpro[24]、Cognata[25]、metamoto[26]和NVIDIA’s Drive Constellation [27]。然而，由于這些模擬器不是開(kāi)源的，用戶(hù)很難定制以滿(mǎn)足他們自己的特定需求或研究目標(biāo)。
如今，與駕駛相關(guān)的商業(yè)視頻游戲提供了逼真的環(huán)境。研究人員使用諸如俠盜獵車(chē)手V這樣的游戲來(lái)生成合成數(shù)據(jù)集[28]、[29]、[30]。然而，這通常需要一些黑客攻擊才能訪(fǎng)問(wèn)游戲中的資源，并可能違反用戶(hù)許可協(xié)議。此外，也很難支持?jǐn)z像頭以外的傳感器，并且確定地控制車(chē)輛以及行人和交通等非玩家角色。
3 LGSVL模擬器概述
圖2說(shuō)明了由LGSVL模擬器實(shí)現(xiàn)的自動(dòng)駕駛駕駛仿真工作流程。每個(gè)組件的詳細(xì)信息將在本節(jié)下面進(jìn)行解釋。
 
圖2 LGSVL的工作流程
  1. 用戶(hù)的自動(dòng)駕駛系統(tǒng)
用戶(hù)的自動(dòng)駕駛系統(tǒng)是用戶(hù)希望通過(guò)仿真開(kāi)發(fā)、測(cè)試和驗(yàn)證的系統(tǒng)。LGSVL Simulator目前提供與開(kāi)源平臺(tái)Apololl、Autoware.AI和Autoware.Auto5的現(xiàn)成參考集成。
用戶(hù)自動(dòng)駕駛系統(tǒng)通過(guò)通信接口連接到LGSVL。百度的Apollo平臺(tái)使用了一個(gè)名為Cyber RT的框架，它為模擬器提供了一個(gè)定制的網(wǎng)橋。Autoware.AI和Autoware.Auto，運(yùn)行在ROS和ROS2上，可以通過(guò)標(biāo)準(zhǔn)的開(kāi)源ROS和ROS2橋連接到LGSVL。圖3顯示了Autoware、Apollo和LGSVL一起運(yùn)行。
 
 
圖3 Autoware (上)和Apollo (下) 與LGSVL一起運(yùn)行
B. 仿真引擎
LGSVL利用Unity的游戲引擎進(jìn)行模擬，并利用Unity的最新技術(shù)，如高清渲染管道（HDRP），以模擬出接近真實(shí)世界的虛擬環(huán)境。仿真引擎的功能可以分為：環(huán)境仿真、傳感器仿真、車(chē)輛動(dòng)力學(xué)與控制仿真。圖4表示了仿真引擎和自動(dòng)駕駛系統(tǒng)之間的關(guān)系。
 
 
圖4 自主駕駛系統(tǒng)的高層次仿真體系結(jié)構(gòu)
環(huán)境模擬包括交通仿真和物理環(huán)境模擬，如天氣和時(shí)間。這些方面是測(cè)試場(chǎng)景模擬的重要組成部分。環(huán)境模擬的所有方面都可以通過(guò)Python API進(jìn)行控制。LGSVL模的仿真引擎是作為一個(gè)開(kāi)源項(xiàng)目開(kāi)發(fā)的。源代碼在GitHub上公開(kāi)，可執(zhí)行文件可以免費(fèi)下載和使用。
C. 傳感器和車(chē)輛模型
LGSVL的ego車(chē)輛傳感器配置是完全可定制的。例如，每個(gè)激光雷達(dá)傳感器的光束計(jì)數(shù)是可配置的。模擬器有一組默認(rèn)的傳感器可供選擇，目前包括攝像頭、激光雷達(dá)、毫米波雷達(dá)、GPS和IMU以及真值傳感器。用戶(hù)還可以構(gòu)建自己的自定義傳感器，并將其作為傳感器插件添加到模擬器中。圖5顯示了LGSVL中的一些傳感器：左欄顯示了一些物理傳感器，包括魚(yú)眼攝像頭傳感器、激光雷達(dá)傳感器和雷達(dá)傳感器；右欄顯示了一些真值傳感器，包括語(yǔ)義分割傳感器、深度傳感器和3D bounding box傳感器。
 
 
圖5 LGSVL傳感器。左：魚(yú)眼攝像頭、激光雷達(dá)和雷達(dá)；右：語(yǔ)義分割、深度和3D bounding box
除了默認(rèn)的參考傳感器外，LGSVL還支持用于自動(dòng)駕駛系統(tǒng)的真實(shí)世界傳感器模型。這些傳感器插件的參數(shù)與現(xiàn)實(shí)世界中的同類(lèi)產(chǎn)品（如Velodyne VLP-16激光雷達(dá)）相匹配，并以與真實(shí)傳感器相同的格式生成點(diǎn)云。此外，用戶(hù)可以創(chuàng)建自己的傳感器插件來(lái)實(shí)現(xiàn)新的變體，甚至是LGSVL默認(rèn)不支持的新類(lèi)型的傳感器。
LGSVL為ego汽車(chē)提供了一個(gè)基本的車(chē)輛動(dòng)力學(xué)模型。另一方面，可以通過(guò)第三方的接口，將車(chē)輛動(dòng)力學(xué)（FMI）的外部接口加載到另一個(gè)仿真系統(tǒng)中（可將仿真程序與仿真程序進(jìn)行交互）。因此，用戶(hù)可以將LGSVL與第三方車(chē)輛動(dòng)力學(xué)仿真工具耦合，以充分利用這兩個(gè)系統(tǒng)。
D. 3D環(huán)境和高精地圖
虛擬環(huán)境是自動(dòng)駕駛仿真系統(tǒng)的重要組成部分，它可以為自動(dòng)駕駛系統(tǒng)提供多種輸入。作為所有傳感器的輸入源，環(huán)境影響著自動(dòng)駕駛系統(tǒng)的感知、預(yù)測(cè)和跟蹤模塊。環(huán)境影響車(chē)輛動(dòng)力學(xué)，這是車(chē)輛控制模塊的關(guān)鍵因素。它還通過(guò)改變高精地圖來(lái)影響定位和規(guī)劃模塊，這取決于實(shí)際的3D環(huán)境。最后，三維環(huán)境是環(huán)境模擬的基礎(chǔ)，包括天氣、時(shí)間和動(dòng)態(tài)對(duì)象。
我們也可以從記錄的數(shù)據(jù)（圖像、點(diǎn)云等）創(chuàng)建真實(shí)場(chǎng)景的數(shù)字孿生體來(lái)復(fù)制和模擬真實(shí)世界。圖6顯示了我們?yōu)榧永Ｄ醽喼萆峋S爾的Borregas大道創(chuàng)建的數(shù)字孿生仿真環(huán)境。此外，我們還與北加州、內(nèi)華達(dá)州和猶他州合作，為GoMentum站的一部分制作了一個(gè)數(shù)字孿生模型[32]。GoMentum是一個(gè)自動(dòng)駕駛測(cè)試場(chǎng)地，位于加利福尼亞州康科德，擁有19英里的道路，48個(gè)十字路口，8個(gè)不同的測(cè)試區(qū)，占地2100英畝。對(duì)于GoMentum，我們?cè)谡鎸?shí)場(chǎng)地和虛擬場(chǎng)地都進(jìn)行了測(cè)試。
 
 
圖6 Borregas大道的數(shù)字孿生
LGSVL支持創(chuàng)建、編輯和導(dǎo)出現(xiàn)有3D環(huán)境的高清地圖。此功能允許用戶(hù)在三維環(huán)境中創(chuàng)建和編輯自定義高清地圖注釋。如圖7所示，LGSVL的高清地圖注釋具有非常豐富的信息，如車(chē)道、車(chē)道邊界線(xiàn)、交通信號(hào)、交通標(biāo)志、行人行走路線(xiàn)等。在圖形的右側(cè)，用戶(hù)可以通過(guò)在“創(chuàng)建模式”下選擇相應(yīng)的選項(xiàng)來(lái)進(jìn)行不同的注釋。
 
 
圖7 LGSVL的高清地圖示例和注釋工具
高精地圖注釋可以導(dǎo)出為以下幾種格式之一：Apollo 5.0高清地圖、Autoware Vector map、Lanelet2和OpenDrive 1.4，因此用戶(hù)可以將地圖文件用于自己的自動(dòng)駕駛系統(tǒng)。另一方面，如果用戶(hù)擁有支持格式的真實(shí)世界高清地圖，他/她可以將地圖導(dǎo)入到LGSVL的3D環(huán)境中。目前，支持導(dǎo)入的高清地圖格式有Apollo 5.0、Lanelet2和OpenDrive 1.4。由于能夠?qū)牒蛯?dǎo)出地圖注釋?zhuān)脩?hù)可以導(dǎo)入其他地方的高清地圖，編輯注釋?zhuān)缓笤俅螌?dǎo)出，以確保LGSVL中使用的高清地圖與用戶(hù)自動(dòng)駕駛系統(tǒng)使用的地圖一致。
E. 測(cè)試場(chǎng)景
測(cè)試場(chǎng)景包括模擬一個(gè)環(huán)境和狀況，在這種環(huán)境和狀況下，可以放置一個(gè)自動(dòng)駕駛系統(tǒng)來(lái)驗(yàn)證正確和預(yù)期的行為。它包含了許多變量，例如一天中的時(shí)間、天氣、路況以及移動(dòng)物體（如汽車(chē)、行人等）的分布和移動(dòng)。LGSVL提供了Python API，使用戶(hù)能夠與虛擬環(huán)境進(jìn)行交互。用戶(hù)可以編寫(xiě)腳本來(lái)為他們的需求創(chuàng)建場(chǎng)景——生成和控制非玩家角色車(chē)輛和行人，并設(shè)置環(huán)境參數(shù)。
4 應(yīng)用實(shí)例
LGSVL支持自動(dòng)駕駛的各種測(cè)試應(yīng)用。本節(jié)列出了一些實(shí)例。由于LGSVL的生態(tài)系統(tǒng)是一個(gè)開(kāi)放的環(huán)境，我們相信用戶(hù)將把這個(gè)范圍擴(kuò)展到更多不同的領(lǐng)域。
  1. SIL和HIL測(cè)試
LGSVL支持自動(dòng)駕駛系統(tǒng)的軟件在環(huán)（SIL）和硬件在環(huán)（HIL）測(cè)試。對(duì)于SIL測(cè)試，LGSVL為不同的傳感器生成數(shù)據(jù)，例如攝像頭傳感器的圖像和激光雷達(dá)傳感器的點(diǎn)云數(shù)據(jù)，以及由自動(dòng)駕駛系統(tǒng)的感知和定位模塊使用的GPS和IMU數(shù)據(jù)。這樣就可以對(duì)用戶(hù)的自動(dòng)駕駛系統(tǒng)進(jìn)行端到端的測(cè)試。此外，LGSVL還為其他自動(dòng)駕駛系統(tǒng)模塊生成輸入，以啟用單模塊（單元）測(cè)試。例如，可以生成三維邊界框來(lái)模擬感知模塊的輸出作為規(guī)劃模塊的輸入，因此用戶(hù)可以繞過(guò)感知模塊（即假設(shè)完美感知）來(lái)測(cè)試規(guī)劃模塊。
LGSVL支持一組底盤(pán)命令，因此運(yùn)行LGSVL模擬器的機(jī)器可以與運(yùn)行自動(dòng)駕駛系統(tǒng)的另一臺(tái)機(jī)器通信，后者可以使用這些底盤(pán)命令控制模擬的ego車(chē)輛。這使得HIL測(cè)試成為可能，自動(dòng)駕駛系統(tǒng)無(wú)法區(qū)分來(lái)自真實(shí)汽車(chē)的輸入和模擬數(shù)據(jù)，并且可以向LGSVL發(fā)送控制命令，其方式與發(fā)送給真實(shí)汽車(chē)的方式相同。
為了驗(yàn)證我們模擬的有效性，我們與加州大學(xué)伯克利分校合作，在GoMentum站的數(shù)字孿生模型[32]中測(cè)試了Scenic[33]生成的數(shù)千個(gè)場(chǎng)景，并選擇了幾個(gè)具有代表性的場(chǎng)景在真實(shí)的GoMentum站進(jìn)行測(cè)試。更多的細(xì)節(jié)，請(qǐng)參見(jiàn)[34]。
B. 機(jī)器學(xué)習(xí)與合成數(shù)據(jù)生成
LGSV提供了一個(gè)易于使用的Python API，可以收集和存儲(chǔ)攝像頭圖像和激光雷達(dá)數(shù)據(jù)以及各種真值信息——遮擋、截?cái)唷?D邊界框、3D邊界框、語(yǔ)義和實(shí)例分割等。用戶(hù)可以編寫(xiě)Python腳本來(lái)配置傳感器的內(nèi)部和外部參數(shù)，以及以自己的格式生成標(biāo)簽數(shù)據(jù)，用于感知訓(xùn)練。GitHub上提供了生成KITTI格式數(shù)據(jù)的示例Python腳本。
強(qiáng)化學(xué)習(xí)是自動(dòng)駕駛和機(jī)器人技術(shù)研究的一個(gè)活躍領(lǐng)域。在強(qiáng)化學(xué)習(xí)中，一個(gè)agent在一個(gè)基于策略的環(huán)境中采取行動(dòng)，通常以DNN來(lái)實(shí)現(xiàn)，并從環(huán)境中獲得一個(gè)作為反饋的獎(jiǎng)勵(lì)，該環(huán)境反過(guò)來(lái)又用來(lái)修改策略。這個(gè)過(guò)程通常需要在大量的事件中重復(fù)，然后才能獲得最佳解決方案。LGSVL通過(guò)Python API與OpenAI Gym[35]提供現(xiàn)成可用的集成，使LGSVL成為一個(gè)可用于OpenAI Gym強(qiáng)化學(xué)習(xí)的環(huán)境。
C. V2X系統(tǒng)
除了通過(guò)配備的傳感器感知世界，自動(dòng)駕駛汽車(chē)還可以從V2X（vehicle to everything）通信中獲益，例如通過(guò)V2V（vehicle to vehicle）獲取其他車(chē)輛的信息，并通過(guò)V2I（vehicle to infrastructure）獲取更多的環(huán)境信息。在現(xiàn)實(shí)世界中測(cè)試V2X比測(cè)試一輛獨(dú)立的汽車(chē)更困難，因?yàn)樗枰渌?chē)輛和基礎(chǔ)設(shè)施的支持。研究人員通常使用模擬器來(lái)測(cè)試和驗(yàn)證V2X算法[36]。LGSVL支持創(chuàng)建真實(shí)或虛擬傳感器插件，使用戶(hù)能夠創(chuàng)建特殊的V2X傳感器，以從其他車(chē)輛（V2V）、行人（V2P）或周?chē)A(chǔ)設(shè)施（V2I）獲取信息。因此，LGSVL可以用來(lái)測(cè)試V2X系統(tǒng)，也可以生成用于訓(xùn)練的合成數(shù)據(jù)。
D. 智慧城市
現(xiàn)代智慧城市系統(tǒng)利用路邊傳感器監(jiān)測(cè)交通流量。研究結(jié)果可用于控制交通信號(hào)燈，使交通更加順暢。這種系統(tǒng)需要不同的指標(biāo)來(lái)評(píng)估交通狀況。例如，我們想設(shè)定一個(gè)“停車(chē)”次數(shù)的指標(biāo)，當(dāng)車(chē)輛通過(guò)某個(gè)路口，“停車(chē)”被定義為當(dāng)車(chē)速在指定時(shí)間內(nèi)低于某個(gè)值，我們需要對(duì)“停車(chē)次數(shù)”進(jìn)行計(jì)數(shù)。這些指標(biāo)很難被人工收集。LGSVL也適用于這種應(yīng)用。使用我們的傳感器插件模型，用戶(hù)可以定義一種新型的傳感器，計(jì)算汽車(chē)的“停車(chē)”次數(shù)，因?yàn)槲覀冇袦?zhǔn)確的速度和位置信息。我們的可控插件允許用戶(hù)自定義紅綠燈和其他特殊的交通標(biāo)志，這些可以通過(guò)Python API進(jìn)行控制。
5 小結(jié)
我們介紹了LGSVL，一個(gè)基于Unity的高保真度自動(dòng)駕駛模擬器和相關(guān)系統(tǒng)。它已經(jīng)可以與Autoware和Apollo自動(dòng)駕駛系統(tǒng)集成在一起進(jìn)行端到端測(cè)試，并且可以很容易地?cái)U(kuò)展到其他類(lèi)似的系統(tǒng)。文中給出了幾個(gè)應(yīng)用實(shí)例來(lái)展示LGSVL的功能。
仿真引擎是開(kāi)源的，整個(gè)生態(tài)系統(tǒng)都是開(kāi)放的，這樣用戶(hù)就可以利用LGSVL進(jìn)行不同的應(yīng)用，并為生態(tài)系統(tǒng)添加自己的貢獻(xiàn)。模擬器將不斷增強(qiáng)，以滿(mǎn)足用戶(hù)群體的新需求。
 
 
 
 
 
分享到：
 
反對(duì) 0 舉報(bào) 0 收藏 0 評(píng)論 0
滬ICP備11026917號(hào)-25