日本无码免费高清在线|成人日本在线观看高清|A级片免费视频操逼欧美|全裸美女搞黄色大片网站|免费成人a片视频|久久无码福利成人激情久久|国产视频一二国产在线v|av女主播在线观看|五月激情影音先锋|亚洲一区天堂av

  • 手機(jī)站
  • 小程序

    汽車(chē)測(cè)試網(wǎng)

  • 公眾號(hào)

    • 汽車(chē)測(cè)試網(wǎng)

    • 在線(xiàn)課堂

    • 電車(chē)測(cè)試

通過(guò)學(xué)習(xí)的交通先驗(yàn)知識(shí)產(chǎn)生可能出事故的駕駛場(chǎng)景

2022-01-23 00:37:54·  來(lái)源：計(jì)算機(jī)視覺(jué)深度學(xué)習(xí)和自動(dòng)駕駛  作者：黃浴  
　
arXiv在2021年12月9號(hào)上傳論文"Generating Useful Accident-Prone Driving Scenarios via a Learned Traffic Prior"，作者來(lái)自斯坦福大學(xué)、英偉達(dá)、多倫多大學(xué)和
arXiv在2021年12月9號(hào)上傳論文"Generating Useful Accident-Prone Driving Scenarios via a Learned Traffic Prior"，作者來(lái)自斯坦福大學(xué)、英偉達(dá)、多倫多大學(xué)和Vector Inst。

評(píng)估和改進(jìn)自動(dòng)駕駛車(chē)輛的規(guī)劃需要可規(guī)?；拈L(zhǎng)尾交通場(chǎng)景生成。這些場(chǎng)景必須真實(shí)且具有挑戰(zhàn)性，但并非不可能安全駕駛。該文介紹STRIVE（Stress-Test dRIVE），一種自動(dòng)生成具有挑戰(zhàn)性場(chǎng)景的方法，該場(chǎng)景會(huì)讓給定規(guī)劃器產(chǎn)生不希望的行為，如碰撞。為了保持場(chǎng)景的合理性，關(guān)鍵思想是以基于圖conditional variational autoencoder（CVAE）的形式采用已學(xué)習(xí)的交通運(yùn)動(dòng)模型。場(chǎng)景生成是在該交通模型的潛空間進(jìn)行優(yōu)化，擾動(dòng)初始真實(shí)場(chǎng)景產(chǎn)生與給定規(guī)劃器發(fā)生碰撞的軌跡。隨后的優(yōu)化用于找到場(chǎng)景的“解決方案”，確保它有助于改進(jìn)給定的規(guī)劃器。進(jìn)一步的分析，基于碰撞類(lèi)型，聚類(lèi)這些場(chǎng)景。實(shí)驗(yàn)中攻擊了兩個(gè)規(guī)劃器，并證明在這兩種情況下，STRIVE成功地生成了真實(shí)具有挑戰(zhàn)性的場(chǎng)景。此外，實(shí)現(xiàn)“閉環(huán)”，并用這些場(chǎng)景優(yōu)化一個(gè)基于規(guī)則的規(guī)劃器超參數(shù)。
如圖所示：STRIVE為給定的規(guī)劃器生成具有挑戰(zhàn)性的場(chǎng)景。對(duì)抗優(yōu)化會(huì)擾亂所學(xué)習(xí)交通模型潛空間的真實(shí)場(chǎng)景，導(dǎo)致對(duì)抗（紅色）與規(guī)劃器（綠色）發(fā)生碰撞。后續(xù)的解決方案優(yōu)化會(huì)找到規(guī)劃器的軌跡避免碰撞，而驗(yàn)證場(chǎng)景有助于確定規(guī)劃器的改進(jìn)。

核心思想是，通過(guò)學(xué)習(xí)生成的交通運(yùn)動(dòng)模型可能性，衡量?jī)?yōu)化過(guò)程中場(chǎng)景的合理性，該模型鼓勵(lì)場(chǎng)景具有挑戰(zhàn)性，但又真實(shí)。因此，STRIVE不會(huì)提前選擇特定的對(duì)抗，而是聯(lián)合優(yōu)化所有場(chǎng)景智體，從而產(chǎn)生多種多樣的場(chǎng)景。此外，為了適應(yīng)實(shí)踐中廣泛使用的不可微（或不可訪(fǎng)問(wèn)）規(guī)劃器，所提出的優(yōu)化在學(xué)習(xí)的運(yùn)動(dòng)模型中使用規(guī)劃器的可微智體表征，從而允許用標(biāo)準(zhǔn)的基于梯度方法進(jìn)行優(yōu)化。
STRIVE不了解規(guī)劃器的內(nèi)部結(jié)構(gòu)，也無(wú)法通過(guò)它計(jì)算梯度。不可取行為包括與其他車(chē)輛發(fā)生碰撞、不能駕駛地形、駕駛不舒適（如高加速）以及違反交通法規(guī)。雖然公式是一般性的，原則上可以處理其他目標(biāo)（objective）函數(shù)優(yōu)化，但重點(diǎn)是與規(guī)劃器一起生成車(chē)輛碰撞相關(guān)的事故多發(fā)場(chǎng)景。
輸入是一個(gè)規(guī)劃器和一個(gè)地圖（語(yǔ)義層），初始場(chǎng)景是給定2D BEV表示軌跡的多個(gè)智體，其中軌跡是2D 位置、朝向、速度和轉(zhuǎn)角率。場(chǎng)景生成會(huì)打亂所有非自車(chē)智體的軌跡，最好地滿(mǎn)足對(duì)抗目標(biāo)：

可能自行車(chē)模型可以?xún)?yōu)化一個(gè)或一組對(duì)抗目標(biāo)，這里采用VAE-type NN去學(xué)習(xí)交通模型的建模，然后在一個(gè)場(chǎng)景中參數(shù)化所有軌跡變成一個(gè)潛空間的向量，以此作為一個(gè)場(chǎng)景的合理性先驗(yàn)。
如圖是學(xué)習(xí)的交通模型測(cè)試架構(gòu)：為了對(duì)場(chǎng)景所有智體未來(lái)軌跡進(jìn)行聯(lián)合采樣，首先對(duì)每個(gè)智體分別處理過(guò)去的運(yùn)動(dòng)和局部地圖環(huán)境信息。然后，計(jì)算條件先驗(yàn)，輸出每個(gè)節(jié)點(diǎn)的潛分布，該分布可通過(guò)auto regressive（AR）解碼器進(jìn)行采樣饋入，預(yù)測(cè)未來(lái)的智體軌跡。

為了在測(cè)試時(shí)對(duì)未來(lái)運(yùn)動(dòng)進(jìn)行采樣，使用條件先驗(yàn)網(wǎng)絡(luò)和解碼器；兩者都是圖神經(jīng)網(wǎng)絡(luò)（GNN），在所有智體全連接的場(chǎng)景圖運(yùn)行。先驗(yàn)?zāi)Ｐ?，包括一組智體的潛向量。輸入場(chǎng)景圖的每個(gè)節(jié)點(diǎn)都包含從該智體過(guò)去軌跡提取的上下文特征、局部光柵化地圖、邊界框大小和語(yǔ)義類(lèi)等。消息傳遞（message passing）后，先驗(yàn)網(wǎng)絡(luò)輸出場(chǎng)景中每個(gè)智體的高斯分布參數(shù)，形成“分布”潛表征，捕捉未來(lái)可能的變化。
確定性解碼器在場(chǎng)景圖操作，每個(gè)節(jié)點(diǎn)都有采樣的潛向量和過(guò)去軌跡上下文。解碼是自回歸（AR）方式執(zhí)行的：在時(shí)間步t，一輪消息傳遞在預(yù)測(cè)每個(gè)智體加速之前解決交互；通過(guò)運(yùn)動(dòng)自行車(chē)模型，加速度立即獲得下一個(gè)狀態(tài)，該狀態(tài)在繼續(xù)展開(kāi)之前更新軌跡上下文。解碼器的可決定性和圖結(jié)構(gòu)鼓勵(lì)場(chǎng)景一致的未來(lái)，即使在智體獨(dú)立采樣時(shí)也是如此。重要的是，對(duì)于潛向量?jī)?yōu)化，即使輸入潛向量不太可能，解碼器通過(guò)動(dòng)態(tài)自行車(chē)模型確保合理的車(chē)輛動(dòng)力學(xué)。
與場(chǎng)景交互模塊一樣，先驗(yàn)網(wǎng)絡(luò)、后驗(yàn)（編碼器）網(wǎng)絡(luò)和解碼器都是圖神經(jīng)網(wǎng)絡(luò)（GNN），包括edge network, aggregation function, 和 update network。解碼器會(huì)加入一個(gè)RNN（GRU）架構(gòu)。
訓(xùn)練的CVAE目標(biāo)函數(shù)是：

為此引入一個(gè)后驗(yàn)網(wǎng)絡(luò)，類(lèi)似于先驗(yàn)，這樣得到：

其中


潛場(chǎng)景參數(shù)化在兩個(gè)方面促進(jìn)其合理性。首先，由于解碼器是根據(jù)真實(shí)數(shù)據(jù)進(jìn)行訓(xùn)練的，如果潛向量保持在學(xué)習(xí)的流形（manifold）附近，輸出真實(shí)的交通模式。其次，學(xué)習(xí)的先驗(yàn)網(wǎng)絡(luò)給出一個(gè)潛向量分布，用于懲罰不太可能出現(xiàn)的潛向量。這種強(qiáng)大的先驗(yàn)行為合理性可聯(lián)合優(yōu)化場(chǎng)景的所有智體，而不是事先選擇的一小部分特定“對(duì)抗”。
如圖所示：在對(duì)抗性?xún)?yōu)化的每個(gè)步驟，規(guī)劃器和非自車(chē)的潛表征都用學(xué)習(xí)的解碼器進(jìn)行解碼，非自車(chē)軌跡提供給規(guī)劃器在場(chǎng)景中展開(kāi)。最后，計(jì)算各個(gè)損失。

對(duì)抗優(yōu)化包括兩個(gè)目標(biāo)：
  • Match Planner 內(nèi)部近似和真規(guī)劃器輸出的匹配

  • Collide with Planner 讓規(guī)劃器和其他車(chē)輛發(fā)生碰撞

對(duì)抗項(xiàng)，通過(guò)最小化受控智體和規(guī)劃器當(dāng)前交通模型近似之間的位置距離，來(lái)鼓勵(lì)碰撞：

（9）的系數(shù)找到一個(gè)和規(guī)劃器碰撞的候選智體及其時(shí)間步，系數(shù)最大的智體就是那個(gè)基于距離的對(duì)抗。
先驗(yàn)項(xiàng)，鼓勵(lì)潛向量處在先驗(yàn)網(wǎng)絡(luò)：

（11）的系數(shù)加權(quán)接近零的對(duì)抗，即接近與規(guī)劃器發(fā)生碰撞的智體，允許偏離所學(xué)的交通流形（manifold），展示罕見(jiàn)且具有挑戰(zhàn)性的行為。
初始項(xiàng)，鼓勵(lì)在潛空間靠近初始化：

最后，碰撞項(xiàng)阻止非自車(chē)彼此相互碰撞以及進(jìn)入不可駕駛區(qū)域。
在生成場(chǎng)景之后，需要進(jìn)一步優(yōu)化得到一個(gè)解決，即避免碰撞。非自車(chē)潛向量被調(diào)整以保持對(duì)抗軌跡，而規(guī)劃的潛向量，進(jìn)行優(yōu)化以避免碰撞，并保持在先前的狀態(tài)下。其解決方案優(yōu)化和對(duì)抗優(yōu)化的目標(biāo)函數(shù)分別如下：

為深入了解沖突場(chǎng)景分布并通知下游應(yīng)用，作者提出了一種簡(jiǎn)單的方法進(jìn)行聚類(lèi)和標(biāo)記。場(chǎng)景的特點(diǎn)是在碰撞時(shí)規(guī)劃器和對(duì)抗之間的關(guān)系：在規(guī)劃器的局部框架中，計(jì)算對(duì)抗的相對(duì)位置和航向，對(duì)位置進(jìn)行歸一化，給出碰撞方向；這些碰撞特征通過(guò)k-means聚類(lèi)，形成語(yǔ)義相似的事故分組，并通過(guò)視覺(jué)檢查進(jìn)行標(biāo)記。
對(duì)于大量標(biāo)記的碰撞場(chǎng)景，規(guī)劃器可以通過(guò)兩種方式進(jìn)行改進(jìn)。首先，如果生成許多相同類(lèi)型的場(chǎng)景，可能需要對(duì)功能進(jìn)行離散改進(jìn)。例如，嚴(yán)格遵循車(chē)道的規(guī)劃器在沒(méi)有轉(zhuǎn)向時(shí)會(huì)受到迎面或背后的碰撞，這表明必要的離開(kāi)車(chē)道圖（lane graph）新功能。其次，場(chǎng)景提供用于調(diào)整超參數(shù)或?qū)W習(xí)參數(shù)的數(shù)據(jù)。
另外，實(shí)驗(yàn)中有一個(gè)簡(jiǎn)單但有效的基于規(guī)則規(guī)劃器，作為現(xiàn)實(shí)世界規(guī)劃器的智體?；谝?guī)則的規(guī)劃器模仿了2007年DARPA城市挑戰(zhàn)賽成功團(tuán)隊(duì)使用的運(yùn)動(dòng)規(guī)劃器結(jié)構(gòu)。簡(jiǎn)而言之，它完全依賴(lài)于車(chē)道圖來(lái)預(yù)測(cè)非自車(chē)的未來(lái)軌跡，并生成自車(chē)的候選軌跡。在這些候選者中，它選擇覆蓋距離最遠(yuǎn)且“碰撞概率”較低的那個(gè)。規(guī)劃器行為受超參數(shù)影響，如最大速度/加速度以及碰撞概率如何計(jì)算。該規(guī)劃器還有一個(gè)額外的限制，即它不能變道，這是STRIVE生成場(chǎng)景所暴露的限制。
其初始化和對(duì)抗優(yōu)化目標(biāo)函數(shù)分別為：
實(shí)驗(yàn)采用nuScenes數(shù)據(jù)集訓(xùn)練交通模型和初始化對(duì)抗優(yōu)化。包含20秒的交通剪輯，標(biāo)注頻率為2赫茲，將其分為8秒場(chǎng)景。僅用汽車(chē)和卡車(chē)，交通模型運(yùn)行在柵格化的可駕駛區(qū)域、停車(chē)場(chǎng)區(qū)域、道路分隔帶和車(chē)道分隔帶地圖層。用nuScenes prediction challenge的分組和設(shè)置，即過(guò)去運(yùn)動(dòng)的2秒（4步）來(lái)預(yù)測(cè)未來(lái)的6秒（12步），這意味著碰撞場(chǎng)景的長(zhǎng)度為8秒，但未來(lái)只有6秒軌跡得到優(yōu)化。
場(chǎng)景生成在兩個(gè)不同的規(guī)劃器進(jìn)行評(píng)估?；胤牛╮eplay）的規(guī)劃器只是從nuScenes數(shù)據(jù)中回放真值自車(chē)軌跡。這是一個(gè)開(kāi)環(huán)設(shè)置，規(guī)劃器未來(lái)6s完全展開(kāi)，無(wú)需重新規(guī)劃?；谝?guī)則的規(guī)劃器允許更真實(shí)的閉環(huán)設(shè)置，其中規(guī)劃器在未來(lái)的展開(kāi)過(guò)程中，對(duì)周?chē)求w的反應(yīng)，是做5Hz的重新規(guī)劃。
實(shí)驗(yàn)結(jié)果如下：
場(chǎng)景生成中Rule-based planner結(jié)果

場(chǎng)景生成中Replay－planner和自行車(chē)模型的結(jié)果比較：

場(chǎng)景生成的結(jié)果比較評(píng)估：

場(chǎng)景生成中Replay planner和自行車(chē)模型的比較：

這是場(chǎng)景生成的分布比較以及用來(lái)調(diào)整多模態(tài)Oracle　planner的場(chǎng)景：

STRIVE自動(dòng)規(guī)?；厣珊侠?、易發(fā)生事故的場(chǎng)景，以改進(jìn)給定的規(guī)劃器。然而，其局限性提供了潛在的未來(lái)方向。假設(shè)完美的感知，并且只攻擊規(guī)劃器，但是交通模型場(chǎng)景參數(shù)化來(lái)附加攻擊檢測(cè)和跟蹤是非常有趣的。當(dāng)前版本的STRIVE根據(jù)現(xiàn)有數(shù)據(jù)生成場(chǎng)景，僅考慮車(chē)輛之間的碰撞，但其他危險(xiǎn)或不舒適場(chǎng)景，如涉及行人和自行車(chē)的事件，也很重要。此外，其他類(lèi)型的對(duì)抗，如添加/刪除環(huán)境中的元素和更改地圖拓?fù)?，將發(fā)現(xiàn)額外的弱點(diǎn)。
該方法旨在通過(guò)將自動(dòng)駕駛車(chē)暴露于類(lèi)似于現(xiàn)實(shí)世界的挑戰(zhàn)性罕見(jiàn)場(chǎng)景中，這樣可以更安全。然而，在對(duì)抗場(chǎng)景下對(duì)規(guī)劃器進(jìn)行天真的調(diào)整可能會(huì)導(dǎo)致更危險(xiǎn)的行為。必須注意以安全的方式將生成的場(chǎng)景集成到自動(dòng)駕駛車(chē)測(cè)試和設(shè)計(jì)中。
分享到：
 
反對(duì) 0 舉報(bào) 0 收藏 0 評(píng)論 0
滬ICP備11026917號(hào)-25