NVIDIA自動(dòng)駕駛實(shí)驗(yàn)室:自動(dòng)駕駛汽車如何預(yù)測(cè)未來(lái)移動(dòng)軌跡

自動(dòng)駕駛實(shí)驗(yàn)室
這是NVIDIA DRIVE Labs自動(dòng)駕駛實(shí)驗(yàn)室系列視頻的第四集,在上一集中我們介紹了NVIDIA借助ClearSightNet評(píng)估攝像頭的可見度并幫助確定遮擋、障礙以及可見度降低的根本原因,以知曉自動(dòng)駕駛汽車是否擁有清晰視野。在自動(dòng)駕駛實(shí)驗(yàn)室系列視頻中,我們將以工程技術(shù)為重點(diǎn)的視角關(guān)注實(shí)現(xiàn)自動(dòng)駕駛汽車的各個(gè)挑戰(zhàn)以及NVIDIA DRIVE AV軟件團(tuán)隊(duì)如何應(yīng)對(duì)這些問題。
任務(wù):
預(yù)測(cè)目標(biāo)的未來(lái)移動(dòng)軌跡
方法:
循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)
在行車過程中,駕駛員會(huì)遇見其他注意力不集中的駕駛員不合理變道或者行人突然從停放的車輛之間竄出來(lái)的情況,駕駛狀況可以說是變化無(wú)常。這種意外操作的存在意味著駕駛員在行車過程中,需要為未來(lái)將出現(xiàn)的各種駕駛情況做好準(zhǔn)備。
如果我們能夠準(zhǔn)確地預(yù)測(cè)一輛汽車是否會(huì)突然繞到我們車輛的前方,或者行人是否會(huì)穿過馬路,我們就能夠?yàn)樽约旱鸟{駛操作做出最佳的規(guī)劃決策。
其關(guān)鍵在于分析圖像序列中的時(shí)態(tài)信息,并且即使在擁有不確定性和不可預(yù)測(cè)性的情況下,也能準(zhǔn)確預(yù)測(cè)目標(biāo)的未來(lái)運(yùn)動(dòng)。
為了實(shí)現(xiàn)這種預(yù)測(cè),NVIDIA使用了深度神經(jīng)網(wǎng)絡(luò)家族中的成員之一,我們稱之為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)。
什么是循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)?
典型的卷積神經(jīng)網(wǎng)絡(luò)(CNN)處理給定圖像幀中的信息,并且獨(dú)立于它們從之前圖像幀中學(xué)習(xí)到的信息。然而循環(huán)神經(jīng)網(wǎng)絡(luò)擁有記憶功能,因此它們?cè)谟?jì)算并預(yù)測(cè)未來(lái)時(shí)可以利用過去的學(xué)習(xí)結(jié)果。
可以說,循環(huán)神經(jīng)網(wǎng)絡(luò)能夠利用自然的方式提取一個(gè)時(shí)間序列的圖像(也就是視頻),并生成最先進(jìn)的時(shí)間預(yù)測(cè)結(jié)果。
擁有從大量時(shí)態(tài)數(shù)據(jù)中學(xué)習(xí)的能力是循環(huán)神經(jīng)網(wǎng)絡(luò)的重要優(yōu)勢(shì)。由于循環(huán)神經(jīng)網(wǎng)絡(luò)并不僅僅依賴圖像中本地的、幀到幀且基于像素的變化,在對(duì)行人及動(dòng)物等非剛性移動(dòng)目標(biāo)的未來(lái)運(yùn)動(dòng)軌跡進(jìn)行預(yù)測(cè)時(shí),該網(wǎng)絡(luò)擁有更高的可靠性。
循環(huán)神經(jīng)網(wǎng)絡(luò)在預(yù)測(cè)移動(dòng)目標(biāo)未來(lái)軌跡(即移動(dòng)目標(biāo)的未來(lái)位置和速度)時(shí)還可以使用上下文信息,如一個(gè)給定目標(biāo)相對(duì)于其靜態(tài)環(huán)境將如何移動(dòng)。
利用跨傳感器數(shù)據(jù)訓(xùn)練循環(huán)神經(jīng)網(wǎng)絡(luò)
雷達(dá)和激光雷達(dá)傳感器非常擅長(zhǎng)測(cè)量移動(dòng)目標(biāo)的速度。 因此,NVIDIA使用來(lái)自兩個(gè)傳感器的數(shù)據(jù)來(lái)生成地面實(shí)況信息去訓(xùn)練循環(huán)神經(jīng)網(wǎng)絡(luò)以預(yù)測(cè)目標(biāo)的速度,而不試圖使用從人類標(biāo)記的攝像頭圖像中提取此類信息。

具體來(lái)說,我們將激光雷達(dá)和雷達(dá)的信息輸入到攝像頭域中,并用速度數(shù)據(jù)標(biāo)記攝像頭圖像。這就使我們能夠利用跨傳感器融合來(lái)創(chuàng)建一個(gè)自動(dòng)的數(shù)據(jù)流程,為循環(huán)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練生成地面實(shí)況信息。
循環(huán)神經(jīng)網(wǎng)絡(luò)輸出包括每個(gè)在場(chǎng)景中檢測(cè)到的動(dòng)態(tài)對(duì)象(如車輛和行人)的碰撞時(shí)間(TTC)、未來(lái)位置以及未來(lái)速度預(yù)測(cè)。這些結(jié)果能夠?yàn)樽詣?dòng)駕駛汽車中的縱向控制功能(如自動(dòng)巡航控制和自動(dòng)緊急制動(dòng))提供必要的輸入信息。
借助循環(huán)神經(jīng)網(wǎng)絡(luò)從過去學(xué)習(xí)的能力,NVIDIA能夠?yàn)樽詣?dòng)駕駛汽車創(chuàng)造更安全的未來(lái)。
廣告 編輯推薦
最新資訊
-
“汽車爬坡試驗(yàn)方法”將有國(guó)家標(biāo)準(zhǔn)
2026-03-03 12:44
-
十年耐久監(jiān)管時(shí)代:電池系統(tǒng)開發(fā)策略將如何
2026-03-03 12:44
-
聯(lián)合國(guó)法規(guī)R59對(duì)機(jī)動(dòng)車備用消聲系統(tǒng)的工程
2026-03-03 12:08
-
聯(lián)合國(guó)法規(guī)R58對(duì)后下部防護(hù)裝置的工程化約
2026-03-03 12:07
-
聯(lián)合國(guó)法規(guī)R57對(duì)摩托車前照燈配光性能的工
2026-03-03 12:07





廣告


























































