自動(dòng)駕駛實(shí)驗(yàn)室
這是NVIDIA DRIVE Labs自動(dòng)駕駛實(shí)驗(yàn)室系列視頻的第二十一集，在上一集中我們講了AI如何幫助自動(dòng)駕駛汽車?yán)斫饨徊婵凇Ｔ谧詣?dòng)駕駛實(shí)驗(yàn)室系列視頻中，我們將以工程技術(shù)為重點(diǎn)的視角關(guān)注實(shí)現(xiàn)自動(dòng)駕駛汽車的各個(gè)挑戰(zhàn)以及NVIDIA DRIVE AV軟件團(tuán)隊(duì)如何應(yīng)對(duì)這些問(wèn)題。

任務(wù)：
預(yù)測(cè)未來(lái)軌跡

方法：
PredictionNet

車輛行駛過(guò)程中需要對(duì)未來(lái)進(jìn)行預(yù)測(cè)。每當(dāng)汽車突然駛?cè)肽硞€(gè)車道或多輛汽車在同一十字路口相遇時(shí)，為了確保安全，駕駛員必須對(duì)其他對(duì)象的行為進(jìn)行預(yù)測(cè)。

人類駕駛員依靠駕駛過(guò)程中的線索以及個(gè)人經(jīng)驗(yàn)對(duì)情況進(jìn)行分析，而自動(dòng)駕駛汽車可以通過(guò)AI預(yù)測(cè)交通模式，并在復(fù)雜的環(huán)境中安全行駛。

NVIDIA訓(xùn)練的PredictionNet深度神經(jīng)網(wǎng)絡(luò)能讓自動(dòng)駕駛汽車全方位了解周圍駕駛環(huán)境，并根據(jù)實(shí)時(shí)感知和地圖數(shù)據(jù)預(yù)測(cè)行人或其他車輛的未來(lái)軌跡。

PredictionNet能夠通過(guò)分析路上所有行人和車輛過(guò)往的移動(dòng)情況預(yù)測(cè)他們的未來(lái)軌跡。通過(guò)分析過(guò)往移動(dòng)情況，DNN會(huì)得到車輛或行人的過(guò)往位置，并且還會(huì)獲取場(chǎng)景中固定對(duì)象和地標(biāo)的位置，例如地圖上的交通信號(hào)燈、交通標(biāo)志和車道線標(biāo)志。

基于這些柵格化俯視圖信息輸入，DNN可以預(yù)測(cè)路上車輛和行人的未來(lái)軌跡，如圖1所示。

預(yù)測(cè)未來(lái)本身具有不確定性。PredictionNet可以通過(guò)提供每個(gè)車輛或行人未來(lái)軌跡的預(yù)測(cè)統(tǒng)計(jì)信息來(lái)解決不確定性問(wèn)題，如圖1所示。

PredictionNet的預(yù)測(cè)結(jié)果以俯視圖形式展現(xiàn)。灰線代表地圖，白虛線代表DNN預(yù)測(cè)的車輛軌跡，而白框代表實(shí)際發(fā)生的軌跡數(shù)據(jù)。彩色云代表預(yù)測(cè)車輛軌跡的概率分布，較暖顏色代表在時(shí)間上與當(dāng)前時(shí)間更近的點(diǎn)，較冷顏色代表在將來(lái)更遠(yuǎn)的點(diǎn)。

從上到下卷積RNN處理方式

之前，預(yù)測(cè)自動(dòng)駕駛汽車交通軌跡的方法包括利用仿真學(xué)習(xí)模型和生成模型對(duì)未來(lái)軌跡進(jìn)行采樣，以及使用卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)處理感知輸入，并預(yù)測(cè)未來(lái)軌跡。

PredictionNet采用了基于RNN的二維卷積架構(gòu)，對(duì)任意車輛或行人以及預(yù)測(cè)范圍數(shù)量都具有高度可擴(kuò)展性。

該方式與其他RNN一樣，不同時(shí)間步長(zhǎng)被依次輸入DNN。每個(gè)時(shí)間步長(zhǎng)均由俯視圖展示，該俯視圖能夠顯示當(dāng)時(shí)車輛周圍的環(huán)境，包括通過(guò)實(shí)時(shí)感知到的動(dòng)態(tài)障礙物以及地圖上的固定地標(biāo)。

該俯視圖在傳輸給RNN之前會(huì)經(jīng)過(guò)一組2D卷積處理。在當(dāng)前操作中，PredictionNet能夠輕松預(yù)測(cè)1到5秒的未來(lái)軌跡，這取決于場(chǎng)景的復(fù)雜性（例如，公路還是城市）。

PredictionNet模型還適用于TensorRT深度學(xué)習(xí)推理SDK中的高效運(yùn)行，在NVIDIA TITAN RTX GPU上實(shí)現(xiàn)了10毫秒端到端推理。

可擴(kuò)展結(jié)果

到目前為止的結(jié)果表明，PredictionNet在幾種復(fù)雜的交通場(chǎng)景下都具有很高的應(yīng)用前景。例如，DNN可以預(yù)測(cè)哪些汽車將直行通過(guò)十字路口，哪些將轉(zhuǎn)彎，還能夠正確預(yù)測(cè)汽車匯入高速公路場(chǎng)景中的行為。

我們還觀察到PredictionNet能夠分析場(chǎng)景中車輛的速度和加速度，這使其能夠正確預(yù)測(cè)快速移動(dòng)和完全停止的車輛的速度，以及停走交通模式。

為了達(dá)到更高的預(yù)測(cè)精度，我們?cè)诟呔鹊募す饫走_(dá)數(shù)據(jù)上對(duì)PredictionNet進(jìn)行訓(xùn)練。然而，輸入DNN的推理時(shí)間感知可以基于任何傳感器輸入組合（即攝像頭、雷達(dá)或激光雷達(dá)數(shù)據(jù)），且無(wú)需重新訓(xùn)練。這意味著DNN的預(yù)測(cè)功能可用于各種傳感器配置和自動(dòng)駕駛級(jí)別，從L2+級(jí)系統(tǒng)一直到L4或L5級(jí)。

PredictionNet實(shí)時(shí)預(yù)測(cè)行為的能力還能用于創(chuàng)建交互式訓(xùn)練環(huán)境，以加強(qiáng)基于學(xué)習(xí)的規(guī)劃和控制策略，實(shí)現(xiàn)自動(dòng)巡航控制、車道變更或交叉路口處理等功能。

借助PredictionNet對(duì)其他道路使用者基于真實(shí)世界經(jīng)驗(yàn)對(duì)自動(dòng)駕駛汽車做出的反應(yīng)進(jìn)行仿真，我們能夠訓(xùn)練出一個(gè)更安全、可靠且彬彬有禮的“AI駕駛員”。