作者提出一個(gè)系統(tǒng)，Learning from All Vehicles (LAV) ，根據(jù)自車收集的經(jīng)驗(yàn)，以及從其觀察到的所有車輛收集的經(jīng)驗(yàn)來訓(xùn)練駕駛策略。該系統(tǒng)用其他智體的行為創(chuàng)建更多樣化的駕駛場景，無需收集額外數(shù)據(jù)。從其他車輛學(xué)習(xí)的主要困難是沒有傳感器信息。用一組監(jiān)督任務(wù)來學(xué)習(xí)中間表示，其對控制車輛的視點(diǎn)具有不變性。這不僅在訓(xùn)練時(shí)提供了更豐富的信號，而且允許在推理過程中進(jìn)行更復(fù)雜的推理。了解所有車輛的駕駛方式有助于測試時(shí)預(yù)測其行為，并可以避免碰撞。在閉環(huán)駕駛仿真中評估了該系統(tǒng)，大大優(yōu)于公共Carla排行榜的方法。

代碼：https: //github.com/dotchen/LAV.

如圖所示：LAV是一個(gè)基于無地圖的學(xué)習(xí)型端到端駕駛系統(tǒng)。LAV將多模傳感器讀數(shù)作為輸入，并從場景中所有附近車輛學(xué)習(xí)，進(jìn)行感知和規(guī)劃。在測試時(shí)，LAV預(yù)測所有檢測車輛（包括自車）的多模態(tài)未來軌跡。

如圖是智體流水線概述：3D主干融合激光雷達(dá)測量和RGB攝像機(jī)的語義分割，生成2D空間特征地圖。該共享特征圖用作運(yùn)動(dòng)規(guī)劃器的輸入。在推理時(shí)間（a），用中心裁剪來預(yù)測自車軌跡。在訓(xùn)練時(shí)（b），用附近車輛的真值檢測，從所有可見車輛訓(xùn)練運(yùn)動(dòng)規(guī)劃器。檢測結(jié)果用共享特征圖的旋轉(zhuǎn)ROI表示。最后，在推理時(shí)，控制器將多個(gè)運(yùn)動(dòng)預(yù)測聚合為單個(gè)轉(zhuǎn)向和加速命令。

目標(biāo)是建立一個(gè)確定性駕駛模型π，該模型在每個(gè)時(shí)間步長t將傳感器數(shù)據(jù)、高級導(dǎo)航命令和車輛狀態(tài)映射到原始控制命令。選擇端到端可微的三步模塊化流水線：感知模塊、運(yùn)動(dòng)規(guī)劃器和低級控制器。

感知模塊從大規(guī)模標(biāo)記監(jiān)督中訓(xùn)練，有兩個(gè)目標(biāo)：創(chuàng)建周圍世界的魯棒泛化表示，以及構(gòu)建車輛不變特征，有助于監(jiān)督運(yùn)動(dòng)規(guī)劃器。

運(yùn)動(dòng)規(guī)劃器用感知模型的地圖視圖特征生成一系列描述車輛未來軌跡的路點(diǎn)。運(yùn)動(dòng)規(guī)劃通常僅使用自車監(jiān)督來進(jìn)行此預(yù)測。這種監(jiān)督非常稀疏，為運(yùn)動(dòng)規(guī)劃器提供的收集數(shù)據(jù)點(diǎn)只有一系列標(biāo)簽。在LAV框架中，從圍繞自車的所有智體中學(xué)習(xí)運(yùn)動(dòng)規(guī)劃。這是可能的，因?yàn)楦兄到y(tǒng)產(chǎn)生車輛不變特征作為輸入；這也是因?yàn)檫\(yùn)動(dòng)規(guī)劃器的輸出，即未來軌跡，可以很容易地從真實(shí)駕駛?cè)罩局蝎@得。

最后，低級控制器將運(yùn)動(dòng)計(jì)劃轉(zhuǎn)換為在車輛上執(zhí)行的實(shí)際轉(zhuǎn)向和加速命令。在測試時(shí)，低級控制器會(huì)考慮其他車輛的運(yùn)動(dòng)規(guī)劃，做出緊急停車決策。

如圖是模型訓(xùn)練流水線概述：（a） 用檢測和語義映射作為監(jiān)控信號來訓(xùn)練3-D感知模型。這兩項(xiàng)任務(wù)都有助于學(xué)習(xí)視點(diǎn)不變的空間表示。檢測還可以預(yù)測其他車輛的姿態(tài)，這些姿態(tài)在推理時(shí)預(yù)測其未來的軌跡。感知模塊生成用于運(yùn)動(dòng)規(guī)劃中與車輛無關(guān)的特征表示。（b） 同時(shí)通過真實(shí)感知結(jié)果訓(xùn)練運(yùn)動(dòng)規(guī)劃器。用所有附近車輛的軌跡來訓(xùn)練模型，并用其未來軌跡作為監(jiān)督。（c） 最后，用蒸餾技術(shù)結(jié)合（a）和（b）中學(xué)習(xí)的模型。該模型學(xué)習(xí)所有車輛如何僅使用自車傳感器輸入以端到端的方式進(jìn)行規(guī)劃。

控制器將運(yùn)動(dòng)規(guī)劃轉(zhuǎn)換為實(shí)際的驅(qū)動(dòng)命令。用兩個(gè)PID控制器進(jìn)行橫向（轉(zhuǎn)向）和縱向（加速度）控制。這兩種PID控制器都使用細(xì)化的運(yùn)動(dòng)規(guī)劃基本統(tǒng)計(jì)信息作為輸入，生成連續(xù)輸出命令。縱向PID控制器還用當(dāng)前速度作為輸入來計(jì)算加速度。在交通燈和危險(xiǎn)停車的情況下，用單獨(dú)神經(jīng)網(wǎng)絡(luò)分類器B重寫剎車程序。該分類器用與感知模塊相同的圖像輸入，再加上一個(gè)額外的帶有長焦鏡頭的攝像機(jī)來捕捉遠(yuǎn)處的交通燈。分類器用記錄的制動(dòng)動(dòng)作來學(xué)習(xí)數(shù)據(jù)收集車輛的制動(dòng)行為。

最后，重用從其他車輛學(xué)習(xí)的運(yùn)動(dòng)規(guī)劃來檢測潛在碰撞并執(zhí)行危險(xiǎn)停車。具體來說，用主干的3D檢測來查找所有附近車輛。對于每一個(gè)車輛，用運(yùn)動(dòng)規(guī)劃器M在每個(gè)高級命令上生成未來的軌跡。所有高于高級命令似然閾值的運(yùn)動(dòng)規(guī)劃，會(huì)檢查與自車運(yùn)動(dòng)規(guī)劃的碰撞可能性。

如圖即控制器邏輯：

實(shí)驗(yàn)結(jié)果如下：