廣告
LMDrive：基于LLM的自動駕駛系統(tǒng)的訓(xùn)練與微調(diào)
自動駕駛技術(shù)一直是人工智能領(lǐng)域的研究熱點之一。近年來，隨著大規(guī)模預(yù)訓(xùn)練語言模型（LLM）的崛起，其在自動駕駛系統(tǒng)中的應(yīng)用逐漸引起關(guān)注。本文介紹了一種名為LMDrive的自動駕駛系統(tǒng)，該系統(tǒng)利用LLM進(jìn)行動作預(yù)測，并通過兩個MLP適配器對未來路點進(jìn)行預(yù)測。為了提高監(jiān)督信號，訓(xùn)練過程中對歷史幀進(jìn)行預(yù)測。在推理時，系統(tǒng)僅執(zhí)行最新幀的預(yù)測。最終的控制信號通過兩個PID控制器實現(xiàn)橫向和縱向控制，按照LBC的方法來跟蹤預(yù)測航路點的航向和速度。本文將深入探討LMDrive的訓(xùn)練目標(biāo)和兩個關(guān)鍵階段：視覺編碼器的預(yù)訓(xùn)練和指令微調(diào)。
LMDrive的動作預(yù)測與微調(diào)
LMDrive的核心在于利用LLM進(jìn)行動作預(yù)測。在接收到指令和視覺tokens序列后，系統(tǒng)通過LLM預(yù)測動作tokens。為了提高監(jiān)督信號，系統(tǒng)在訓(xùn)練期間對每個歷史幀進(jìn)行預(yù)測，而在推理時僅考慮最新幀。此外，為了更準(zhǔn)確地預(yù)測未來路點，LMDrive使用兩層MLP適配器。這個適配器不僅提高了對未來路點的準(zhǔn)確性，還通過一個標(biāo)志表明給定指令是否已完成。這一設(shè)計使得LMDrive能夠更靈活地應(yīng)對不同駕駛情境，從而提高系統(tǒng)的魯棒性。
訓(xùn)練目標(biāo)與損失項
在微調(diào)LLM及其相關(guān)組件時，LMDrive考慮兩個關(guān)鍵的損失項。首先是L1航路點損失，這個損失項確保系統(tǒng)對預(yù)測航路點的準(zhǔn)確性有著高度的敏感性。其次是分類損失（交叉熵），用于確定當(dāng)前幀是否完成了給定的指令。通過這兩個損失項的結(jié)合，LMDrive在訓(xùn)練過程中能夠更好地理解并適應(yīng)駕駛?cè)蝿?wù)，從而提高系統(tǒng)的性能。
LMDrive的訓(xùn)練階段
LMDrive的訓(xùn)練分為兩個關(guān)鍵階段。首先是視覺編碼器的預(yù)訓(xùn)練階段，該階段旨在通過LLM對駕駛場景進(jìn)行深度學(xué)習(xí)表示的學(xué)習(xí)。這一步為系統(tǒng)提供了對復(fù)雜環(huán)境的抽象理解。第二階段是指令微調(diào)階段，系統(tǒng)在這一階段通過與控制信號的對齊來微調(diào)LLM，以更好地適應(yīng)具體的駕駛指令。這兩個階段的有機(jī)結(jié)合使得LMDrive在不同環(huán)境和任務(wù)下都能夠表現(xiàn)出色。
LMDrive作為基于LLM的自動駕駛系統(tǒng)，通過動作預(yù)測和微調(diào)兩個關(guān)鍵步驟，取得了顯著的性能提升。未來，我們期待在該領(lǐng)域看到更多基于大規(guī)模預(yù)訓(xùn)練語言模型的創(chuàng)新應(yīng)用，為自動駕駛技術(shù)的發(fā)展帶來更多的可能性。LMDrive的成功經(jīng)驗為未來自動駕駛系統(tǒng)的設(shè)計和優(yōu)化提供了有益的啟示。
廣告 編輯推薦
最新資訊
-
新能源汽車鋰離子電池的熱失控防護(hù)措施及材
2024-08-13 13:59
-
新能源汽車三電系統(tǒng)產(chǎn)品開發(fā)中的虛實結(jié)合試
2024-08-13 13:56
-
汽車底盤產(chǎn)品系統(tǒng)開發(fā)與驗證的虛實結(jié)合試驗
2024-08-13 13:54
-
汽車?yán)梅抡婕夹g(shù)輔助的多合一電驅(qū)系統(tǒng)的臺
2024-08-13 13:50
-
汽車多合一電驅(qū)系統(tǒng)載荷的失效關(guān)聯(lián)測試
2024-08-01 15:40
