廣告
一文讀懂自動駕駛世界模型
除了場景生成之外，世界模型還在駕駛情境下的學(xué)習(xí)、評估潛在的未來情景以及改進規(guī)劃和控制策略方面發(fā)揮著重要作用。例如，Model-based Imitation Learning (MILE) 采用基于模型的模仿學(xué)習(xí)方法，在CARLA環(huán)境中從離線數(shù)據(jù)集中聯(lián)合學(xué)習(xí)動力學(xué)模型和駕駛行為。MILE運用一種“廣義推理算法”來進行合理且可視化的未來駕駛環(huán)境想象和預(yù)測，利用想象來補償缺失的感知信息。這一能力使得規(guī)劃未來的行動成為可能，從而使自動駕駛汽車能夠在沒有高精度地圖的情況下運行。在CARLA模擬器內(nèi)的不熟悉測試場景中，MILE的表現(xiàn)顯著優(yōu)于最先進的模型，將駕駛評分從46提高到了61（相比專家數(shù)據(jù)評分為88）。MILE的特點在于長時間跨度和高度多樣化的未來預(yù)測。通過對預(yù)測的未來狀態(tài)使用解碼器，MILE展示了在各種情景下穩(wěn)定的駕駛表現(xiàn)。
SEM2在RSSM的基礎(chǔ)上引入了語義掩模世界模型，以增強端到端自動駕駛的采樣效率和魯棒性。作者認(rèn)為世界模型的隱狀態(tài)包含太多與任務(wù)無關(guān)的信息，這會負(fù)面影響采樣效率和系統(tǒng)魯棒性。此外，由于訓(xùn)練數(shù)據(jù)不平衡，世界模型難以處理意外情況。為了應(yīng)對這些問題，引入了一個特征篩選器來提取關(guān)鍵的任務(wù)特征，并使用這些篩選后的特征重建語義掩模。針對數(shù)據(jù)不平衡問題，使用了一個采樣器來平衡數(shù)據(jù)分布。在每個訓(xùn)練批次中，來自不同場景的樣本被均勻添加，從而實現(xiàn)訓(xùn)練樣本的均衡和平衡分布，這對泛化能力和解決極端案例是有利的。經(jīng)過在CARLA中的訓(xùn)練和測試后，SEM2的性能相較于DreamerV2有了顯著提升。
多視圖建模：考慮到大多數(shù)自動駕駛車輛通常配備多個攝像頭，多視圖建模也是世界模型中的一個關(guān)鍵方面。Drive-WM是第一個專為增強端到端自動駕駛規(guī)劃安全性而設(shè)計的多視圖世界模型。通過多視圖和時序建模，Drive-WM聯(lián)合生成多個視角的畫面，并從相鄰畫面預(yù)測中間視角，顯著提高了多視圖間的一致性。此外，Drive-WM引入了一個簡單的統(tǒng)一條件接口，可以靈活地應(yīng)用圖像、動作、文本等條件，簡化了條件生成的過程。在具有六個視角的nuScenes數(shù)據(jù)集上進行訓(xùn)練和驗證，Drive-WM通過采樣預(yù)測的候選軌跡并使用基于圖像的獎勵函數(shù)來選擇最佳路徑。此外，與GAIA-1相似，Drive-WM在非行駛區(qū)域?qū)Ш降哪芰φ故玖耸澜缒Ｐ蛯τ诶斫饧疤幚眍I(lǐng)域外案例的潛力。
另外，受到Alberto Elfes開創(chuàng)性工作的啟發(fā) ，UniWorld 引入了一種創(chuàng)新方法，即利用多幀點云融合作為生成4D占用標(biāo)簽的真實數(shù)據(jù)。這種方法考慮了來自多攝像頭系統(tǒng)的圖像中存在的時空關(guān)聯(lián)。通過利用未標(biāo)記的圖像-激光雷達對UniWorld進行了世界模型的預(yù)訓(xùn)練，顯著增強了對環(huán)境動態(tài)的理解。在nuScenes數(shù)據(jù)集上測試時，與依賴單目預(yù)訓(xùn)練的方法相比，UniWorld在運動預(yù)測和語義場景補全等任務(wù)的IoU（交并比）上顯示出顯著改進。
參考：
World Models for Autonomous Driving: An Initial Survey
ADriver-I: A General World Model for Autonomous Driving
廣告 編輯推薦
最新資訊
-
國內(nèi)首個“路空一體”國家質(zhì)檢中心落戶廣東
2026-03-04 09:06
-
全國156個！IAE智行眾維入選！工信部2025年
2026-03-04 09:05
-
瓦力大作戰(zhàn)｜輕科普——誤碼儀（BERT）架構(gòu)
2026-03-04 09:03
-
是德科技推出適用于AI數(shù)據(jù)中心的Scale-Up驗
2026-03-04 09:03
-
“汽車爬坡試驗方法”將有國家標(biāo)準(zhǔn)
2026-03-03 12:44
