自動(dòng)駕駛技術(shù)在近年來(lái)取得了長(zhǎng)足的進(jìn)步，然而，在城市環(huán)境中，其面臨的挑戰(zhàn)依然嚴(yán)峻。理解復(fù)雜而長(zhǎng)尾的場(chǎng)景、挑戰(zhàn)性的路況以及微妙的人類行為是自動(dòng)駕駛系統(tǒng)必須克服的主要障礙之一。為了增強(qiáng)自動(dòng)駕駛系統(tǒng)的場(chǎng)景理解和規(guī)劃能力，一種新的方法：利用視覺(jué)語(yǔ)言模型（VLM）的自動(dòng)駕駛系統(tǒng)，其中包括DriveVLM和其改進(jìn)版DriveVLM Dual。

利用視覺(jué)語(yǔ)言模型（VLM）的自動(dòng)駕駛系統(tǒng)是一種新興的技術(shù)，旨在通過(guò)結(jié)合計(jì)算機(jī)視覺(jué)和自然語(yǔ)言處理的方法，提高自動(dòng)駕駛系統(tǒng)對(duì)復(fù)雜場(chǎng)景的理解能力和決策能力。這種系統(tǒng)的核心思想是利用深度學(xué)習(xí)模型對(duì)駕駛場(chǎng)景進(jìn)行感知，并通過(guò)自然語(yǔ)言處理技術(shù)將感知到的信息轉(zhuǎn)化為語(yǔ)義化的描述，從而使得系統(tǒng)能夠更好地理解場(chǎng)景并做出相應(yīng)的規(guī)劃決策。

具體來(lái)說(shuō)，利用VLM的自動(dòng)駕駛系統(tǒng)通常包括以下幾個(gè)關(guān)鍵步驟：

圖像感知：系統(tǒng)首先通過(guò)搭載攝像頭等傳感器設(shè)備來(lái)獲取駕駛場(chǎng)景的圖像信息。這些圖像可能包含道路、車輛、行人、交通標(biāo)志等各種元素。

特征提?。航酉聛?lái)，系統(tǒng)利用深度學(xué)習(xí)技術(shù)對(duì)獲取的圖像進(jìn)行特征提取，將圖像信息轉(zhuǎn)化為高維的特征向量表示。這些特征向量包含了場(chǎng)景的豐富信息，如物體的位置、大小、形狀等。

視覺(jué)語(yǔ)言模型（VLM）處理：得到圖像的特征向量后，系統(tǒng)將這些特征向量輸入到視覺(jué)語(yǔ)言模型（VLM）中進(jìn)行處理。VLM是一種能夠?qū)D像與自然語(yǔ)言之間建立聯(lián)系的深度學(xué)習(xí)模型，通常采用Transformer等結(jié)構(gòu)。通過(guò)VLM，系統(tǒng)能夠?qū)D像信息轉(zhuǎn)化為語(yǔ)義化的描述，描述場(chǎng)景中的物體、位置關(guān)系、動(dòng)作等。

場(chǎng)景理解與規(guī)劃：最后，系統(tǒng)利用VLM生成的語(yǔ)義化描述，結(jié)合實(shí)時(shí)感知到的駕駛場(chǎng)景信息，進(jìn)行場(chǎng)景理解和規(guī)劃。這包括對(duì)道路狀況、車輛行駛狀態(tài)、交通標(biāo)志等進(jìn)行分析，并做出相應(yīng)的駕駛決策，如車輛行駛軌跡規(guī)劃、速度控制、交通規(guī)則遵守等。

然而，DriveVLM也存在一些局限性，特別是在空間推理和計(jì)算效率方面的表現(xiàn)并不理想。

為了克服這些局限性，研究者提出了DriveVLM Dual，它是DriveVLM的改進(jìn)版，將VLM與傳統(tǒng)的自動(dòng)駕駛流水線相結(jié)合。DriveVLM Dual不僅集成了VLM的優(yōu)勢(shì)，還融合了傳統(tǒng)的3D感知和軌跡規(guī)劃模塊，從而實(shí)現(xiàn)了更強(qiáng)大的空間理解能力和實(shí)時(shí)推斷速度。這一混合系統(tǒng)的出現(xiàn)，極大地提升了自動(dòng)駕駛系統(tǒng)在復(fù)雜和不可預(yù)測(cè)的駕駛條件下的性能表現(xiàn)。

為了驗(yàn)證DriveVLM和DriveVLM Dual的效果，研究者進(jìn)行了大量實(shí)驗(yàn)，使用了nuScenes數(shù)據(jù)集和SUP-AD數(shù)據(jù)集。實(shí)驗(yàn)結(jié)果表明，這兩種系統(tǒng)在復(fù)雜和不可預(yù)測(cè)的駕駛條件下均超過(guò)了現(xiàn)有的方法。DriveVLM在場(chǎng)景理解和規(guī)劃能力上表現(xiàn)出色，而DriveVLM Dual在空間推理和實(shí)時(shí)軌跡規(guī)劃方面更具優(yōu)勢(shì)。

總的來(lái)說(shuō)，DriveVLM和DriveVLM Dual代表了自動(dòng)駕駛技術(shù)領(lǐng)域的最新進(jìn)展，它們的出現(xiàn)為自動(dòng)駕駛系統(tǒng)的發(fā)展帶來(lái)了新的思路和方法。隨著技術(shù)的不斷進(jìn)步和研究的深入，相信這些方法將進(jìn)一步提升自動(dòng)駕駛系統(tǒng)的性能，使其更好地適應(yīng)各種復(fù)雜的駕駛場(chǎng)景。