廣告
NVIDIA自動駕駛實驗室：像素級完美感知讓自動駕駛汽車更好地理解世界
2019-10-29 23:08:52· 來源：英偉達NVIDIA
全景分割深度神經(jīng)網(wǎng)絡比單獨的邊界框提供了更多的視覺感知細節(jié)。任務：讓自動駕駛汽車獲得極度精細的感知功能方法：全景分割深度神經(jīng)網(wǎng)絡在自動駕駛汽車看來，世
全景分割深度神經(jīng)網(wǎng)絡比單獨的邊界框提供了更多的視覺感知細節(jié)。
任務：讓自動駕駛汽車獲得極度精細的感知功能
方法：全景分割深度神經(jīng)網(wǎng)絡
在自動駕駛汽車看來，世界萬物往往以“邊界框”的方式呈現(xiàn)。汽車、行人以及停車標志都被整齊地包裹在紅色和綠色的矩形中。
但是，在現(xiàn)實世界中，并非所有事物都能夠放進“框”里呈現(xiàn)。
對于高度復雜的駕駛場景，例如被錐形交通路標所標記的施工區(qū)域，高速公路上放有沙發(fā)椅或出現(xiàn)其他道路障礙物，或者一個人正在一個移動的貨車上伸手卸貨，在這些場景下，如果汽車的感知軟件能夠提供對周圍環(huán)境更詳細的感知，那么對自動駕駛的安全決策將會大有裨益。
想要獲得極度精細的感知，可以通過以像素級精度對圖像內(nèi)容進行分割的方法，我們稱之為全景分割。
通過全景分割，圖像能夠精確被解構(gòu)成兩個維度。在語義內(nèi)容的維度中，像素代表汽車、行人以及可駕駛的空間；在實例內(nèi)容維度中，像素代表著相同的汽車以及不同的目標。
規(guī)劃和控制模塊可以借助來自感知系統(tǒng)的全景分割結(jié)果更好地為自動駕駛決策提供依據(jù)。例如，詳細的目標形狀和輪廓信息有助于改善目標跟蹤，從而為轉(zhuǎn)向和加速提供更準確的輸入。它也可以與密集（即像素級）的目標距離估算方法結(jié)合使用，以幫助實現(xiàn)一個高分辨率的3D駕駛場景預測。
單個多任務學習型的深度神經(jīng)網(wǎng)絡
NVIDIA借助單個多任務學習型的深度神經(jīng)網(wǎng)絡實現(xiàn)了對攝像頭圖像的像素級語義和實例分割。這種方法使我們能夠訓練一個全景分割的深度神經(jīng)網(wǎng)絡，它可以整體而非碎片化地理解駕駛場景。
這種方式也十分高效。在嵌入式NVIDIA DRIVE AGX平臺上，只需一個端到端的DNN就能夠抓取所有這些豐富的感知信息，同時實現(xiàn)大約每幀5毫秒的推理速度。這比當下高水平的分割方法還要快得多。
此外，借助DRIVE AGX能夠同時運行全景分割DNN和許多其他DNN網(wǎng)絡以及實時的感知、定位和規(guī)劃控制軟件。
在嵌入式AGX平臺上，來自車內(nèi)推理的全景分割DNN輸出。
上圖：預測的目標和目標類別（藍色=汽車；綠色=可駕駛空間；紅色=行人）。下圖：預測的目標級實例以及包裹在實例外的計算邊界框（以不同的顏色和實例ID顯示）。
如上圖所示，DNN能夠?qū)鼍皠澐譃閹讉€目標類別，并檢測這些目標類別的不同實例，就如同在下面的圖中以獨特的顏色和數(shù)字所示。
相關聯(lián)的訓練和感知
每幀圖像中所提供的豐富像素級信息同時也減少了對訓練數(shù)據(jù)量的需求。具體來說，由于每個訓練圖像都擁有更多的像素，也就提供了更多有用的信息，因此DNN能夠使用更少的訓練圖像進行學習。
此外，基于像素級的檢測結(jié)果和后處理，我們還能夠為每個檢測到的目標計算邊界框。像素級分割提供的所有感知優(yōu)勢都需要進行處理，這就是我們開發(fā)功能強大的NVIDIA DRIVE AGX Xavier的原因。
通過像素級的細節(jié)全景分割，自動駕駛汽車可以更好地感知現(xiàn)實世界中豐富的視覺內(nèi)容，從而做出安全可靠駕駛決策。
任務：讓自動駕駛汽車獲得極度精細的感知功能
方法：全景分割深度神經(jīng)網(wǎng)絡
在自動駕駛汽車看來，世界萬物往往以“邊界框”的方式呈現(xiàn)。汽車、行人以及停車標志都被整齊地包裹在紅色和綠色的矩形中。
但是，在現(xiàn)實世界中，并非所有事物都能夠放進“框”里呈現(xiàn)。
對于高度復雜的駕駛場景，例如被錐形交通路標所標記的施工區(qū)域，高速公路上放有沙發(fā)椅或出現(xiàn)其他道路障礙物，或者一個人正在一個移動的貨車上伸手卸貨，在這些場景下，如果汽車的感知軟件能夠提供對周圍環(huán)境更詳細的感知，那么對自動駕駛的安全決策將會大有裨益。
想要獲得極度精細的感知，可以通過以像素級精度對圖像內(nèi)容進行分割的方法，我們稱之為全景分割。
通過全景分割，圖像能夠精確被解構(gòu)成兩個維度。在語義內(nèi)容的維度中，像素代表汽車、行人以及可駕駛的空間；在實例內(nèi)容維度中，像素代表著相同的汽車以及不同的目標。
規(guī)劃和控制模塊可以借助來自感知系統(tǒng)的全景分割結(jié)果更好地為自動駕駛決策提供依據(jù)。例如，詳細的目標形狀和輪廓信息有助于改善目標跟蹤，從而為轉(zhuǎn)向和加速提供更準確的輸入。它也可以與密集（即像素級）的目標距離估算方法結(jié)合使用，以幫助實現(xiàn)一個高分辨率的3D駕駛場景預測。
單個多任務學習型的深度神經(jīng)網(wǎng)絡
NVIDIA借助單個多任務學習型的深度神經(jīng)網(wǎng)絡實現(xiàn)了對攝像頭圖像的像素級語義和實例分割。這種方法使我們能夠訓練一個全景分割的深度神經(jīng)網(wǎng)絡，它可以整體而非碎片化地理解駕駛場景。
這種方式也十分高效。在嵌入式NVIDIA DRIVE AGX平臺上，只需一個端到端的DNN就能夠抓取所有這些豐富的感知信息，同時實現(xiàn)大約每幀5毫秒的推理速度。這比當下高水平的分割方法還要快得多。
此外，借助DRIVE AGX能夠同時運行全景分割DNN和許多其他DNN網(wǎng)絡以及實時的感知、定位和規(guī)劃控制軟件。
在嵌入式AGX平臺上，來自車內(nèi)推理的全景分割DNN輸出。
上圖：預測的目標和目標類別（藍色=汽車；綠色=可駕駛空間；紅色=行人）。下圖：預測的目標級實例以及包裹在實例外的計算邊界框（以不同的顏色和實例ID顯示）。
如上圖所示，DNN能夠?qū)鼍皠澐譃閹讉€目標類別，并檢測這些目標類別的不同實例，就如同在下面的圖中以獨特的顏色和數(shù)字所示。
相關聯(lián)的訓練和感知
每幀圖像中所提供的豐富像素級信息同時也減少了對訓練數(shù)據(jù)量的需求。具體來說，由于每個訓練圖像都擁有更多的像素，也就提供了更多有用的信息，因此DNN能夠使用更少的訓練圖像進行學習。
此外，基于像素級的檢測結(jié)果和后處理，我們還能夠為每個檢測到的目標計算邊界框。像素級分割提供的所有感知優(yōu)勢都需要進行處理，這就是我們開發(fā)功能強大的NVIDIA DRIVE AGX Xavier的原因。
通過像素級的細節(jié)全景分割，自動駕駛汽車可以更好地感知現(xiàn)實世界中豐富的視覺內(nèi)容，從而做出安全可靠駕駛決策。
廣告 編輯推薦
最新資訊
-
“汽車爬坡試驗方法”將有國家標準
2026-03-03 12:44
-
十年耐久監(jiān)管時代：電池系統(tǒng)開發(fā)策略將如何
2026-03-03 12:44
-
聯(lián)合國法規(guī)R59對機動車備用消聲系統(tǒng)的工程
2026-03-03 12:08
-
聯(lián)合國法規(guī)R58對后下部防護裝置的工程化約
2026-03-03 12:07
-
聯(lián)合國法規(guī)R57對摩托車前照燈配光性能的工
2026-03-03 12:07
