NVIDIA自動(dòng)駕駛實(shí)驗(yàn)室:如何知曉自動(dòng)駕駛汽車是否擁有清晰視野?

自動(dòng)駕駛實(shí)驗(yàn)室
這是NVIDIA DRIVE Labs自動(dòng)駕駛實(shí)驗(yàn)室系列視頻的第三集,在上一集中我們介紹了NVIDIA如何借助基于AI的實(shí)時(shí)感知進(jìn)行交叉路口檢測(cè)。在自動(dòng)駕駛實(shí)驗(yàn)室系列視頻中,我們將以工程技術(shù)為重點(diǎn)的視角關(guān)注實(shí)現(xiàn)自動(dòng)駕駛汽車的各個(gè)挑戰(zhàn)以及NVIDIA DRIVE AV軟件團(tuán)隊(duì)如何應(yīng)對(duì)這些問(wèn)題。
任務(wù):接入攝像頭視野并評(píng)估其可見(jiàn)度
方法:ClearSightNet深度神經(jīng)網(wǎng)絡(luò)
自動(dòng)駕駛汽車依靠攝像頭來(lái)實(shí)現(xiàn)對(duì)周圍環(huán)境的觀察。然而,一些環(huán)境因素,比如雨、雪和其他障礙,會(huì)影響攝像頭的可見(jiàn)度。除了能夠感知周邊環(huán)境,任何一個(gè)可靠的感知系統(tǒng)都應(yīng)當(dāng)有推斷出傳感器所傳輸數(shù)據(jù)有效性的能力。為了實(shí)現(xiàn)這一點(diǎn),在數(shù)據(jù)被下游模塊處理之前,感知系統(tǒng)在處理管道中能夠盡早地檢測(cè)到無(wú)效數(shù)據(jù)是十分必要的。
NVIDIA開(kāi)發(fā)出了一種深度神經(jīng)網(wǎng)絡(luò)(DNN)ClearSightNet。它可以評(píng)估攝像頭的可見(jiàn)度并幫助確定遮擋、障礙以及可見(jiàn)度降低的根本原因。我們?cè)陂_(kāi)發(fā)ClearSightNet的時(shí)候考慮到了以下需求:
- 擁有從造成攝像頭失明的各種潛在原因中推理出根本原因的能力
- 輸出可操作的有意義信息
- 必須十分輕巧,能夠以最小的計(jì)算消耗在多個(gè)攝像頭上運(yùn)行
遮擋部分所對(duì)應(yīng)的攝像頭視野區(qū)域是:攝像頭被不透明遮擋物(如灰塵、泥土或雪等)遮擋的情況;以及攝像頭不包含任何信息,如因太陽(yáng)照射而造成像素飽和的情況。在這些區(qū)域當(dāng)中,感知通常會(huì)完全受損。
可見(jiàn)度降低部分對(duì)應(yīng)的區(qū)域是:當(dāng)攝像頭沒(méi)有被完全阻礙,但由于大雨、水滴、炫光和霧等因素導(dǎo)致可見(jiàn)度受損的情況。在這種情形下,攝像頭的感知往往是部分受損,但依然被看作擁有較低的置信度。
該深度神經(jīng)網(wǎng)絡(luò)輸出能夠在輸入圖像上覆蓋一層圖層從而實(shí)現(xiàn)可視化:完全遮擋的區(qū)域顯示為紅色,可見(jiàn)度降低或部分遮擋的區(qū)域顯示為綠色。此外,ClearSightNet還能輸出一個(gè)比率或百分比,用以說(shuō)明輸入圖像受到遮擋或可見(jiàn)度降低影響的區(qū)域占比。

ClearSightNet輸出示例。輸入圖像(左)和經(jīng)ClearSightNet輸出圖層覆蓋的輸入圖像(右)。 在圖中所示的情況下,84%的圖像像素受到遮擋的影響,其中部分遮擋顯示為綠色,完全遮擋顯示為紅色。
該信息能以多種方式被使用。例如,當(dāng)可見(jiàn)度低時(shí),車輛可以選擇不開(kāi)啟自動(dòng)駕駛功能,并提醒用戶清潔攝像頭鏡頭或擋風(fēng)玻璃,或者使用ClearSightNet輸出以通知用戶攝像頭感知可信度計(jì)算結(jié)果。
無(wú)論是當(dāng)前還是未來(lái)版本,ClearSightNet都會(huì)持續(xù)輸出端到端的分析以及關(guān)于攝像頭失明的詳細(xì)信息,從而對(duì)汽車實(shí)現(xiàn)最大程度的控制。
在性能方面,基于INT8校準(zhǔn)原理的ClearSightNet目前在Xavier上每幀運(yùn)行時(shí)間約為0.7 ms(離散GPU)和1.3 ms(集成GPU)。ClearSightNet已在NVIDIA DRIVE軟件9.0版本中可用。
廣告 編輯推薦
最新資訊
-
“汽車爬坡試驗(yàn)方法”將有國(guó)家標(biāo)準(zhǔn)
2026-03-03 12:44
-
十年耐久監(jiān)管時(shí)代:電池系統(tǒng)開(kāi)發(fā)策略將如何
2026-03-03 12:44
-
聯(lián)合國(guó)法規(guī)R59對(duì)機(jī)動(dòng)車備用消聲系統(tǒng)的工程
2026-03-03 12:08
-
聯(lián)合國(guó)法規(guī)R58對(duì)后下部防護(hù)裝置的工程化約
2026-03-03 12:07
-
聯(lián)合國(guó)法規(guī)R57對(duì)摩托車前照燈配光性能的工
2026-03-03 12:07





廣告


























































