隨著自動(dòng)駕駛技術(shù)的飛速發(fā)展，大規(guī)模且豐富的數(shù)據(jù)集成為推動(dòng)算法進(jìn)步的關(guān)鍵因素之一。在這一背景下，KITTI-360數(shù)據(jù)集應(yīng)運(yùn)而生，為研究者提供了一個(gè)包含豐富感官信息和完整注釋的大規(guī)模數(shù)據(jù)集。

一. 數(shù)據(jù)集概述

數(shù)據(jù)采集方式

KITTI-360數(shù)據(jù)集記錄了德國卡爾斯魯厄的幾個(gè)郊區(qū)，通過旅行車的裝置采集數(shù)據(jù)。這一裝置包括兩側(cè)各配備一個(gè)180°的魚眼相機(jī)、前面一個(gè)90°的透視立體相機(jī)（基線60厘米）、車頂上安裝的Velodyne HDL-64E和SICK LMS 200激光掃描裝置。這個(gè)配置使得KITTI-360獲得了完整的360°視野，相較于KITTI數(shù)據(jù)集，提供了更為全面的感知信息。

數(shù)據(jù)集內(nèi)容

KITTI-360數(shù)據(jù)集在73.7公里的駕駛距離內(nèi)，共采集了超過32萬張圖像和10萬個(gè)激光掃描。對(duì)靜態(tài)和動(dòng)態(tài)的三維場景元素進(jìn)行了粗糙的邊界基元注釋，并將這些信息轉(zhuǎn)移到圖像領(lǐng)域，為三維點(diǎn)云和二維圖像提供了密集的語義和實(shí)例注釋。這使得數(shù)據(jù)集成為一個(gè)理想的訓(xùn)練和評(píng)估基準(zhǔn)。

二. 采集裝置詳解

魚眼相機(jī)和透視立體相機(jī)

KITTI-360數(shù)據(jù)集采集裝置的獨(dú)特之處在于兩側(cè)各配備的180°魚眼相機(jī)和前置的90°透視立體相機(jī)。魚眼相機(jī)提供了全景視角，覆蓋了車輛周圍的所有方向。這使得感知系統(tǒng)能夠捕捉到更廣泛的感知范圍，從而更全面地理解車輛周圍環(huán)境。而透視立體相機(jī)通過其基線為60厘米的設(shè)置，提供了更為立體的深度信息。這樣的配置在距離感知上具有顯著的優(yōu)勢，有助于算法更準(zhǔn)確地理解遠(yuǎn)近物體之間的距離關(guān)系。

Velodyne HDL-64E和SICK LMS 200激光掃描裝置

在車頂上安裝的Velodyne HDL-64E和SICK LMS 200激光掃描裝置是KITTI-360數(shù)據(jù)集的核心組成部分。這兩個(gè)激光掃描裝置以推桿式配置，使得360°的激光掃描成為可能。通過這樣的設(shè)置，KITTI-360能夠以高精度獲取三維點(diǎn)云信息，為感知系統(tǒng)提供豐富的立體結(jié)構(gòu)和深度信息。這對(duì)于目標(biāo)檢測、軌跡跟蹤等任務(wù)具有重要意義。

IMU/GPS定位系統(tǒng)

KITTI-360的系統(tǒng)還配備了一個(gè)IMU/GPS定位系統(tǒng)，為數(shù)據(jù)集提供了準(zhǔn)確的位置信息。通過結(jié)合慣性測量單元（IMU）和全球定位系統(tǒng)（GPS），可以實(shí)現(xiàn)對(duì)車輛位置和方向的高度精確的定位。這對(duì)于研究者分析車輛在不同場景下的感知行為，以及算法在真實(shí)道路條件下的性能表現(xiàn)提供了重要的上下文信息。

三. 數(shù)據(jù)集在自動(dòng)駕駛和三維感知中的應(yīng)用

自動(dòng)駕駛算法訓(xùn)練

KITTI-360數(shù)據(jù)集的全景感知信息為自動(dòng)駕駛算法訓(xùn)練提供了更為豐富的數(shù)據(jù)源。全景魚眼相機(jī)和360°激光掃描使得算法能夠更好地感知車輛周圍的環(huán)境，包括盲區(qū)和復(fù)雜交叉路口。這對(duì)于提高自動(dòng)駕駛系統(tǒng)對(duì)于靜態(tài)和動(dòng)態(tài)場景的理解能力至關(guān)重要，為算法在各種復(fù)雜場景下的魯棒性提供了強(qiáng)有力的支持。

三維感知研究

KITTI-360數(shù)據(jù)集在三維感知研究領(lǐng)域中具有巨大的價(jià)值。密集的語義和實(shí)例注釋使得研究者能夠深入分析靜態(tài)和動(dòng)態(tài)場景元素。三維點(diǎn)云和圖像的結(jié)合為感知算法提供了更為細(xì)致和全面的輸入，推動(dòng)了對(duì)于感知系統(tǒng)更高層次理解的研究。這對(duì)于三維點(diǎn)云處理、物體識(shí)別、和環(huán)境建模等方向都有著積極的推動(dòng)作用。

通過對(duì)KITTI-360數(shù)據(jù)集采集裝置和在自動(dòng)駕駛及三維感知中的應(yīng)用進(jìn)行詳細(xì)展開，我們更全面地了解了該數(shù)據(jù)集的獨(dú)特之處以及對(duì)于相關(guān)領(lǐng)域的積極影響。這為未來感知算法的研究和開發(fā)提供了寶貴的經(jīng)驗(yàn)和資源。