編者按 

降雨是自動(dòng)駕駛環(huán)境感知系統(tǒng)面臨的高暴露、高風(fēng)險(xiǎn)觸發(fā)條件之一，其復(fù)雜的物理特性會(huì)導(dǎo)致圖像模糊、激光信號(hào)衰減及毫米波散射等現(xiàn)象，從而影響目標(biāo)檢測與環(huán)境識(shí)別等核心任務(wù)的穩(wěn)定性與安全性。為了系統(tǒng)揭示降雨強(qiáng)度對多傳感器感知性能的影響，本團(tuán)隊(duì)構(gòu)建了基于真實(shí)降雨的多傳感器數(shù)據(jù)集——「RainSense」。該數(shù)據(jù)集通過集成攝像頭、激光雷達(dá)與4D毫米波雷達(dá)，并引入激光雨滴譜儀實(shí)現(xiàn)雨強(qiáng)的精確標(biāo)注，共采集728組典型場景樣本，覆蓋從無雨到暴雨的五個(gè)等級，雨強(qiáng)跨度為0到20mm/h。

RainSense旨在作為評估多傳感器感知系統(tǒng)在降雨條件下魯棒性的基準(zhǔn)數(shù)據(jù)集，為算法性能衰退規(guī)律研究提供參考框架。通過應(yīng)用數(shù)據(jù)集樣本案例開展量化分析可見：隨雨強(qiáng)增加，視覺與激光雷達(dá)的感知性能顯著下降，而毫米波雷達(dá)在強(qiáng)降雨條件下表現(xiàn)出較高的魯棒性。RainSense的構(gòu)建為自動(dòng)駕駛感知系統(tǒng)的雨天性能評估與算法魯棒性研究提供了高質(zhì)量的數(shù)據(jù)支撐。

RainSense數(shù)據(jù)集可由網(wǎng)站直接獲?。篽ttps://github.com/IVtest-Lab/RainSense/。數(shù)據(jù)集包含靜態(tài)點(diǎn)位采集獲得圖像數(shù)據(jù)（jpg文件）、激光點(diǎn)云數(shù)據(jù)（csv文件）、毫米波點(diǎn)云數(shù)據(jù)（csv文件）以及標(biāo)注位姿（txt文件）等其他信息，數(shù)據(jù)集將會(huì)持續(xù)更新。數(shù)據(jù)集論文已被SAE 2025汽車智能與網(wǎng)聯(lián)技術(shù)學(xué)術(shù)會(huì)議（ICVS 2025）收錄，預(yù)計(jì)于2025年年末正式見刊于會(huì)議論文集。

內(nèi)容概覽 1. 背景2. 數(shù)據(jù)集介紹3. 數(shù)據(jù)集應(yīng)用4. 總結(jié)與展望

1、背景

隨著自動(dòng)駕駛技術(shù)逐步向數(shù)據(jù)驅(qū)動(dòng)范式演進(jìn)，感知數(shù)據(jù)集已成為算法性能提升與系統(tǒng)魯棒性評估的基礎(chǔ)支撐。近年來，多模態(tài)感知數(shù)據(jù)集的規(guī)模與多樣性不斷擴(kuò)大，但在包含降雨在內(nèi)復(fù)雜天氣條件下的數(shù)據(jù)采集與精確標(biāo)注仍面臨諸多挑戰(zhàn)，限制了感知算法性能的測試評估與迭代升級。

1.1 相關(guān)感知數(shù)據(jù)集

針對降雨這一高風(fēng)險(xiǎn)觸發(fā)工況，現(xiàn)有公開數(shù)據(jù)集普遍缺乏帶有精確雨強(qiáng)標(biāo)注的多傳感器數(shù)據(jù)，難以支撐感知衰退機(jī)理的定量研究。

表1 相關(guān)感知數(shù)據(jù)集對比

1.2 降雨條件感知性能衰減研究

在缺乏大規(guī)模真實(shí)數(shù)據(jù)的背景下，部分研究通過物理模擬或GAN增強(qiáng)等方式評估感知衰減規(guī)律，雖具可控性但真實(shí)性受限；而真實(shí)降雨下開展的相關(guān)研究面臨實(shí)時(shí)雨強(qiáng)難以獲取的挑戰(zhàn)。

表2 降雨條件感知性能衰減研究匯總

1.3 工作貢獻(xiàn)本工作的貢獻(xiàn)如下：

構(gòu)建自然降雨多傳感器數(shù)據(jù)集：提出「RainSense」數(shù)據(jù)集，涵蓋多等級真實(shí)降雨場景，融合攝像頭、激光雷達(dá)與毫米波雷達(dá)的同步感知數(shù)據(jù)，并提供高精度雨強(qiáng)標(biāo)注，為降雨環(huán)境下的感知魯棒性研究提供了開放基準(zhǔn)。定量分析傳感器性能衰減規(guī)律：應(yīng)用「RainSense」數(shù)據(jù)集，基于多維感知指標(biāo)，對三類傳感器在不同降雨等級下的性能表現(xiàn)進(jìn)行系統(tǒng)量化分析，揭示了視覺、激光雷達(dá)與毫米波雷達(dá)在降雨環(huán)境下的性能衰減規(guī)律。

2、數(shù)據(jù)集介紹

RainSense是針對不同降雨強(qiáng)度下傳感器性能評估而設(shè)計(jì)的專用數(shù)據(jù)集，因此采集過程嚴(yán)格控制采集條件。其核心原則是在確保采集場景的一致性，包括預(yù)設(shè)的交叉路口和數(shù)據(jù)采集點(diǎn)、相似場景背景以及相同感知目標(biāo)物，從而支持不同降雨強(qiáng)度下感知性能衰減規(guī)律的量化分析。

2.1 傳感器配置

為構(gòu)建帶有雨強(qiáng)標(biāo)簽的感知數(shù)據(jù)集，使用如下傳感器配置進(jìn)行數(shù)據(jù)采集，如圖1所示。

針對感知數(shù)據(jù)：搭建多傳感器采集平臺(tái)，包括一臺(tái)三維激光雷達(dá)、一個(gè)前置彩色攝像頭和一臺(tái)4D毫米波雷達(dá)，針對實(shí)時(shí)雨強(qiáng)：引入激光雨滴譜儀，實(shí)時(shí)輸出與感知數(shù)據(jù)時(shí)序?qū)R的雨強(qiáng)數(shù)據(jù)，設(shè)備雨強(qiáng)測量原理如圖2所示。

圖1 數(shù)據(jù)采集平臺(tái)與傳感器

圖2 激光雨滴譜儀雨強(qiáng)測量原理

數(shù)據(jù)采集平臺(tái)上的三類傳感器均通過OpenCalib平臺(tái)完成標(biāo)定，包括激光雷達(dá)、攝像頭與4D毫米波雷達(dá)的坐標(biāo)系轉(zhuǎn)換矩陣，及攝像頭的內(nèi)參矩陣與畸變系數(shù)。

2.2 采集設(shè)置

RainSense的數(shù)據(jù)采集具體設(shè)置如下所示（示意圖見圖3）：

采集場景選擇傳感器布置：在路口一側(cè)預(yù)設(shè)點(diǎn)位處布置感知數(shù)據(jù)采集平臺(tái)，并在平臺(tái)附近布置激光雨滴譜儀同步記錄降雨強(qiáng)度信息。感知目標(biāo)物設(shè)置：以同一假人目標(biāo)作為感知對象，在各場景中分別放置于采集平臺(tái)正前方20m與40m的預(yù)設(shè)點(diǎn)位處。

圖3 數(shù)據(jù)采集設(shè)置

其中，選取路口靜態(tài)場景并使用假人目標(biāo)物的核心原因在于確保感知數(shù)據(jù)的一致性和可比性。通過使用靜態(tài)場景與固定目標(biāo)物，我們能夠系統(tǒng)地比較不同降雨強(qiáng)度下的傳感器性能，而不會(huì)引入由場景變化（背景、運(yùn)動(dòng)、位姿等）與目標(biāo)物差異（大小、材質(zhì)、顏色等）導(dǎo)致的波動(dòng)。

圖4 數(shù)據(jù)采集結(jié)果

RainSense的數(shù)據(jù)結(jié)構(gòu)采用分級存儲(chǔ)方式：按降雨等級、采集場景及10s基礎(chǔ)樣本切片依次組織數(shù)據(jù)，并在每個(gè)Case中保存?zhèn)鞲衅鲾?shù)據(jù)、雨強(qiáng)標(biāo)注、標(biāo)定信息與時(shí)間戳。針對場景中的假人目標(biāo)物，采用KITTI格式進(jìn)行2D與3D標(biāo)注，保存在對應(yīng)的label文件夾中。

圖5 數(shù)據(jù)存儲(chǔ)格式

3、數(shù)據(jù)集應(yīng)用

應(yīng)用RainSense數(shù)據(jù)集，對三類傳感器在不同降雨等級下的感知性能衰減開展定量分析。以距離傳感器前方20m處的假人目標(biāo)作為感知對象，并根據(jù)各類傳感器的特性選取感知指標(biāo)，用于量化降雨對感知性能的影響。

3.1 攝像頭

隨著降雨等級的增加，攝像頭因鏡頭水漬逐漸出現(xiàn)模糊化的情況，環(huán)境背景出現(xiàn)潮濕積水，圖像整體對比度亮度相對下降，如圖6所示。

圖6 不同降雨等級圖像數(shù)據(jù)對比

針對攝像頭在降雨下的性能衰減情況，分別從「圖像質(zhì)量」與「目標(biāo)檢測」層面，選取指標(biāo)進(jìn)行量化分析，如表3所示。

圖像指標(biāo)：由于降雨會(huì)造成像素細(xì)節(jié)的模糊化，選取指標(biāo)量化圖像模糊化程度。檢測指標(biāo)：選取開源視覺檢測算法，進(jìn)行假人目標(biāo)物的檢測性能分析。

表3 視覺感知性能指標(biāo)

選取DINO、RTMDet與YOLOX三款開源算法進(jìn)行假人目標(biāo)物的檢測任務(wù)。三款算法由Mmdetection平臺(tái)進(jìn)行部署，均基于MS COCO數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練。

不同降雨等級下視覺感知指標(biāo)的計(jì)算結(jié)果如圖7所示。

圖像指標(biāo)：檢測指標(biāo)：三款算法在檢測性能的衰減表現(xiàn)上各異。RTMDet對降雨強(qiáng)度最敏感，大雨與暴雨下漏檢率超過0.2。RTMDet與YOLOX在小雨與中雨時(shí)分類置信度與IoU基本穩(wěn)定，但到大雨等級開始明顯下滑，反映水漬與雨線使目標(biāo)像素特征更難提取。DINO整體魯棒性最佳，在各檢測指標(biāo)上均優(yōu)于其余兩者。

圖7 不同降雨等級下視覺感知性能變化

3.2 激光雷達(dá)

隨降雨等級的增加，激光點(diǎn)云受雨滴遮擋、散射、折射影響加劇，點(diǎn)云成像質(zhì)量逐漸出現(xiàn)波動(dòng)，如圖8所示。

針對激光雷達(dá)在降雨下的性能衰減情況，分別從「點(diǎn)云質(zhì)量」與「目標(biāo)檢測」層面選取指標(biāo)進(jìn)行量化分析，如表4所示。

點(diǎn)云指標(biāo)：針對假人目標(biāo)物表面的點(diǎn)云性質(zhì)進(jìn)行分析，包括點(diǎn)云數(shù)量與反射率。檢測指標(biāo)：選取開源目標(biāo)檢測算法，進(jìn)行假人目標(biāo)物的檢測輸出分析。

表4 激光雷達(dá)感知性能指標(biāo)

選取PointsPillars算法進(jìn)行假人目標(biāo)物的三維檢測，使用無雨條件下的點(diǎn)云數(shù)據(jù)進(jìn)行模型訓(xùn)練，而后分別在各個(gè)降雨等級下使用訓(xùn)練得到的模型進(jìn)行假人目標(biāo)檢測輸出。

不同降雨等級下激光雷達(dá)感知指標(biāo)的計(jì)算結(jié)果如圖9所示。

點(diǎn)云指標(biāo)：假人目標(biāo)表面點(diǎn)云數(shù)在小雨等級因檢測指標(biāo)：隨著雨強(qiáng)增加，PointPillars對行人目標(biāo)的檢測性能顯著劣化。在大雨/暴雨工況下平均漏檢率升至0.2以上，分類置信度同步明顯下滑。有效點(diǎn)云減少與噪聲點(diǎn)增多可能是導(dǎo)致算法檢測性能衰退的兩個(gè)關(guān)鍵因素。

圖9 不同降雨等級下激光雷達(dá)感知性能變化

值得注意的是，即便暴雨等級目標(biāo)表面點(diǎn)云數(shù)量有所回升，檢測性能仍繼續(xù)下降，說明極端降雨下點(diǎn)云噪聲占比上升，也側(cè)面印證將極端雨天點(diǎn)云納入訓(xùn)練以提升模型魯棒性的必要性。

3.3 毫米波雷達(dá)

針對毫米波雷達(dá)在降雨下的性能衰減情況，分別從「點(diǎn)云性質(zhì)」與「目標(biāo)物點(diǎn)云檢出」層面選取指標(biāo)進(jìn)行量化分析，如表5所示。

點(diǎn)云指標(biāo)：針對假人目標(biāo)物表面的點(diǎn)云性質(zhì)進(jìn)行分析，包括點(diǎn)云數(shù)量、能量與信噪比。檢測指標(biāo)：由于毫米波點(diǎn)云的稀疏性，分析每個(gè)樣本目標(biāo)物點(diǎn)云完全未檢出的幀占比。

表5 毫米波雷達(dá)感知性能指標(biāo)

不同降雨等級下毫米波雷達(dá)感知指標(biāo)的計(jì)算結(jié)果如圖10所示。

點(diǎn)云指標(biāo)：隨著降雨等級增加，假人目標(biāo)物表面點(diǎn)云數(shù)量、能量以及信噪比均出現(xiàn)波動(dòng)，但是整體波動(dòng)的幅度較小，與無雨情況下的指標(biāo)分布差異不大。檢測指標(biāo)：在大雨等級下，毫米波雷達(dá)會(huì)出現(xiàn)較多目標(biāo)物點(diǎn)云未檢出的情況，但在其他等級下檢出較為穩(wěn)定。

圖10 不同降雨等級下毫米波雷達(dá)感知性能變化

總體而言，4D毫米波雷達(dá)在降雨條件下具備較好的魯棒性，性能衰減并不顯著。

4、總結(jié)與展望

「RainSense」數(shù)據(jù)集是在自然降雨下采集、并帶有精確雨強(qiáng)標(biāo)注的多傳感器感知數(shù)據(jù)集，為感知系統(tǒng)的性能衰減研究提供參考基準(zhǔn)。數(shù)據(jù)集共采集728組感知數(shù)據(jù)樣本，涵蓋相機(jī)、激光雷達(dá)、4D毫米波雷達(dá)，覆蓋無雨、小雨、中雨、大雨、暴雨五個(gè)等級。應(yīng)用數(shù)據(jù)集，進(jìn)一步開展降雨條件下三類傳感器性能衰減的量化分析，結(jié)果表明在大雨與暴雨條件下，視覺與激光雷達(dá)性能顯著下滑，而4D毫米波雷達(dá)整體保持較高魯棒性。

「RainSense」數(shù)據(jù)集可直接支撐以下三類應(yīng)用場景：

① 降雨條件下傳感器與感知算法的魯棒性測試② 自動(dòng)駕駛系統(tǒng)降雨條件ODD邊界的精細(xì)化設(shè)計(jì)③ 優(yōu)化增強(qiáng)仿真模擬降雨效果真實(shí)性

盡管當(dāng)前數(shù)據(jù)集覆蓋多種自然降雨工況，但暴雨及以上等級樣本仍偏少，且采集主要集中于校園路口并以假人目標(biāo)為主，場景多樣性受限。后續(xù)數(shù)據(jù)集將擴(kuò)展更多極端降雨工況，并計(jì)劃開展動(dòng)態(tài)感知數(shù)據(jù)采集，進(jìn)一步提升數(shù)據(jù)集的場景多樣性與通用適用性，服務(wù)更廣泛的自動(dòng)駕駛研究。

參考文獻(xiàn)：

[1] Geiger A, Lenz P, Stiller C, et al. Vision meets robotics: The kitti dataset[J]. The international journal of robotics research, 2013, 32(11): 1231-1237.

[2] Huang X, Cheng X, Geng Q, et al. The apolloscape dataset for autonomous driving[C]//Proceedings of the IEEE conference on computer vision and pattern recognition workshops. IEEE, 2018: 954-960.

[3] Caesar H, Bankiti V, Lang A H, et al. nuscenes: A multimodal dataset for autonomous driving[C]//Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. IEEE, 2020: 11621-11631.

[4] Sun P, Kretzschmar H, Dotiwalla X, et al. Scalability in perception for autonomous driving: Waymo open dataset[C]//Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. IEEE, 2020: 2446-2454.

[5] Zhang H, Sindagi V, Patel V M. Image de-raining using a conditional generative adversarial network[J]. IEEE transactions on circuits and systems for video technology, 2019, 30(11): 3943-3956.

[6] Fu X, Huang J, Zeng D, et al. Removing rain from single images via a deep detail network[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. IEEE, 2017: 3855-3863.

[7] Karvat M, Givigi S. Adver-city: Open-source multi-modal dataset for collaborative perception under adverse weather conditions[J]. arXiv preprint arXiv:2410.06380, 2025.

[8] Zhang C, Huang Z, Guo H, et al. Smart-rain: A degradation evaluation dataset for autonomous driving in rain[C]//2023 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2023: 9691-9698.

[9] Heinzler R, Schindler P, Seekircher J, et al. Weather influence and classification with automotive Lidar sensors[C]//2019 IEEE intelligent vehicles symposium (IV). IEEE, 2019: 1527-1534.

[10] Choe J, Cho H, Chung Y. Performance verification of autonomous driving LiDAR sensors under rainfall conditions in darkroom[J]. Sensors, 2023, 24(1): 14.

[11] Hasirlioglu S, Kamann A, Doric I, et al. Test methodology for rain influence on automotive surround sensors[C]//2016 IEEE 19th International Conference on Intelligent Transportation Systems (ITSC). IEEE, 2016: 2242-2247.

[12] Wei Y, Zhang Z, Wang Y, et al. Deraincyclegan: Rain attentive cyclegan for single image deraining and rainmaking[J]. IEEE Transactions on Image Processing, 2021, 30: 4788-4801.

[13] Lee J, Shiotsuka D, Nishimori T, et al. Gan-based Lidar translation between sunny and adverse weather for autonomous driving and driving simulation[J]. Sensors, 2022, 22(14): 5287.

[14] Filgueira A, González-Jorge H, Lagüela S, et al. Quantifying the influence of rain in Lidar performance[J]. Measurement, 2017, 95: 143-148.

責(zé)編丨高炳釗