英偉達(dá)開源BEVFusion邊緣部署高達(dá)25FPS！

引言：

眾所周知，雷達(dá)與相機的融合方案由于稀疏卷積的原因?qū)е乱恢彪y以落地推廣。而沒有使用稀疏卷積的方案精度通常會差10-30%左右，并且目前的融合方案在Orin上的性能非常差（例如BEVFusion在3090Ti上只有8.6FPS）,這嚴(yán)重地制約了自動駕駛的落地表現(xiàn)。英偉達(dá)剛剛發(fā)布了部署B(yǎng)EVFusion的方案，以驚人的25FPS同時保持67.66的高精度mAP運行在Orin上，這對于雷達(dá)相機融合的感知落地來說，這是一項十分令人興奮的工作！這意味著雷達(dá)感知的精度和速度將會得到大幅度的提升，并且輕易的部署！

代碼發(fā)布在 https://github.com/NVIDIA-AI-IOT/Lidar_AI_Solution

一、倉庫介紹

• 該倉庫主要提供了3個模型（BEVFusion、CenterPoint、PointPillars）和5個libraries（sparse conv, quantization solution, cuPCL, cuOSD, YUVToRGB）

• 這些模塊，通過下面的方式組織起來

• 下面是一個BEVFusion的執(zhí)行效果

• 模型的精度和速度如下表（nuScenes驗證集的平均速度）

• 可以看到，模型在PTQ量化后只有0.3%mAP的損失，是相當(dāng)不錯的

• 在保持高精度的同時還保持了高的推理速度，這對自動駕駛來說非常友好

• 倉庫提供了模塊化的實現(xiàn)，對于按照要求修改會比較友好

二、稀疏卷積(Sparse Convolution)

• 倉庫還提供了稀疏卷積的解決方案，他的實現(xiàn)是獨立于tensorRT之外的，純cuda核函數(shù)調(diào)用TensorCore實現(xiàn)的一個庫

• 它通過onnx文件加載模型并進(jìn)行推理加速，輕量且高效

• 提供了FP16和INT8推理的支持。支持子流形和空間稀疏卷積

• 同時還提供了CenterPoint和BEVFusion的lidar導(dǎo)出以及PTQ/QAT保證速度和精度的解決方案

• 詳細(xì)的精度指標(biāo)如下

• 下面是在nuScenes上的耗時統(tǒng)計，穩(wěn)定性非常好

三、BEVfusion介紹

BEVfusion框架圖BEVFusion是一種用于自動駕駛系統(tǒng)的先進(jìn)技術(shù)。它代表著鳥瞰融合（Bird's Eye View Fusion），是一個多任務(wù)、多傳感器融合框架，極大地提高了自動駕駛汽車的性能[2]。

四、落地部署的挑戰(zhàn)

1. ONNX導(dǎo)出復(fù)雜

BEVFusion是一種涉及到SparseConv（稀疏卷積）層和自定義CUDA操作（如BEV池化）等復(fù)雜特性的模型[4]。這些特性對于轉(zhuǎn)換到 ONNX，以及后續(xù)在TensorRT上部署都構(gòu)成了難題。

我們簡單地總結(jié)了一下難以轉(zhuǎn)ONNX的主要原因：

• （1）自定義CUDA操作：BEVFusion使用的自定義CUDA操作在ONNX模型導(dǎo)出中并不被原生支持[5]。這意味著這些操作需要手動在ONNX中注冊為自定義操作，這是一項具有挑戰(zhàn)性的任務(wù)。

• （2）SparseConv層：在BEVFusion中使用的SparseConv層并不被ONNX原生支持[6]。這使得轉(zhuǎn)換過程變得復(fù)雜，因為需要手動處理這些層。

2.Plugin和BEVpooling效率低下

制約BEVfusion廣泛落地的另一個原因就是其Plugin和BEVpooling的效率不夠高。BEVFusion中的BEVPool使用CUDA來加速，但它仍然需要計算、存儲和預(yù)處理視錐特征(frustum feature)，這在內(nèi)存和計算上都十分密集[7]。

盡管BEVfusion在框架設(shè)計上已經(jīng)進(jìn)行了優(yōu)化，相比于以前的研究，以更高的精度和降低1.9倍[8]的計算成本在nuscenes上設(shè)立了新的基準(zhǔn)。但是，對于自動駕駛這種高速場景來說，我們應(yīng)該追求更高的性能，以確保安全駕駛。因此，對某些操作的計算強度進(jìn)行進(jìn)一步優(yōu)化是非常有價值的。

3.項目工程相對復(fù)雜

比起普通的單傳感器感知，BEVfusion工程也相對復(fù)雜，主要體現(xiàn)在下面幾個方面：

• （1）多任務(wù)多傳感器融合框架：BEVFusion被設(shè)計為一個高效且通用的多任務(wù)多傳感器融合框架。它在共享的鳥瞰視圖（BEV）表示空間中統(tǒng)一多模態(tài)特征，這既保留了幾何信息也保留了語義信息[9]。這種任務(wù)和方法的復(fù)雜性直接反映在倉庫的結(jié)構(gòu)和內(nèi)容上。

• （2）坐標(biāo)系統(tǒng)的修改和體素化（Coordinate system modification and voxelization）：BEVFusion項目對其實現(xiàn)進(jìn)行了重大更改，例如從zyx體素化切換到xyz體素化。在一些頭部，xy BEV坐標(biāo)與先前的實現(xiàn)相比進(jìn)行了轉(zhuǎn)置。這可能會增加倉庫的復(fù)雜性，尤其是對熟悉先前版本的人來說[10]。

4. 總結(jié)

盡管BEVFusion確實提供了一種新穎且有效的方式來處理多傳感器融合任務(wù)，但是在實際部署過程中仍存在以上的挑戰(zhàn)。包括ONNX導(dǎo)出復(fù)雜、插件和BEVpooling效率低下以及項目工程相對復(fù)雜等問題。這些問題需要我們在實踐中尋找解決方案。而這，正是英偉達(dá)提供的方案致力于解決的，新的部署方案在保持67.66的高精度mAP的同時，實現(xiàn)了在Orin上以驚人的25FPS運行，這對雷達(dá)和相機的融合感知落地來說無疑是一次重大突破。這項工作不僅證明了BEVFusion的實用性，還展示了其潛力，即在高精度和高效率之間找到平衡，以滿足自動駕駛等高速場景的需求。

reference

[1] "Aug 16, 2022 ·  Multi-sensor fusion is essential for an accurate and reliable autonomous driving system URL: https://github.com/mit-han-lab/bevfusion

[2] "In this paper, we break this deeply-rooted convention with BEVFusion URL: https://bevfusion.mit.edu/

[3] "IEI-BEVFusion++. This method is built based on the BEVFusion URL: https://github.com/IEI-AP/IEI-BEVFusion_plus_plus

[4] "Jul 7, 2022 ·  It might be hard to export BEVFusion to onnx currently" URL: https://github.com/mit-han-lab/bevfusion/issues/60

[5] "Jun 4, 2022 ·  It will be a bit hard to export the current model to onNX because of the existence of custom CUDA ops URL: https://github.com/mit-han-lab/bevfusion/issues/18

[6] "Nov 29, 2022 ·  onnx export might be very challenging since sparse convolution operators are not natively supported URL: https://github.com/mit-han-lab/bevfusion/issues/26

[7] "of cumulative sum, BEVPool in BEVFusion URL: https://arxiv.org/pdf/2211.17111v1.pdf

[8] "May 26, 2022 ·  BEVFusion is fundamentally URL: https://paperswithcode.com/paper/bevfusion-multi-task-multi-sensor-fusion-with

[9] "Aug 16, 2022 ·  we break this deeply-rooted convention with BEVFusion URL: https://github.com/mit-han-lab/bevfusion

[10] "Oct 4, 2022 ·  The most important change other than the coordinate system URL: https://github.com/mit-han-lab/bevfusion/issues/163

標(biāo)簽：#英偉達(dá) #稀疏卷積 #BEVFusion #自動駕駛 #技術(shù)突破

注：以上內(nèi)容為英偉達(dá)最新的研究成果，具體技術(shù)細(xì)節(jié)和應(yīng)用可能會有更深入的探索和改進(jìn)。

來源：集智書童