3D車道線檢測(cè)論文”O(jiān)NCE-3DLanes: Building Monocular 3D Lane Detection“，上傳arXiv于2022年5月，是華為諾亞和復(fù)旦大學(xué)的工作。

由于道路不平，傳統(tǒng)的單目圖像2D車道線檢測(cè)在自動(dòng)駕駛的跟蹤規(guī)劃和控制任務(wù)中性能較差。因此，預(yù)測(cè)3D車道線布局是必要的，可以實(shí)現(xiàn)有效和安全的駕駛。然而，現(xiàn)有的3D車道線檢測(cè)數(shù)據(jù)集不多，一些還是模擬環(huán)境合成，嚴(yán)重阻礙了該領(lǐng)域的發(fā)展。

該文提出一個(gè)真實(shí)世界的自動(dòng)駕駛數(shù)據(jù)集，ONCE-3DLanes，具有3-D空間的車道線布局標(biāo)注。通過(guò)點(diǎn)云和圖像像素之間的顯式關(guān)系，文章設(shè)計(jì)了該數(shù)據(jù)集標(biāo)注流水線，從211K個(gè)道路場(chǎng)景的2D車道線標(biāo)注，自動(dòng)生成高質(zhì)量的3D車道線位置。此外，作者還提出一種無(wú)外參、無(wú)錨點(diǎn)的方法，稱為SALAD，在圖像視圖中回歸車道線的3D坐標(biāo)，而無(wú)需將特征地圖轉(zhuǎn)換為BEV。為了促進(jìn)未來(lái)對(duì)3D車道線檢測(cè)的研究，文章對(duì)數(shù)據(jù)集提供基準(zhǔn)測(cè)試，并提供一種新的評(píng)估指標(biāo)，對(duì)現(xiàn)有方法和提出的方法進(jìn)行了廣泛的實(shí)驗(yàn)分析。

網(wǎng)站地址在https://once-3dlanes.github.io。

大多數(shù)現(xiàn)有的基于圖像的車道線檢測(cè)方法都專注于對(duì)車道檢測(cè)問(wèn)題描述為2D任務(wù)，其中典型的流水線首先基于語(yǔ)義分割或坐標(biāo)回歸在圖像平面中檢測(cè)車道線，然后通過(guò)假設(shè)地面平坦在俯視圖中投影檢測(cè)車道線。利用標(biāo)定良好的攝像頭外參，逆透視映射（IPM）能夠在平坦的地平面上獲得可接受的3-D車道線近似值。然而，在真實(shí)的駕駛環(huán)境中，道路并不總是平坦的，并且由于車速變化或道路崎嶇不平，攝像頭外參對(duì)車身運(yùn)動(dòng)非常敏感，這將導(dǎo)致對(duì)3D道路結(jié)構(gòu)的錯(cuò)誤感知，從而可能會(huì)在自動(dòng)駕駛車輛上發(fā)生意外行為。

為了克服與地平面假設(shè)相關(guān)的上述缺點(diǎn)，3D LaneNet以端到端方式直接預(yù)測(cè)3D車道線坐標(biāo)，其中有監(jiān)督的方式預(yù)測(cè)攝像頭外參，以便獲得圖像視圖到俯視圖的投影。此外，提出一種基于錨點(diǎn)的車道線預(yù)測(cè)頭，用于從虛擬俯視圖生成最終的3D車道線坐標(biāo)。盡管結(jié)果顯示了這項(xiàng)任務(wù)的可行性，但如果沒(méi)有難獲得的外參信息，虛擬IPM投影很難學(xué)習(xí)，并且模型是在攝像頭對(duì)地平面零度夾角的假設(shè)下訓(xùn)練的。一旦假設(shè)受到質(zhì)疑，或者外參的需求得不到滿足，這種方法幾乎無(wú)法工作。

Gen LaneNet在虛擬頂視圖中提出一種幾何引導(dǎo)的新車道線錨點(diǎn)。通過(guò)圖像分割學(xué)習(xí)與3D車道線預(yù)測(cè)的解耦，該算法實(shí)現(xiàn)了更高性能，并且更適用于未觀察到場(chǎng)景。3D LaneNet+提出了一種無(wú)錨點(diǎn)半局部表征方法來(lái)表示車道線，而不是將每條車道線與預(yù)定義的錨點(diǎn)關(guān)聯(lián)起來(lái)。雖然檢測(cè)更多車道線拓?fù)浣Y(jié)構(gòu)的能力顯示了無(wú)錨點(diǎn)（anchor- free）方法的威力，然而這些方法都需要以有監(jiān)督方式學(xué)習(xí)投影矩陣，以便將圖像視圖特征與俯視特征對(duì)齊，這可能會(huì)導(dǎo)致高度信息丟失。

目前3-D車道線的數(shù)據(jù)集比較如表：

3D空間中的車道線L_k由一系列點(diǎn){x_ki，y_ik，z_ik）}表示，這些點(diǎn)記錄在3D攝像頭坐標(biāo)系中。攝像頭坐標(biāo)系位于攝像頭的光學(xué)中心，X軸向右正，Y軸向下，Z軸向前。

正視圖到俯視圖的投影誤差主要發(fā)生在斜坡地面的情況下，因此重點(diǎn)分析ONCE- 3DLanes數(shù)據(jù)集的坡度統(tǒng)計(jì)。每個(gè)場(chǎng)景中車道線的平均坡度用于表示該場(chǎng)景的坡度。向前方向被認(rèn)為最重要的特定車道線坡度計(jì)算如下：

如圖是坡度場(chǎng)景的坡度和高度統(tǒng)計(jì)：

車道線是地面上的一系列點(diǎn)，在點(diǎn)云中很難識(shí)別。因此，獲得3D車道線的高質(zhì)量標(biāo)注非常昂貴，而在2D圖像中對(duì)車道線進(jìn)行注釋則便宜得多。對(duì)激光雷達(dá)點(diǎn)云和圖像像素進(jìn)行深入研究，用于構(gòu)建3-D車道線數(shù)據(jù)集。數(shù)據(jù)集構(gòu)建流水線的概述如圖所示：該流水線包括五個(gè)步驟，即地面分割、點(diǎn)云投影、人為標(biāo)注/自動(dòng)標(biāo)注、自適應(yīng)車道線調(diào)和（blending）和點(diǎn)云恢復(fù)。

SALAD，一種空間感知的單目車道線檢測(cè)方法，可直接在單目圖像上執(zhí)行3D車道線檢測(cè)。與之前的3D車道線檢測(cè)算法相比，該算法將圖像投影到頂視圖，并采用一組預(yù)定義的錨點(diǎn)回歸3D坐標(biāo)，不需要人工制作錨點(diǎn)和外參的監(jiān)督。受SMOKE（單目3D檢測(cè)）方法的啟發(fā)，SALAD由兩個(gè)分支組成：語(yǔ)義-覺(jué)察分支和空間上下文分支。

SALAD的模型總體結(jié)構(gòu)如圖所示：主干將輸入圖像編碼為深度特征，兩個(gè)分支即語(yǔ)義-覺(jué)察分支和空間上下文分支對(duì)特征進(jìn)行解碼，以獲得車道線的空間信息和分割掩碼；然后整合這些信息進(jìn)行3D重建，最終獲得真實(shí)場(chǎng)景的3D車道線位置；此外，一種改進(jìn)的聯(lián)合3D車道線擴(kuò)展策略可提高泛化能力。

由于下采樣和缺乏全局信息，預(yù)測(cè)車道點(diǎn)的位置不夠準(zhǔn)確?？臻g上下文分支，接受特征F并輸出像素級(jí)偏移圖，該偏移圖預(yù)測(cè)圖像平面上沿u軸和v軸的車道線點(diǎn)空間位置偏移δu和δv。通過(guò)像素位置偏移δu和δv的預(yù)測(cè)，車道線點(diǎn)的位置粗略估計(jì)將根據(jù)全球空間上下文進(jìn)行修改：

為了恢復(fù)3D車道線信息，空間上下文分支還生成一個(gè)密集的深度圖，以回歸車道線每個(gè)像素的深度偏移δz?？紤]到圖像平面的地面深度沿行增加，為深度圖的每行指定一個(gè)預(yù)定義的偏移αr和比例βr，以殘差方式進(jìn)行回歸。標(biāo)準(zhǔn)深度值z(mì)恢復(fù)如下：

在稀疏深度圖上應(yīng)用深度補(bǔ)全，得到密集深度圖Dgt，為空間上下文分支提供足夠的訓(xùn)練信號(hào)。

具體而言，給定相機(jī)內(nèi)參矩陣K3×3，相機(jī)坐標(biāo)系的3D點(diǎn)（x、y、z）可以投影到2D圖像像素（u、v），如下所示：

因此，給定圖像像素坐標(biāo)（u，v）及其深度信息d的2D車道線點(diǎn)，注意深度表示到攝像頭平面的距離，因此深度d與相機(jī)坐標(biāo)系中的z相同。因此，攝像機(jī)坐標(biāo)系（x、y、z）中的3D車道線點(diǎn)可以恢復(fù)如下：

損失函數(shù)定義如下：

如圖所示是單邊Chamfer距離：給定路面真車道線上的一個(gè)點(diǎn)，在預(yù)測(cè)車道上找到最近的點(diǎn)以計(jì)算Chamfer距離。

實(shí)驗(yàn)結(jié)果如下：