導(dǎo)讀

車道線檢測(cè)，作為自動(dòng)駕駛最基礎(chǔ)也最重要的任務(wù)之一。從傳統(tǒng)車道線檢測(cè)方法到使用深度學(xué)習(xí)的檢測(cè)方法，近年也一直是從業(yè)人員的熱門研究對(duì)象。華為諾亞方舟實(shí)驗(yàn)室與中山大學(xué)近日發(fā)表了一個(gè)新方法CurveLane-NAS，旨在解決彎道車道線檢測(cè)問題。同時(shí)，還發(fā)布了一個(gè)車道檢測(cè)數(shù)據(jù)集CurveLanes，是目前最大也是最難的車道檢測(cè)數(shù)據(jù)集。

1  CurveLanes：車道檢測(cè)數(shù)據(jù)集

在車道線檢測(cè)領(lǐng)域，有很多可供使用數(shù)據(jù)集。作為參考，總結(jié)如下：

·  TuSimple

·  CULane

·  Mapillry

·  Caltech Lanes

·  VPGNet

·  BDD100K

·  ApolloScape

·  DIML

·  Jiqing Expressway

·  DET

·  3D Lane Synthetic Dataset

·  Jiqing Expressway

·  The Lane Marker Dataset

·  A Dataset for Lane Instance Segmentation in Urban Environments

其中TuSimple和CULane是最常用的數(shù)據(jù)集。TuSimple數(shù)據(jù)集難度較低，場(chǎng)景多為高速公路；CULane數(shù)據(jù)集場(chǎng)景多為城區(qū)，難度高于TuSimple。

但是，這些數(shù)據(jù)集中的車道大多為直線車道。TuSimple數(shù)據(jù)集中只有30％的圖像包含彎道，而CULane數(shù)據(jù)集中僅僅只有約2.1％的圖像包含彎道。直線車道的檢測(cè)任務(wù)相對(duì)簡(jiǎn)單，彎道為車道線檢測(cè)工作提高了難度，尤其遠(yuǎn)處的彎道很難被識(shí)別與檢測(cè)。而彎道的檢測(cè)卻尤為重要，對(duì)于后續(xù)工作（如軌跡規(guī)劃）提供了關(guān)鍵的基礎(chǔ)。

因此，此次華為發(fā)布的CurveLanes數(shù)據(jù)集中90%以上都是曲線車道，約包含13萬5000張圖像（共15萬張圖像）。為今后曲線車道檢測(cè)工作提供了一個(gè)更具挑戰(zhàn)性的基準(zhǔn)。



該數(shù)據(jù)集采用三次樣條曲線手動(dòng)標(biāo)注所有車道線，包括很多較為復(fù)雜的場(chǎng)景，如S路、Y車道，還有夜間和多車道的場(chǎng)景。分為三個(gè)部分：訓(xùn)練集10萬張，驗(yàn)證集2萬張，測(cè)試集3萬張。分辨率為2650×1440。（下載地址見文末）

2  CurveLane-NAS：曲線車道檢測(cè)方法

車道線檢測(cè)一般基于單目攝像頭，檢測(cè)方法可以分為兩類：傳統(tǒng)圖像處理方法和深度學(xué)習(xí)方法。

傳統(tǒng)的圖像處理方法非常依賴人工提取特征來檢測(cè)車道線。其中最常用的是基于顏色和結(jié)構(gòu)的特征，并與霍夫變換相結(jié)合，然后再對(duì)檢測(cè)到的線段進(jìn)行擬合等后處理得到完整車道線。實(shí)際的場(chǎng)景會(huì)由于光照、陰影等因素而發(fā)生變化，引發(fā)魯棒性問題，因此存在許多挑戰(zhàn)。

隨著機(jī)器學(xué)習(xí)領(lǐng)域的發(fā)展，比起人工構(gòu)建特征，通過數(shù)據(jù)自動(dòng)提取特征的方式被證明效果會(huì)更好。其中，最常見是基于CNN的方法（例如SCNN和Line-CNN等）。SCNN等方法通常采用密集預(yù)測(cè)公式，即將車道檢測(cè)視為語義分割任務(wù)，圖像中的每個(gè)像素都分配有標(biāo)簽以指示其是否屬于車道線，具有較重的編碼器-解碼器結(jié)構(gòu)。但是有些方法通常需要事先預(yù)設(shè)好車道數(shù)，或是一般使用較小的輸入圖像，這就導(dǎo)致這些方法很難預(yù)測(cè)曲線車道遠(yuǎn)處的部分。Line-CNN等方法基于候選區(qū)域，通過預(yù)測(cè)多個(gè)候選錨點(diǎn)或線段可以擺脫低效的解碼器和事先預(yù)設(shè)的車道數(shù)。但是，由于基于候選區(qū)域，它們對(duì)曲率時(shí)刻變化的彎道捕捉不夠靈活。

在論文《CurveLane-NAS: Unifying Lane-Sensitive Architecture Search and Adaptive Point Blending》中，華為與中大提出了一個(gè)名為CurveLane-NAS的新方法，是一種簡(jiǎn)單而有效的多目標(biāo)搜索算法，為每個(gè)特征層準(zhǔn)確分配具有合理感受野和空間分辨率的計(jì)算，旨在高效性和準(zhǔn)確性之間達(dá)到最佳平衡。



NAS（網(wǎng)絡(luò)結(jié)構(gòu)搜索）簡(jiǎn)單來講就是定義網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)的自動(dòng)調(diào)優(yōu)。先定義搜索空間，然后通過搜索策略找出候選網(wǎng)絡(luò)結(jié)構(gòu)，對(duì)它們進(jìn)行評(píng)估，再根據(jù)反饋進(jìn)行下一輪的搜索。網(wǎng)絡(luò)結(jié)構(gòu)搜索策略有很多，包括基于強(qiáng)化學(xué)習(xí)的方法，基于進(jìn)化算法的方法，基于梯度的方法等。CurveLane-NAS基于進(jìn)化算法，設(shè)計(jì)了一個(gè)搜索空間和基于樣本的多目標(biāo)搜索算法，來解決曲線車道的檢測(cè)問題。

該算法包括三個(gè)模塊：彈性骨干搜索模塊、特征融合搜索模塊和自適應(yīng)點(diǎn)混合模塊，如上圖所示。彈性骨干搜索模塊用于在多尺寸特征圖上分配不同的計(jì)算量。該研究設(shè)計(jì)了“彈性”的搜索空間，在原來的ResNet18/50中，將通道大小塊加倍的位置固定在每個(gè)階段的開始。這樣在搜索過程中，無需使用預(yù)先訓(xùn)練的ImageNet模型，即可從頭開始以大批量對(duì)模型進(jìn)行良好的訓(xùn)練。特征融合搜索模塊用于為更好得融合多級(jí)特征間的不同信息。對(duì)于車道線檢車來說，前期的特征通過其局部圖案包含更準(zhǔn)確的短距離曲線信息，而后期的特征可以捕捉到遠(yuǎn)距離的相干車道信息。自適應(yīng)點(diǎn)混合模塊用于搜索新穎的多級(jí)后處理細(xì)化策略，以結(jié)合多級(jí)Head預(yù)測(cè)，并允許對(duì)形狀變化和遠(yuǎn)方車道進(jìn)行魯棒性更高的預(yù)測(cè)。在Line-NMS的基礎(chǔ)上，考慮多層次特征預(yù)測(cè)問題，使用點(diǎn)混合技術(shù)進(jìn)行車道敏感的預(yù)測(cè)。



3  總結(jié)

雖然CurveLane-NAS是為曲線車道設(shè)計(jì)的算法，但在97%以上都直線車道的數(shù)據(jù)集CULane上表現(xiàn)依然非常良好。在華為發(fā)布的新數(shù)據(jù)集CurveLanes上，現(xiàn)有的算法如SCNN和SAD的性能卻有所下降，而CurveLane-NAS的表現(xiàn)十分優(yōu)秀，與現(xiàn)有的算法相比，實(shí)現(xiàn)了準(zhǔn)確性和高效性的平衡。

論文：CurveLane-NAS: Unifying Lane-Sensitive Architecture Search and Adaptive Point Blending
作者：Hang Xu, Shaoju Wang, Xinyue Cai, Wei Zhang, Xiaodan Liang, Zhenguo Li
鏈接：https://arxiv.org/abs/2007.12147
數(shù)據(jù)集CurveLane下載鏈接：https://github.com/xbjxh/curvelanes

參考信息：
https://arxiv.org/abs/2007.12147
https://github.com/xbjxh/curvelanes
https://github.com/amusi/awesome-lane-detection
https://blog.csdn.net/jinzhuojun/article/details/84698471