1.導(dǎo)讀

現(xiàn)代社會中，隨著車輛的普及，人的活動范圍在逐步擴(kuò)大，單單依靠人類記憶引導(dǎo)行駛到達(dá)目的地已經(jīng)越來越不切實(shí)際，因此車載導(dǎo)航就扮演了越來越重要的角色。

傳統(tǒng)車載導(dǎo)航根據(jù)GPS將用戶車輛位置定位于地圖上，導(dǎo)航軟件根據(jù)設(shè)定的目的地規(guī)劃行駛路徑，通過屏幕顯示和語音播報的形式指引用戶行駛至目的地。這樣的展示方式使得用戶在使用導(dǎo)航的過程中，需要將地圖指引信息和語音播報信息與當(dāng)前自車所處的真實(shí)世界連接起來，才能理解引導(dǎo)信息的具體含義，之后做出相應(yīng)駕駛動作。

總結(jié)導(dǎo)航信息處理的整個過程，可以分為三個部分：接收(看/聽)、理解、行動。

然而，試想這樣一個場景，行駛前方有個岔路，由于沒有聽清楚需要走左前方還是右前方，這個時候就很容易錯過變道時機(jī)。

因此，AR導(dǎo)航利用視覺技術(shù)，綜合導(dǎo)航信息和真實(shí)場景信息，優(yōu)化了引導(dǎo)信息展現(xiàn)形式，降低了用戶的接收和理解成本，所見即所得，用戶只用根據(jù)導(dǎo)航信息行動即可。

2.AR導(dǎo)航的定義

車載AR導(dǎo)航是指通過攝像頭將車輛前方道路的真實(shí)世界實(shí)時地捕捉下來，利用移動端視覺識別技術(shù)及算法，實(shí)時地識別車輛行駛場景中的各種重要導(dǎo)航要素，例如車道線、前方車輛、車道相對位置等，再結(jié)合自車GPS定位、地圖導(dǎo)航信息，通過多元信息的融合以及計算，生成虛擬的導(dǎo)航指引模型，并渲染疊加到真實(shí)場景上，從而創(chuàng)建出更貼近駕駛者真實(shí)視野的導(dǎo)航畫面（圖1）。


圖1 AR導(dǎo)航

在駕駛車輛過程中，車道線的重要性不言而喻，它通過不同的屬性，例如虛、實(shí)、黃、白等，來指引車輛的行駛方向，規(guī)范駕駛員的駕駛行為，避免車輛之間的碰撞，最終實(shí)現(xiàn)更加高效和流暢的交通。

在AR導(dǎo)航中車道線同樣重要，實(shí)時車道線檢測能夠?yàn)锳R導(dǎo)航引擎提供當(dāng)前車道寬度、車道線屬性等信息，從而提前對用戶做出正確的引導(dǎo)，指引駛?cè)胝_的車道。

如上圖所示，通過車道級定位將自車定位在當(dāng)前路左數(shù)第二車道，這時根據(jù)導(dǎo)航信息前方將要左轉(zhuǎn)，與此同時通過車道線檢測獲知左側(cè)車道線為白色虛線，允許變道行駛，再通過車道寬度和自車在車道內(nèi)距左右車道線的距離，渲染出正確的引導(dǎo)線，指引用戶提前變道駛?cè)胱髷?shù)第一車道，避免錯過路口，導(dǎo)致偏航行駛，浪費(fèi)時間精力。

此外，車道線檢測還能提供ADAS功能，如車道保持、車道偏離預(yù)警（LDW）等。

3.車道線檢測背景介紹與方法回顧

有關(guān)車道線檢測的研究已經(jīng)持續(xù)了比較長的時間，雖說已經(jīng)取得了一定的成果，但是想要實(shí)際應(yīng)用仍然具有非常大的挑戰(zhàn)，導(dǎo)致這種現(xiàn)狀主要有以下幾個方面的原因：

圖像質(zhì)量問題：攝像頭采集得到的圖像由于車輛遮擋、樹木和建筑的陰影、車輛移動帶來的光照劇烈變化等原因而變化巨大；

光照場景受天氣因素影響較大：雨天、雪天、霧天、黃昏、夜晚等；

車道線磨損程度不一：高速和城市快速路車道線較清晰，低等級道路磨損較嚴(yán)重，與輪胎劃痕難以區(qū)分；

車道線寬度不一：通常來說車道線寬度在2.3m-3.75m之間，但在現(xiàn)實(shí)世界中，特別是低等級道路，車道線寬度變化較大。

多樣豐富的場景給基于視覺的算法帶來了巨大的挑戰(zhàn)，本文將對車道線檢測方案進(jìn)行講述，并以是否使用深度學(xué)習(xí)為界，分為以下兩個大的體系來介紹：基于特征工程的傳統(tǒng)視覺方案和基于圖像分割的深度學(xué)習(xí)方案。

3.1 基于特征工程的傳統(tǒng)視覺方案

傳統(tǒng)視覺方案里，車道線檢測過程較少使用機(jī)器學(xué)習(xí)方法，主要是利用車道線的視覺特征和空間位置關(guān)系實(shí)現(xiàn)車道線檢測提取，通常來說分為以下幾個步驟：

預(yù)處理：對圖像進(jìn)行預(yù)處理，通常包括車輛等障礙物去除、陰影處理、劃定感興趣區(qū)域(ROI)、前視圖轉(zhuǎn)為俯視圖等；

車道線候選點(diǎn)提?。夯陬伾图y理，針對車道線特點(diǎn)設(shè)計特有的圖像特征提取方式，常用的方法有灰度閾值處理、顏色閾值處理、邊緣提取、特定濾波器濾波等；

車道線擬合：在獲取到候選點(diǎn)之后，通過一些先驗(yàn)知識(如車道線在俯視圖上是平行關(guān)系)設(shè)置規(guī)則，去除一部分outlier車道線候選點(diǎn)，之后可采用參數(shù)方程的方式，進(jìn)行車道線的擬合。常見參數(shù)方程有直線、二次曲線、樣條曲線等，不同的擬合算法對性能也有很大的影響，其中RANSAC算法能夠較好區(qū)分outlier和inlier，所以在車道線擬合過程中得到了廣泛的關(guān)注；

后處理策略：通過坐標(biāo)映射，利用車輛行駛過程中時間和空間的連續(xù)性，實(shí)現(xiàn)車道線跟蹤和濾波，從而提高車道線檢測的穩(wěn)定性和準(zhǔn)確性。

傳統(tǒng)視覺方案檢測車道線過程依賴較多的先驗(yàn)假設(shè)，特征設(shè)計依賴經(jīng)驗(yàn)閾值的調(diào)整，在實(shí)際應(yīng)用中無法應(yīng)對復(fù)雜的道路情況，因此魯棒性較差，尤其是在光照條件變化、車道線磨損程度不同的影響下，經(jīng)驗(yàn)閾值非常容易失效，導(dǎo)致較差的檢測結(jié)果。

但是由于其計算量較小，在算力受限且路況單一(高速/城市快速路)的場景下，仍然可以發(fā)揮它的價值。

3.2 基于圖像分割的深度學(xué)習(xí)方案

深度學(xué)習(xí)圖像分割自2014年FCN提出以來發(fā)展迅速，在眾多的圖像任務(wù)中取得了不凡的結(jié)果。并且由于車道線在ADAS和自動駕駛?cè)蝿?wù)中的特殊地位，可以將車道線檢測逐步從通用的分割任務(wù)中獨(dú)立出來，并且取得了較大的進(jìn)展。

基于圖像分割的車道線檢測方案處理流程與傳統(tǒng)視覺方案類似，主要區(qū)別在于車道線候選點(diǎn)的提取方式上，車道線圖像分割不需要關(guān)于車道線的紋理/顏色/寬度/形狀等先驗(yàn)假設(shè)，而是通過機(jī)器學(xué)習(xí)從訓(xùn)練樣本中獲取車道線的相關(guān)信息，自動地學(xué)習(xí)車道線的特征，具體應(yīng)用時便可以通過學(xué)習(xí)得到的信息，來預(yù)測單個像素位置是否為車道線。

深度學(xué)習(xí)車道線檢測方案基于通用深度學(xué)習(xí)分割方案，但是針對車道線場景進(jìn)行特別的改進(jìn)。

接下來，先介紹近期深度學(xué)習(xí)車道線檢測的相關(guān)工作，而后描述AR場景下的車道線檢測方案。

由于在較多的應(yīng)用場景中只關(guān)注當(dāng)前車道車道線，大多數(shù)方案是先識別全部的車道線，然后通過空間位置關(guān)系進(jìn)行后處理，提取出當(dāng)前車道車道線，但這個過程中容易出錯，穩(wěn)定性較差，Jiman Kim在2017年提出在圖像分割時賦予當(dāng)前車道左右車道線不同的類別，把單條車道線當(dāng)做分割的一個實(shí)例，通過End-to-End方式，直接從圖像中提取出當(dāng)前車道的左右車道線，從而避免了后處理過程中區(qū)分左右車道線，降低出錯概率。

商湯科技Xingang Pan針對車道線細(xì)長的結(jié)構(gòu)特點(diǎn)，提出Spatial CNN替換MRF/CRF結(jié)構(gòu)，在高度和寬度方向（從上至下，從下至上，從右至左，從左至右）逐層進(jìn)行卷積，以增強(qiáng)信息在空間上的流轉(zhuǎn)，實(shí)例分割以當(dāng)前車道為中心的4條車道線，與此同時輸出單條車道線的置信度，可以為實(shí)際使用的多元信息融合提供依據(jù)。該方案在圖森未來舉辦的Lane Detection Challenge上取得了第一名。

從前視視角看，車道線最終都交匯于消失點(diǎn)，為了讓網(wǎng)絡(luò)學(xué)習(xí)圖像中的結(jié)構(gòu)信息，Seokju Lee提出了一個多任務(wù)網(wǎng)絡(luò)，在檢測車道線的同時檢測地面標(biāo)志和消失點(diǎn)。針對消失點(diǎn)的特點(diǎn)，作者設(shè)計了一個精巧的結(jié)構(gòu)用于檢測消失點(diǎn)，并通過實(shí)驗(yàn)證明了消失點(diǎn)任務(wù)的加入提高了車道線的檢測效果。

相比于檢測指定數(shù)量的車道線，Davy Neven在2018年提出將所有車道線當(dāng)做一類進(jìn)行語義分割得到Binary lane segmentation，與此同時網(wǎng)絡(luò)輸出Pixel embeddings結(jié)果，提取Binary lane segmentation前景區(qū)域像素點(diǎn)在Pixel embeddings輸出上的特征值，使用聚類算法，確定每個像素點(diǎn)的車道線類別，從而實(shí)現(xiàn)不定數(shù)量的車道線實(shí)例分割，以適應(yīng)不同的車道線場景。

綜上，相比于通用圖像分割，車道線分割方案主要在利用車道線之間的位置結(jié)構(gòu)關(guān)系，針對車道線細(xì)長的特點(diǎn)，優(yōu)化深度網(wǎng)絡(luò)的空間信息提取能力，并將更多的后處理工作融入至網(wǎng)絡(luò)中，減少后處理難度和出錯概率。

4.AR導(dǎo)航中的車道線檢測方法探索和實(shí)踐

車載AR導(dǎo)航要求將引導(dǎo)要素實(shí)時迭加到真實(shí)場景中，這對于AR導(dǎo)航中的車道線檢測實(shí)時性和穩(wěn)定性提出了極高的要求，與此同時，由于車載設(shè)備(車機(jī)/車鏡)的硬件算力較差，一般落后于手機(jī)芯片3-5年，所以AR導(dǎo)航中的車道線檢測必須做到又快又好。

為了在車載設(shè)備上實(shí)現(xiàn)快速高效的車道線檢測算法，我們在多個方面進(jìn)行了嘗試：

4.1 高效的多任務(wù)模型

由于交通圖像中車輛和車道線有一定的相關(guān)性 (車輛一般情況在兩條車道線中間)，為了充分的利用深度學(xué)習(xí)網(wǎng)絡(luò)能力，共用網(wǎng)絡(luò)主干部分提取到的圖像特征，我們設(shè)計了一個高效的多任務(wù)網(wǎng)絡(luò)（圖2所示），單個模型完成車輛檢測、車道線檢測任務(wù)和其他任務(wù)，并在此基礎(chǔ)上，實(shí)現(xiàn)了一套多任務(wù)權(quán)重自學(xué)習(xí)的機(jī)制，保證各個任務(wù)高效充分的學(xué)習(xí)，最終使得多任務(wù)學(xué)習(xí)模型達(dá)到獨(dú)立單任務(wù)模型持平的識別效果，部分任務(wù)甚至略有超出。


圖2 多任務(wù)網(wǎng)絡(luò)

在多任務(wù)模型迭代的過程中，多任務(wù)樣本的標(biāo)注成本較高，如果需要補(bǔ)充某個任務(wù)的數(shù)據(jù)集，則必須在該數(shù)據(jù)集上對所有的任務(wù)進(jìn)行標(biāo)注，耗費(fèi)較多的標(biāo)注資源。從迭代模型和利用已有的獨(dú)立任務(wù)標(biāo)注數(shù)據(jù)角度出發(fā)，我們研發(fā)了一套以任務(wù)為粒度的訓(xùn)練框架，允許單張圖片有任意個任務(wù)進(jìn)行了標(biāo)注（比如只標(biāo)注了車道線，或者同時標(biāo)注了車輛和車道線等）。

由于和車輛共享主干網(wǎng)絡(luò)，車道線的ROI設(shè)置從圖像輸入轉(zhuǎn)移至車道線分割分支的特征層，進(jìn)一步降低了車道線檢測分支的計算復(fù)雜度，最終車道線檢測分支僅占用原有車道線檢測網(wǎng)絡(luò)15%的計算量。

4.2 消失點(diǎn)優(yōu)化車道線檢測

一般來說在車道線分割方案中有兩種真值標(biāo)注方式：

第一種是常規(guī)的道路場景分割標(biāo)注：在這種情況下，標(biāo)注規(guī)則按照車道線的物理含義，隨著車道線由近及遠(yuǎn)、由粗變細(xì)，如KITTI、CamVid等數(shù)據(jù)集。在這種標(biāo)注規(guī)則下能夠較精確的獲取車道線內(nèi)側(cè)距離車輛的距離，提高橫向車道定位精度，但由于遠(yuǎn)處車道線較細(xì)，特征不明顯，車道線分割精度隨著距離的增加逐步降低。

第二種標(biāo)注方式常見于單純的車道線檢測任務(wù)：如CULane等，這種標(biāo)注方式將車道線定義為白色區(qū)域的中心線，以固定的圖像像素寬度生成分割真值標(biāo)注。相比第一種方式，該方法能夠在一定程度上提高遠(yuǎn)處車道線的識別效果，得到較完整的車道線。但在進(jìn)行車道線擴(kuò)寬時，遠(yuǎn)處不同車道線的真值容易互相壓蓋，造成堆疊部分車道線識別效果較差，增加了車道線后處理難度。

在AR導(dǎo)航中，我們采用第二種車道線標(biāo)注方式，并在車道線檢測模型中增加消失點(diǎn)識別分支，在車道線后處理中以消失點(diǎn)為錨點(diǎn)，優(yōu)化車道線識別精度。

4.3 深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)量化

深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過程中，為了接收反向傳播的梯度，實(shí)現(xiàn)對模型權(quán)重的細(xì)微調(diào)整，一般采用高精度的數(shù)據(jù)格式進(jìn)行計算和權(quán)重的更新，最終完成模型訓(xùn)練，保存模型結(jié)構(gòu)和權(quán)重。

神經(jīng)網(wǎng)絡(luò)量化就是將高精度的模型權(quán)重量化為低比特的數(shù)據(jù)，以使用更少的數(shù)據(jù)位寬來實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的存儲和計算，這樣既能減少運(yùn)算過程中的帶寬，又能降低計算量。由于移動端CPU帶寬資源有限，通過神經(jīng)網(wǎng)絡(luò)量化，可以較大地提高模型運(yùn)算的速度、降低模型空間占用，以TensorFlow為例，量化后的uint8模型與量化前的float模型相比，速度提高1.2到1.4倍，模型空間占用降低3/4。

為了進(jìn)一步優(yōu)化神經(jīng)網(wǎng)絡(luò)量化后的速度，我們在tflite-uint8(基于TensorFlow r1.9)量化基礎(chǔ)上進(jìn)行二次開發(fā)，實(shí)現(xiàn)了一套tflite-int8量化框架，其中包含了量化模型訓(xùn)練、模型轉(zhuǎn)化和自研的int8矩陣運(yùn)算庫，相比官方tflite-uint8，tflite-int8在移動端A53架構(gòu)上有30%的提速，在A57架構(gòu)上有10%的提速，與此同時，量化前后多任務(wù)模型的精度幾乎保持不變。


圖3 小米5s上單線程模型運(yùn)行時間對比

最終通過上述方法，在較低算力的車鏡/車機(jī)芯片上實(shí)現(xiàn)了實(shí)時穩(wěn)定的車道線檢測，骨干提取后效果圖如下圖：


圖4 車道線骨干提取效果

5.挑戰(zhàn)與展望

在AR導(dǎo)航中，車道線有著舉足輕重的地位，作為AR導(dǎo)航的基礎(chǔ)，搭建在其上的一系列導(dǎo)航功能的好壞都與它的檢測精度息息相關(guān)。然而實(shí)際道路場景千變?nèi)f化、天氣光照也四季不同，這些都給車道線的檢測識別帶來了較大的難度。

因此，在后續(xù)的研發(fā)過程中，我們將不斷擴(kuò)大覆蓋范圍，充分利用高德自采的大量道路數(shù)據(jù)的優(yōu)勢，結(jié)合相關(guān)傳感器和導(dǎo)航數(shù)據(jù)不斷完善和優(yōu)化，來進(jìn)一步地提高車道線的檢測精度，以更好地服務(wù)AR導(dǎo)航項(xiàng)目，最終向用戶提供更直觀高效的導(dǎo)航服務(wù)。