摘要

在過去幾年里，自動(dòng)駕駛一直是最受歡迎和最具挑戰(zhàn)性的話題之一。在實(shí)現(xiàn)完全自主駕駛的道路上，研究人員利用各種傳感器，如激光雷達(dá)、相機(jī)、慣性測量單元(IMU)和GPS，并開發(fā)了用于自動(dòng)駕駛應(yīng)用的智能算法，如目標(biāo)檢測、目標(biāo)分割、障礙物回避和路徑規(guī)劃。近年來，高精地圖備受關(guān)注。由于高精地圖在定位上的高精度和信息化程度，它立即成為自動(dòng)駕駛的關(guān)鍵組成部分之一。從百度Apollo、英偉達(dá)(NVIDIA)和TomTom等大型組織到個(gè)人研究人員，研究人員為自動(dòng)駕駛的不同場景和目的創(chuàng)建了高精地圖。有必要回顧一下目前最先進(jìn)的高精地圖生成方法。本文綜述了近年來利用2D和3D地圖生成的高精地圖生成技術(shù)。本文介紹了高精地圖的概念及其在自動(dòng)駕駛中的應(yīng)用，并對(duì)高精地圖生成技術(shù)進(jìn)行了詳細(xì)的概述。我們還將討論當(dāng)前高精地圖生成技術(shù)的局限性，以推動(dòng)未來的研究。

目錄

• 1 介紹

• 2 高精地圖的數(shù)據(jù)采集

• 3 點(diǎn)云地圖生成

3.1.1 基于分割的點(diǎn)云配準(zhǔn)3.1.2 僅基于激光雷達(dá)的點(diǎn)云建圖3.1.3 里程計(jì)融合點(diǎn)云配準(zhǔn)3.1.4 GPS融合點(diǎn)云配準(zhǔn)3.1.5 INS融合點(diǎn)云配準(zhǔn)3.1.6 視覺傳感器融合點(diǎn)云配準(zhǔn)3.1 建圖技術(shù)

• 4 高精地圖的特征提取方法

4.2.1 從二維圖像提取道路標(biāo)志4.1.1 二維航空圖像道路提取4.1.2 三維點(diǎn)云的道路提取4.1.3 基于傳感器融合的道路/道路邊界提取4.1.4 其它方法4.1 道路網(wǎng)提取4.2 道路標(biāo)志提取4.2.2 三維點(diǎn)云的道路標(biāo)志提取4.3 桿狀物體提取5 高精地圖框架5.1 Lanelet25.2 OpenDRIVE5.3 Apollo地圖6 局限性和開放性問題7 參考文獻(xiàn)

1 介紹

“高精地圖”概念最早是在2010年梅賽德斯-奔馳的研究中引入的，后來在2013年為Bertha Drive Project[1]做出了貢獻(xiàn)。在Bertha Drive Project中，一輛梅賽德斯-奔馳S500在完全自主模式下完成了Bertha Benz紀(jì)念路線，使用了高度精確和信息詳實(shí)的3D路線圖，后來被參與測繪的HERE[2]公司命名為“High Definition (HD) Live map”。高精地圖包含自動(dòng)駕駛所需的道路/環(huán)境的所有關(guān)鍵靜態(tài)屬性(例如：道路、建筑物、交通燈和道路標(biāo)記)，包括由于遮擋而無法被傳感器適當(dāng)檢測到的物體。近年來，自動(dòng)駕駛高精地圖以其高精度和豐富的幾何和語義信息而聞名。它與車輛定位功能緊密相連，并不斷與激光雷達(dá)、雷達(dá)、相機(jī)等不同傳感器相互作用，構(gòu)建自主系統(tǒng)的感知模塊。這種交互最終支持了自動(dòng)駕駛車輛[3]的任務(wù)和運(yùn)動(dòng)規(guī)劃，如圖1所示。

圖1 自動(dòng)駕駛架構(gòu)。高精地圖包含關(guān)于道路/環(huán)境的靜態(tài)信息和屬性，包括由于遮擋而無法被感知模塊檢測到的物體。并根據(jù)道路特征對(duì)車輛進(jìn)行自我定位。環(huán)境與感知模塊提供車輛周圍的實(shí)時(shí)環(huán)境信息。高精地圖和感知模塊共同工作，最終支持任務(wù)和運(yùn)動(dòng)規(guī)劃模塊，包括導(dǎo)航、運(yùn)動(dòng)引導(dǎo)和穩(wěn)定控制。在自動(dòng)駕駛市場上，沒有唯一的標(biāo)準(zhǔn)的高精地圖結(jié)構(gòu)。然而，目前市場上的高精地圖有一些常用的結(jié)構(gòu)，如導(dǎo)航數(shù)據(jù)標(biāo)準(zhǔn)(NDS)[4]、動(dòng)態(tài)地圖平臺(tái)(DMP)[5]、HERE高清實(shí)時(shí)地圖[2]和TomTom[6]。大多數(shù)結(jié)構(gòu)共享類似的三層數(shù)據(jù)結(jié)構(gòu)。表1顯示了TomTom[7]、HERE[8]和Lanelet (Bertha Drive)[1]定義的三層結(jié)構(gòu)高精地圖。本文將采用HERE的術(shù)語來指代這三層，如圖2所示。表1 三層結(jié)構(gòu)高精地圖的示例。

圖2 由HERE定義的高精地圖結(jié)構(gòu)：高精道路由拓?fù)浣Y(jié)構(gòu)、行駛方向、交叉路口、坡度、坡道、規(guī)則、邊界和隧道組成。高精車道由車道級(jí)別特征組成，如邊界、類型、線條和寬度。HD定位包括道路設(shè)施，如交通燈和交通標(biāo)志等。 第1層道路模型(Road Model)定義了道路特征，如拓?fù)?、行進(jìn)方向、高程、坡度/坡道、規(guī)則、路緣/邊界和交叉路口。它用于導(dǎo)航。第2層車道模型(Lane Model)定義了車道層次特征，如道路類型、線路、道路寬度、停車區(qū)域和速度限制。該層作為自動(dòng)駕駛的感知模塊，可以根據(jù)實(shí)時(shí)交通或環(huán)境進(jìn)行決策。顧名思義，最后一層，定位模型，在高精地圖中定位自動(dòng)車輛。這一層包含路邊的設(shè)施，如建筑物、交通信號(hào)、標(biāo)志和路面標(biāo)記。這些功能有助于自動(dòng)車輛快速定位，特別是在其特征豐富的城市地區(qū)。以上組織制作的高精地圖都是精確的，并且不斷更新。然而，它們只是用于商業(yè)目的，而不是開源的。個(gè)人研究人員很難使用上述結(jié)構(gòu)來構(gòu)建高精地圖。因此，本文將對(duì)未商業(yè)化的高精地圖生成方法進(jìn)行綜述，這些方法可能有助于研究人員創(chuàng)建個(gè)性化的高精地圖，并開發(fā)新的高精地圖生成方法。本文的結(jié)構(gòu)安排如下：第2節(jié)回顧了近年來高精地圖數(shù)據(jù)采集的方法。第3節(jié)回顧了近年來高精地圖特征提取的方法，包括道路/車道網(wǎng)提取、道路標(biāo)記提取和pole-like物體提取。第4節(jié)介紹了HD地圖的常用框架。第5節(jié)將討論目前高精地圖生成方法的局限性，并對(duì)高精地圖提出一些開放性的挑戰(zhàn)。最后，第6節(jié)給出結(jié)論。

2 高精地圖的數(shù)據(jù)采集

數(shù)據(jù)來源/收集是生成高精地圖的第一步。數(shù)據(jù)收集使用移動(dòng)地圖系統(tǒng)(MMS)完成。MMS是一個(gè)移動(dòng)車輛，它裝有地圖傳感器，包括GNSS(全球?qū)Ш叫l(wèi)星系統(tǒng))、IMU、激光雷達(dá)(光檢測和測距)，相機(jī)和雷達(dá)，以收集地理空間數(shù)據(jù)。商業(yè)化的高精地圖提供商都采用眾包的方式來收集制作和維護(hù)高精地圖的數(shù)據(jù)。Level5與Lyft合作，讓20輛自動(dòng)駕駛汽車沿著加州帕洛阿爾托的固定路線行駛，收集包含17萬個(gè)場景的數(shù)據(jù)集，包含15242個(gè)標(biāo)記元素的高精語義地圖，以及[9]區(qū)域的高精鳥瞰圖。TomTom通過多種途徑收集數(shù)據(jù)，包括調(diào)查車輛、GPS軌跡、社區(qū)投入、政府來源和車輛傳感器數(shù)據(jù)[10]。HERE利用全球400多輛測繪車輛、政府?dāng)?shù)據(jù)、衛(wèi)星圖像和社區(qū)投入，不斷獲得更新的道路信息。通過眾包的方式收集數(shù)據(jù)，可以在短時(shí)間內(nèi)收集到大量最新的道路/交通數(shù)據(jù)。眾包數(shù)據(jù)還包括不同的環(huán)境，包括城市、城鎮(zhèn)和農(nóng)村地區(qū)。然而，由于多個(gè)移動(dòng)地圖系統(tǒng)的成本較高，且數(shù)據(jù)收集耗時(shí)較長，該方法并不是單個(gè)研究人員的最優(yōu)解決方案。個(gè)別研究人員也利用MMS來收集數(shù)據(jù)。他們不是為世界各地不同類型的環(huán)境收集數(shù)據(jù)，而是專注于一個(gè)小得多的區(qū)域，如城市、大學(xué)校園或住宅區(qū)。收集的數(shù)據(jù)類型也被更詳細(xì)地指定用于研究目的。此外，還有大量的開源數(shù)據(jù)，如衛(wèi)星圖像、KITTI數(shù)據(jù)集[12]、Level5 Lyft數(shù)據(jù)集[13]和nuScenes數(shù)據(jù)集[14]，供研究人員進(jìn)行測試和生成高精地圖。這些數(shù)據(jù)集包含二維和三維真實(shí)世界的交通數(shù)據(jù)，包括圖像、三維點(diǎn)云和IMU/GPS數(shù)據(jù)，這些數(shù)據(jù)已經(jīng)被組織和添加標(biāo)簽。數(shù)據(jù)收集方法及比較匯總于表2。表2 數(shù)據(jù)采集方法比較

下一步是利用采集到的道路環(huán)境數(shù)據(jù)，從原始數(shù)據(jù)中提取有用的特征。

3 點(diǎn)云地圖生成

一旦采集到初始傳感器數(shù)據(jù)，通常進(jìn)行融合和排序，生成初始地圖，主要用于精確定位。建圖主要是使用3D激光傳感器生成的；然而，它可以與其他傳感器融合，如IMU [15]、[16]和[17]， GPS[18]，里程計(jì)[19]和視覺里程計(jì)[20]，以便得到在高精地圖中更準(zhǔn)確的狀態(tài)估計(jì)。INS和GPS傳感器提供方位和位置信息，以厘米精度更新地圖位置。這些點(diǎn)云地圖精度很高，可以輔助地面車輛在三維空間中進(jìn)行厘米級(jí)的精確機(jī)動(dòng)和定位。然后，在從建圖獲得點(diǎn)云配準(zhǔn)后，從PCL地圖創(chuàng)建矢量地圖。點(diǎn)云配準(zhǔn)稱為多步驟過程(如圖3所示)，將幾個(gè)重疊的點(diǎn)云對(duì)準(zhǔn)，生成詳細(xì)而精確的地圖。矢量地圖包含與車道、人行道、十字路口、道路、交通標(biāo)志和交通燈相關(guān)的信息。這一關(guān)鍵特征后來被用于檢測交通標(biāo)志和交通燈、路線規(guī)劃、全局規(guī)劃和局部路徑規(guī)劃。毫無疑問，地圖生成是高精地圖生成的重要組成部分。它可以被定義為高精地圖的基礎(chǔ)幾何地圖層。

圖3 常見的點(diǎn)云配準(zhǔn)多步驟過程。

3.1 建圖技術(shù)

地圖生成技術(shù)可以分為在線地圖和離線地圖。離線地圖數(shù)據(jù)全部收集在一個(gè)中心位置。這些數(shù)據(jù)使用的是衛(wèi)星信息或從激光雷達(dá)和相機(jī)存儲(chǔ)的數(shù)據(jù)。在收集數(shù)據(jù)之后，將離線構(gòu)建地圖。另一方面，在在線地圖中使用輕量級(jí)模塊實(shí)現(xiàn)機(jī)載地圖生成。除了地圖的形成類型，測繪技術(shù)還可以根據(jù)傳感器的使用和傳感器的融合方式進(jìn)行分類。以下的測繪技術(shù)需要基于激光的傳感器，因?yàn)樗鼈冊谶h(yuǎn)距離顯示出有希望的準(zhǔn)確性。目前所有有前景的測繪技術(shù)都采用激光作為主要傳感器來測繪和完成高精地圖。另一方面，也有一些方法只使用視覺傳感器來構(gòu)建點(diǎn)云地圖。本文提出了一種用于三維模型生成的點(diǎn)云配準(zhǔn)技術(shù)。但是，下面的方法是根據(jù)支持高精地圖的建圖來分類的。

3.1.1 基于分割的點(diǎn)云配準(zhǔn)

SegMap[21]是一種基于提取點(diǎn)云分割特征的建圖解決方案。該方法通過重構(gòu)局部特征進(jìn)行判別，生成點(diǎn)云圖。軌跡測試結(jié)果顯示，與LOAM框架[22]相結(jié)合時(shí)，LOAM (Laser Odometry and Mapping)的性能得到了增強(qiáng)。構(gòu)建的地圖顯示6%的召回準(zhǔn)確率和50%的里程計(jì)漂移下降。因此，由于數(shù)據(jù)驅(qū)動(dòng)的段描述符提供了更少的粗糙數(shù)據(jù)，因此在定位方面有了改進(jìn)。為SegMap描述符訓(xùn)練一個(gè)簡單的完全連接的網(wǎng)絡(luò)，然后根據(jù)語義提取重建地圖。同樣，采用兩階段算法來改善建圖誤差。該算法采用分段匹配算法與單激光雷達(dá)算法相結(jié)合的方法。同時(shí)，為了減少生成的地圖與在線建圖[23]之間的錯(cuò)誤匹配，引入了基于RANSAC的幾何增強(qiáng)算法。

3.1.2 僅基于激光雷達(dá)的點(diǎn)云建圖

通過改進(jìn)現(xiàn)有的LOAM[24]點(diǎn)選擇方法和迭代位姿優(yōu)化方法，在小視場和不規(guī)則采樣的情況下，激光雷達(dá)已經(jīng)實(shí)現(xiàn)了更高的精度和效率。整個(gè)建圖架構(gòu)如圖4所示。提出了一種快速回環(huán)技術(shù)來解決激光雷達(dá)里程計(jì)和建圖中的長期偏移問題[25]。另一方面，采用分散的小視場多激光雷達(dá)平臺(tái)，利用擴(kuò)展卡爾曼濾波[26]實(shí)現(xiàn)魯棒建圖。此外，還有一種技術(shù)，在機(jī)器人的不同高度安裝激光雷達(dá)，生成點(diǎn)云[27]。

圖4 常見建圖流程。

3.1.3 里程計(jì)融合點(diǎn)云配準(zhǔn)

當(dāng)GPS無法使用或無法連接時(shí)，融合里程計(jì)就派上了用場，尤其是在室內(nèi)。迭代最近點(diǎn)(ICP)方法使用6自由度信息來匹配給定點(diǎn)云中最近的幾何圖形。這樣做的主要缺點(diǎn)是，它會(huì)停留在局部最小值，需要一個(gè)完美的起點(diǎn)，從而導(dǎo)致與真實(shí)環(huán)境的誤差和不對(duì)齊增加[28]。NDTMap[29]生成是由點(diǎn)云轉(zhuǎn)化而來的連續(xù)可微概率密度[30]、[31]。NDTMap的概率密度包含一組正態(tài)分布。它是一個(gè)體素網(wǎng)格，其中每個(gè)點(diǎn)根據(jù)其坐標(biāo)分配給一個(gè)體素。將點(diǎn)云劃分為體素云，合并后的體素在建圖中進(jìn)行濾波，減少噪聲，減少計(jì)算量。因此，以下步驟概述了NDT建圖，

• 從點(diǎn)云輸入數(shù)據(jù)構(gòu)建體素網(wǎng)格

• 估計(jì)初始猜測

• 優(yōu)化初始猜測

• 根據(jù)NDT估計(jì)和初始估計(jì)之間的平移變化來估計(jì)狀態(tài)。根據(jù)位置推導(dǎo)計(jì)算速度和加速度。

如果在初始估計(jì)中不使用里程計(jì)，狀態(tài)估計(jì)是由每次NDT更新導(dǎo)出的。最初的猜測來自于基于運(yùn)動(dòng)模型的速度和加速度更新。引入里程計(jì)時(shí)，位置更新基于里程計(jì)數(shù)據(jù)；特別是速度模型和方向更新。

3.1.4 GPS融合點(diǎn)云配準(zhǔn)

在基于圖的建圖中，將GNSS中的絕對(duì)位置作為約束，將點(diǎn)云數(shù)據(jù)與坐標(biāo)系統(tǒng)一起來[18]。因此，點(diǎn)云中的體素被標(biāo)記為絕對(duì)的三維坐標(biāo)系信息。基于激光雷達(dá)的里程計(jì)也被用于LIO-SAM精確的位姿估計(jì)和地圖構(gòu)建[19]。

3.1.5 INS融合點(diǎn)云配準(zhǔn)

在不使用任何傳感器的情況下，車輛的狀態(tài)和偏航是來自每次NDT更新計(jì)算?；谶\(yùn)動(dòng)模型的初始猜測是由速度和加速度導(dǎo)出的。IMU提供二次模型的平移更新和方向更新。Autoware[32]的NDT制圖技術(shù)還提供IMU和里程計(jì)融合制圖。類似地，DLIO方法[33]通過使用松耦合融合和位姿圖優(yōu)化實(shí)現(xiàn)精確建圖和高速率狀態(tài)估計(jì)。集成了IMU，通過輸入IMU偏差來修正后續(xù)的線性加速度和角速度值，從而提高可靠性。FAST-LIO[16]和FAST-LIO2[17]是激光雷達(dá)慣性里程計(jì)測量系統(tǒng)，用于快速和準(zhǔn)確的測繪。該系統(tǒng)采用緊耦合迭代EKF(擴(kuò)展卡爾曼濾波器)將IMU與激光雷達(dá)特征點(diǎn)融合。FAST-LIO2使用了一種新的技術(shù)，增量kd-Tree，提供了支持地圖的增量更新和動(dòng)態(tài)再平衡。

3.1.6 視覺傳感器融合點(diǎn)云配準(zhǔn)

R2-LIVE[34]和R3-LIVE[35]算法利用Laser、INS和視覺傳感器融合實(shí)現(xiàn)精確建圖和狀態(tài)估計(jì)。R2-LIVE使用基于卡爾曼濾波的迭代里程計(jì)法和因子圖優(yōu)化來確認(rèn)準(zhǔn)確的狀態(tài)估計(jì)。R3-LIVE是兩個(gè)獨(dú)立模塊的組合：LiDAR-IMU里程計(jì)和視慣里程計(jì)。全局地圖實(shí)現(xiàn)了激光雷達(dá)和IMU的精確幾何測量。融合了IMU的視覺傳感器將地圖紋理投影到全局地圖中。類似的兩個(gè)子模塊LIO和VIO也用于FAST-LIVO[20]中的魯棒和精確建圖。類似地，LVI-SAM使用兩個(gè)類似于R3-LIVE的子模塊來設(shè)計(jì)。根據(jù)LVI-SAM[36]，視覺慣性系統(tǒng)利用激光雷達(dá)慣性計(jì)算來輔助初始化。視覺傳感器提供深度信息，提高視覺慣性系統(tǒng)的精度。圖5顯示了使用現(xiàn)有建圖算法生成的地圖。有一些技術(shù)可以融合多個(gè)傳感器來創(chuàng)建一個(gè)完整的地圖。視覺里程計(jì)(IMU和相機(jī))、GPS和LiDAR數(shù)據(jù)被組合到一個(gè)超級(jí)節(jié)點(diǎn)中，得到一個(gè)優(yōu)化的地圖[36]。圖6是不同方法在線測繪得到的軌跡路徑。圖6(a)是測繪傳感器數(shù)據(jù)的完整路徑(ontario Tech Campus)。圖6(a)是記錄數(shù)據(jù)的完整里程計(jì)數(shù)據(jù)。圖6(b)和圖6©為完整軌跡放大圖。該真實(shí)路徑由RTK-GPS與IMU數(shù)據(jù)融合得到。這些分?jǐn)?shù)表明R3-LIVE遵循真實(shí)路徑，即RTK-GPS里程計(jì)。

圖5 建圖可視化。(a) LeGO-LOAM， (b) NDT建圖(Autoware)，(c) LIO-SAM，(d) FAST-LIO，(e) LVI-SAM，(f) R3-LIVE。

圖6 不同建圖算法的里程計(jì)路徑圖另一方面，LIO-SAM[19]從原來的航向漂移到中間。對(duì)于NDT建圖，采用了通用的PCL轉(zhuǎn)換和OpenMP方法。用于作圖的里程值為建圖后的里程值(例如，在執(zhí)行建圖匹配的附加步驟之后繪制LeGO-LOAM[15]里程計(jì))。

4 高精地圖的特征提取方法

為了讓車輛定位并遵循運(yùn)動(dòng)和任務(wù)計(jì)劃，道路/車道提取、道路標(biāo)記提取和類極物體提取等特征提取是必要的。傳統(tǒng)的特征提取是人工完成的，成本高、耗時(shí)長、精度低。近年來，機(jī)器學(xué)習(xí)輔助高精地圖生成技術(shù)得到了發(fā)展，并被廣泛應(yīng)用于提高特征提取精度和減少人工工作量。
機(jī)器學(xué)習(xí)輔助高精地圖生成采用人機(jī)在環(huán)(human-in- loop, HITL)技術(shù)，該技術(shù)涉及人機(jī)交互[37]-[39]。人類給數(shù)據(jù)加標(biāo)簽，帶標(biāo)簽數(shù)據(jù)使用監(jiān)督學(xué)習(xí)進(jìn)行訓(xùn)練。精度/置信度較高的結(jié)果會(huì)被保存到高精地圖中，精度/置信度較低的結(jié)果會(huì)被人工檢查并送回算法進(jìn)行再訓(xùn)練。機(jī)器學(xué)習(xí)已被廣泛應(yīng)用于提取道路/車道網(wǎng)絡(luò)、道路標(biāo)志和交通燈。

4.1 道路網(wǎng)提取

4.1.1 二維航空圖像道路提取

道路地圖/網(wǎng)絡(luò)對(duì)于自動(dòng)駕駛系統(tǒng)定位車輛和規(guī)劃路線至關(guān)重要。從航拍圖像中提取路線圖也很有吸引力，因?yàn)楹脚恼掌采w了大量地圖，通常是城市規(guī)模的地圖，并通過衛(wèi)星不斷更新。然而，從航空圖像手動(dòng)創(chuàng)建道路地圖是勞動(dòng)密集型和耗時(shí)的。由于人為錯(cuò)誤，它也不能保證準(zhǔn)確的路線圖。因此，需要能夠自動(dòng)化路線圖提取過程的方法。二維航空圖像道路網(wǎng)自動(dòng)提取可分為三種不同的方法：基于分割的方法、迭代圖增長法和圖生成法。基于分割的方法。基于分割的方法從航空圖像中預(yù)測分割概率圖，并通過后處理對(duì)分割預(yù)測進(jìn)行細(xì)化，提取圖像。Mattyus等人提出了一種直接估計(jì)道路拓?fù)洳暮脚膱D像中提取道路網(wǎng)絡(luò)的方法[40]。在他們名為DeepRoadMapper的方法中，他們首先使用ResNet[41]的變體來將航空圖像分割成興趣類別。然后，他們使用softmax激活函數(shù)以0.5概率的閾值過濾道路類，并使用閃光(shinning)提取道路中心線[42]。為了緩解道路分割的斷續(xù)問題，他們將斷續(xù)道路的端點(diǎn)與特定范圍內(nèi)的其它道路的端點(diǎn)連接起來。將連接點(diǎn)視為潛在道路，這里采用A*算法[43]，為間斷道路選取最短的連接點(diǎn)，如圖7所示。

圖7 道路分割用綠色突出顯示，紅線為提取的道路中心線，黃色虛線表示道路的潛在連接，藍(lán)色線條為A*算法選擇的潛在線[60]。通過評(píng)估他們在多倫多城市數(shù)據(jù)集[44]上的方法，并將結(jié)果與[45]、OpenStreetMap和地面真值圖進(jìn)行比較，他們顯示了比出版那年的最先進(jìn)技術(shù)的顯著改進(jìn)。除了改進(jìn)之外，值得注意的是，當(dāng)?shù)缆坊蛑車h(huán)境的復(fù)雜性增加(如遮擋)時(shí)，啟發(fā)式算法(A*算法)不是最優(yōu)解。為了提高基于分割的路網(wǎng)提取性能，解決[40]中路網(wǎng)不連通性問題，[46]提出了方向?qū)W習(xí)和連通性優(yōu)化方法。該方法通過預(yù)測路網(wǎng)的方向和分割來解決路網(wǎng)不連通問題，并使用 n n n-堆疊的多分支CNN對(duì)分割結(jié)果進(jìn)行修正。該方法在SpaceNet[47]和DeepGlobe[48]數(shù)據(jù)集上進(jìn)行了進(jìn)一步評(píng)估，并與DeepRoadMapper和其它先進(jìn)的方法[49]-[52]進(jìn)行了比較，以顯示其先進(jìn)的結(jié)果。評(píng)價(jià)結(jié)果如表3所示。突出顯示的粗體值代表最佳結(jié)果。根據(jù)表3的比較，OrientationiRefine優(yōu)化設(shè)計(jì)的結(jié)果是最先進(jìn)的。表3 SpaceNet和DeepGlobe數(shù)據(jù)集上最先進(jìn)的道路提取方法的比較。IOU^r和IoU^a分別表示松弛和準(zhǔn)確的道路IoU。APLS為平均路徑長度相似度[46]。

Ghandorh等人在基于分割的方法中加入邊緣檢測算法，從衛(wèi)星圖像中對(duì)分割后的路網(wǎng)進(jìn)行了細(xì)化[53]。該方法采用了編碼器-譯碼器結(jié)構(gòu)，加上擴(kuò)展的卷積層[54]和注意機(jī)制[55]-[58]，使網(wǎng)絡(luò)具有大規(guī)模目標(biāo)分割能力，并更關(guān)注重要特征。然后將分割后的路網(wǎng)輸入到邊緣檢測算法中進(jìn)行進(jìn)一步細(xì)化。迭代圖生長法。迭代圖增長方法首先從二維航拍圖像中選擇道路網(wǎng)絡(luò)的幾個(gè)頂點(diǎn)，生成道路網(wǎng)絡(luò)。然后，一個(gè)頂點(diǎn)一個(gè)頂點(diǎn)地生成道路，直到創(chuàng)建出整個(gè)道路網(wǎng)絡(luò)。Bastani等人注意到了DeepRoadMapper的相同限制。當(dāng)?shù)缆贩指畲嬖诓淮_定性時(shí)，啟發(fā)式算法的性能較差，這種不確定性可能由遮擋和復(fù)雜的拓?fù)浣Y(jié)構(gòu)(如平行道路)引起[52]。隨著由于樹木、建筑物和陰影導(dǎo)致的遮擋面積增加，基于CNN的道路分割表現(xiàn)較差。以前的方法[59]、[60]沒有處理此類問題的可靠解決方案。針對(duì)上述問題，Bastani等人提出了一種新的方法RoadTracer，從航拍圖像中自動(dòng)提取道路網(wǎng)絡(luò)[52]。RoadTracer采用迭代圖構(gòu)造程序，旨在解決遮擋導(dǎo)致的性能不佳問題。RoadTracer有一個(gè)由基于CNN的決策函數(shù)引導(dǎo)的搜索算法。搜索算法從路網(wǎng)中已知的單個(gè)頂點(diǎn)開始，并隨著搜索算法的探索不斷向路網(wǎng)中添加頂點(diǎn)和邊?；贑NN的決策函數(shù)決定是否將一個(gè)頂點(diǎn)或一條邊添加到路網(wǎng)中。通過這種方法，通過迭代圖生長方法逐點(diǎn)生成道路圖。迭代圖生長法如圖8所示。在15個(gè)城市地圖上評(píng)估了RoadTracer方法，并將結(jié)果與DeepRoadMapper和Bastani等人實(shí)現(xiàn)的另一種分割方法進(jìn)行了比較。RoadTracer可以生成比先進(jìn)的DeepRoadMapper更好的地圖網(wǎng)絡(luò)結(jié)果。

圖8 基于迭代圖生長法的航空圖像道路網(wǎng)絡(luò)提取。綠線表示被提取出的道路[154]。迭代圖構(gòu)建過程的一個(gè)缺點(diǎn)是生成大規(guī)模路網(wǎng)的效率。由于這一過程是逐點(diǎn)生成道路圖，因此隨著道路網(wǎng)絡(luò)規(guī)模的增長，這一過程將變得非常耗時(shí)。據(jù)作者所知，RoadTracer是第一個(gè)使用迭代圖增長方法生成道路網(wǎng)絡(luò)的工作。因此，對(duì)該方法的進(jìn)一步研究可以提高大規(guī)模路網(wǎng)生成效率。DeepRoadMapper[40]、RoadTracer[52]、OrientationRefine[46]等最新方法在SpaceNet[47]和DeepGlobe[48]數(shù)據(jù)集上的評(píng)估和比較結(jié)果如表3所示。圖生成方法。圖生成方法直接從航空圖像預(yù)測路網(wǎng)圖。該方法將輸入的航空圖像編碼為向量場，利用神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)測。然后通過解碼算法將預(yù)測解碼為圖。該方法已用于預(yù)測路網(wǎng)圖，包括線段[61]、線形物體[62]和多邊形建筑[63]。Xu等人在圖生成方法的基礎(chǔ)上，將圖生成方法與transformer相結(jié)合[64]，提出了一種名為csBoundary的高精地圖標(biāo)注道路邊界自動(dòng)提取系統(tǒng)[65]。csBoundary系統(tǒng)首先以4通道航拍圖像作為輸入。它通過特征金字塔網(wǎng)絡(luò)(Feature Pyramid Network, FPN)[66]對(duì)圖像進(jìn)行處理，預(yù)測道路邊界的關(guān)鍵點(diǎn)圖和分割圖。從關(guān)鍵點(diǎn)地圖中，提取一組長度為 M M M的頂點(diǎn)坐標(biāo)。將關(guān)鍵點(diǎn)圖、分割圖和輸入的航拍圖像相結(jié)合，形成一個(gè)6通道特征張量。對(duì)于每個(gè)提取的頂點(diǎn)，大小為 L × L L × L L×L的感興趣區(qū)域(ROI)被裁剪并放置在關(guān)鍵點(diǎn)地圖的中心。Xu等人也提出了鄰接網(wǎng)絡(luò)(AfANet)的注意力機(jī)制[65]。AfA編碼器利用感興趣區(qū)域計(jì)算局部和全局特征向量，AfA解碼器對(duì)特征向量進(jìn)行處理，預(yù)測提取頂點(diǎn)的鄰接矩陣，生成道路邊界圖。所有得到的圖將被用于縫合最終的城市尺度道路邊界圖。csBoundary的結(jié)構(gòu)如圖9所示。

圖9 csBoundary系統(tǒng)架構(gòu)[65]。基于分割的方法可以利用CNN在很短的時(shí)間內(nèi)從航空圖像中自動(dòng)提取大規(guī)模路網(wǎng)。然而，該方法的性能在很大程度上取決于航拍圖像的質(zhì)量。如果道路上有遮擋，可能是陰影或較大的建筑造成的，分割性能會(huì)下降。即使有DeepRoadMapper輔助的A*路徑規(guī)劃算法，該方法仍然不能保證高性能的路網(wǎng)提取，因?yàn)樽疃搪窂讲⒉豢偸乾F(xiàn)實(shí)生活中的實(shí)際路徑。另一方面，迭代圖增長方法利用基于CNN的決策函數(shù)的搜索算法，提高了提取有遮擋的道路的性能。而迭代圖生長法由于逐點(diǎn)構(gòu)建路網(wǎng)的頂點(diǎn)，提取整個(gè)路網(wǎng)的時(shí)間較長。該方法的提取時(shí)間也會(huì)隨著道路地圖大小的增加而增加。由于該方法采用迭代的方式進(jìn)行路網(wǎng)提取，同時(shí)由于累積誤差而存在漂移問題，使得該方法對(duì)大規(guī)模路網(wǎng)提取具有挑戰(zhàn)性。用于道路網(wǎng)絡(luò)提取的圖生成方法仍然局限于物體的特定形狀，嚴(yán)重依賴解碼算法，限制了其泛化能力。需要開發(fā)更多的解碼算法來擴(kuò)展圖生成方法的提取類別。在Topo-Boundary [67]數(shù)據(jù)集上評(píng)估的三種最先進(jìn)的方法的性能比較如表4所示，包括OrientationRefine [46] (基于分割的方法)、Enhanced-iCurb [67] (迭代圖增長)、Sat2Graph [68] (圖生成)和csBoundary [69] (圖生成)。

4.1.2 三維點(diǎn)云的道路提取

基于三維點(diǎn)云的道路或車道提取已廣泛應(yīng)用于高精地圖的生成過程中。激光雷達(dá)點(diǎn)云具有很高的精度，通常達(dá)到毫米級(jí)精度，并包含被掃描物體的幾何信息。三維點(diǎn)云的道路提取是利用分割完成的。Ibrahim等人指出，二維道路網(wǎng)絡(luò)不能提供任何物體相對(duì)位置的深度線索，而且二維道路網(wǎng)絡(luò)中較小的基礎(chǔ)設(shè)施變化也不是最新的[70]。Ibrahim等人并沒有在航拍圖像上建立道路網(wǎng)絡(luò)，而是展示了澳大利亞珀斯中央商務(wù)區(qū)(CBD)的高精激光雷達(dá)地圖[70]。在他們的工作中，將Ouster激光雷達(dá)放在SUV的頂部，然后駕駛SUV穿過CBD，收集3D點(diǎn)云數(shù)據(jù)。點(diǎn)云數(shù)據(jù)采用回環(huán)采集方式[71]，避免了配準(zhǔn)誤差累積帶來的漂移問題，如圖10所示?；丨h(huán)檢測算法用于提取形成回環(huán)的點(diǎn)云，其中只提取屬于特定回環(huán)的幀。然后對(duì)提取出來的環(huán)路點(diǎn)云進(jìn)行預(yù)處理，包括下采樣[72]、分割地面點(diǎn)[73]、去除自我車輛和附近無關(guān)點(diǎn)。利用三維正態(tài)分布變換(NDT)對(duì)預(yù)處理后的環(huán)路點(diǎn)云進(jìn)行配準(zhǔn)和合并[74]。對(duì)合并后的原始點(diǎn)云進(jìn)行空間子采樣、噪聲去除、重復(fù)點(diǎn)去除和平滑等處理后，得到最終的提取道路。

圖10 以回環(huán)方式采集三維點(diǎn)云。道路點(diǎn)云與其它物體的點(diǎn)云在背景中以回環(huán)形式突出顯示[70]。Ye等人提出了另一種生成3D地圖的方法，用于為特定場景創(chuàng)建高精地圖[75]。他們的提案將一個(gè)特定的場景定義為自動(dòng)駕駛應(yīng)用程序的安全和操作環(huán)境。本文以大學(xué)校園的一部分為具體場景，構(gòu)建三維高精地圖。Ye等人將他們的HD地圖架構(gòu)劃分為四個(gè)不同的層，包括定位層、道路矢量和語義層、動(dòng)態(tài)物體層和實(shí)時(shí)交通層，見表5。定位層存儲(chǔ)用于定位的點(diǎn)云和圖像。道路向量和語義層存儲(chǔ)出行的道路方向、道路類型和道路上的物體。在這一層中，使用的是OpenDRIVE文件格式。動(dòng)態(tài)物體層，顧名思義，存儲(chǔ)關(guān)于行人、障礙物和車輛等物體的高度動(dòng)態(tài)感知信息。這一層以更高的頻率更新，以提供來自周圍環(huán)境的反饋。實(shí)時(shí)交通層存儲(chǔ)車輛速度、位置、交通信號(hào)燈狀態(tài)等實(shí)時(shí)交通數(shù)據(jù)。以實(shí)際場景的數(shù)字3D場景為參考，使用NDT算法創(chuàng)建3D高精地圖。地圖結(jié)果如圖11所示。關(guān)于它們的建圖過程的更多細(xì)節(jié)可以在[75]中找到。表5 具體場景高精地圖架構(gòu)

圖11 校園建筑的數(shù)字3D場景(左)及其高精地圖(右)[75]。

4.1.3 基于傳感器融合的道路/道路邊界提取

二維航拍圖像和三維點(diǎn)云的道路提取都存在一定的局限性。由于光照條件差、路邊基礎(chǔ)設(shè)施遮擋以及各種地形因素，從衛(wèi)星和航空圖像提取的道路網(wǎng)絡(luò)通常不準(zhǔn)確和不完整。三維點(diǎn)云的特征提取也面臨遮擋和點(diǎn)密度變化的問題，導(dǎo)致道路提取不準(zhǔn)確和不完整。在提取道路或道路邊界時(shí)，使用單一數(shù)據(jù)源的局限性很明顯。因此，研究人員一直在使用多源數(shù)據(jù)來提取和補(bǔ)全道路或道路邊界。Gu等人[76]利用激光雷達(dá)的圖像和相機(jī)透視地圖，構(gòu)建映射層，將激光雷達(dá)的圖像視圖特征轉(zhuǎn)換為相機(jī)的透視圖像視圖。該方法提高了在相機(jī)視角下的道路提取性能。Gu等人[77]也提出了條件隨機(jī)森林(conditional random forest, CRF)框架，融合激光雷達(dá)點(diǎn)云和相機(jī)圖像，提取道路網(wǎng)絡(luò)的范圍和顏色信息。在[78]中，基于殘差融合策略，設(shè)計(jì)了一種全卷積網(wǎng)絡(luò)(fully convolutional network, FCN)，將從激光雷達(dá)和相機(jī)數(shù)據(jù)學(xué)習(xí)到的特征圖進(jìn)行融合，用于道路檢測。Li等人[79]采用了一種不同的方法，通過融合GPS軌跡和遙感圖像來構(gòu)建道路地圖。該方法利用基于遷移學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)從圖像中提取道路特征，利用U-Net提取道路中心線。此外，[80]設(shè)計(jì)了一個(gè)緊耦合的感知規(guī)劃框架，利用GPS-相機(jī)-激光雷達(dá)傳感器融合來檢測道路邊界。Ma等人也提出了一種新的深度學(xué)習(xí)框架BoundaryNet，利用激光掃描點(diǎn)云和衛(wèi)星圖像，提取道路邊界，填補(bǔ)現(xiàn)有道路邊界數(shù)據(jù)中遮擋造成的空白[81]。該方法采用基于路沿的提取方法提取道路邊界，并采用改進(jìn)的U-net[82]模型從道路邊界點(diǎn)云中去除噪聲點(diǎn)云。然后，將基于CNN的道路邊界補(bǔ)全模型應(yīng)用于提取到的道路邊界，以填補(bǔ)一些空白。受生成對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Networks, GAN)方法的啟發(fā)[83]，設(shè)計(jì)了一種基于條件的深度卷積生成對(duì)抗網(wǎng)絡(luò)(c-DCGAN)，利用衛(wèi)星圖像中提取的道路中心線來提取更準(zhǔn)確完整的道路邊界。所提方法的體系結(jié)構(gòu)如圖12所示。

圖12 BoundaryNet的架構(gòu)。利用基于路沿的方法從原始點(diǎn)云中提取道路邊界。應(yīng)用U型編碼器-解碼器模型和基于CNN的補(bǔ)全模型的道路邊界補(bǔ)全。利用D-linkNet模型從衛(wèi)星圖像中提取道路中心線[156]。基于c-DCGAN模型的道路邊界優(yōu)化。基于提取到的道路邊界計(jì)算道路幾何。

4.1.4 其它方法

也有不同的方法來提取道路網(wǎng)絡(luò)。Schreiber等人和Jang等人[84]、[85]采用了不同的方法，從相機(jī)圖像而不是航空圖像中提取道路。前者對(duì)相機(jī)圖像進(jìn)行三維重建，后者設(shè)計(jì)了全卷積網(wǎng)絡(luò)(FCN)對(duì)道路進(jìn)行檢測和分類。這兩種方法都可以應(yīng)用于小規(guī)模的高精地圖，但由于數(shù)據(jù)收集的工作量和時(shí)間巨大，不能用于大型或城市級(jí)別的高精地圖。[86]列出了更多基于機(jī)器學(xué)習(xí)的道路/車道提取方法，Aldibaja等人[87]也提出了一種3D點(diǎn)云積累方法，該方法也值得學(xué)習(xí)，但在本文中不做詳細(xì)討論。道路提取可以通過不同的數(shù)據(jù)源進(jìn)行，包括相機(jī)圖像、衛(wèi)星和航空圖像、激光雷達(dá)點(diǎn)云和GPS軌跡。衛(wèi)星和航空圖像可以覆蓋大規(guī)模地圖，使得城市級(jí)別路網(wǎng)的道路提取效率很高。然而，從衛(wèi)星和航空圖像提取的道路網(wǎng)絡(luò)不包含深度和高度信息。從航空圖像中提取道路的性能也在很大程度上取決于圖像的質(zhì)量。光照條件差、路邊基礎(chǔ)設(shè)施遮擋和各種地形因素都會(huì)降低提取效果。相比之下，三維點(diǎn)云的道路提取具有更多的幾何信息和較高的精度水平(毫米級(jí))，但也面臨遮擋問題，導(dǎo)致道路提取不完整。點(diǎn)密度變化問題也導(dǎo)致不準(zhǔn)確的道路提取。隨后引入了傳感器融合方法，通過融合不同數(shù)據(jù)源，如航空圖像、GPS數(shù)據(jù)、相機(jī)圖像和激光雷達(dá)點(diǎn)云，進(jìn)一步提高了道路提取性能。在道路提取中，傳感器融合方法優(yōu)于單一數(shù)據(jù)源的方法，取得了顯著的效果。表6總結(jié)了三種方法的比較。表6 路網(wǎng)提取方法比較。

4.2 道路標(biāo)志提取

道路標(biāo)志/路面標(biāo)記是混凝土和瀝青道路表面上的標(biāo)志[88]。它們通常被涂上高度反光的材料，使人類的視覺和自動(dòng)駕駛汽車的傳感器能夠注意到它們。道路標(biāo)志是高精地圖上的基本特征，為車輛提供有關(guān)交通方向、轉(zhuǎn)彎道、可行駛和不可行駛的車道和人行橫道等信息[89]。與道路提取方法類似，道路標(biāo)志提取也可以使用2D圖像或3D點(diǎn)云。

4.2.1 從二維圖像提取道路標(biāo)志

傳統(tǒng)上，二維圖像上的道路標(biāo)志提取是通過圖像處理和計(jì)算機(jī)視覺來實(shí)現(xiàn)的。首先對(duì)含有道路標(biāo)志的圖像進(jìn)行去噪和增強(qiáng)處理，使道路標(biāo)志清晰明顯，突出目標(biāo)與背景區(qū)域的對(duì)比。然后，利用基于邊緣檢測(如Roberts、Sobel、Prewitt、Log、Canny)、閾值分割(如Otsu法、迭代法)、k-means聚類、區(qū)域生長法等圖像處理和計(jì)算機(jī)視覺方法提取目標(biāo)道路標(biāo)志[90]。傳統(tǒng)方法在從路面或混凝土路面提取道路標(biāo)志方面取得了顯著的效果。然而，簡單的提取方法在沒有正確識(shí)別不同道路標(biāo)志的情況下，對(duì)于車輛理解道路規(guī)則是不夠有效的。隨著CNN的引入和快速發(fā)展，涉及CNN的方法在道路標(biāo)志檢測和識(shí)別中得到了廣泛的發(fā)展和應(yīng)用。二維圖像上的道路標(biāo)志提取和識(shí)別通常有兩種不同的方法。一種是利用車載相機(jī)捕捉的前視圖像。另一種是從航拍圖像中提取道路標(biāo)志。圖13顯示了兩者的一個(gè)示例。

圖13 前視圖像上的道路標(biāo)志VS航空圖像上的道路標(biāo)志。基于前視圖像的道路標(biāo)志提取。前視圖像因其成本效益和便利性而被廣泛用于道路標(biāo)志提取。幾種檢測車道線標(biāo)志的方法已經(jīng)被提出。Zhang等人[91]提出了Ripple Lane Line Detection Network (RiLLD-Net)用于檢測常見的車道線標(biāo)志，Ripple-GAN用于檢測復(fù)雜或被遮擋的車道線標(biāo)志。RiLLD-Net是由U-Net[82]、帶有跳躍連接的殘差模塊以及編碼器和解碼器之間的快速連接組合而成。利用Sobel邊緣檢測濾波器將含有車道線標(biāo)志的原始圖像預(yù)處理為梯度圖[92]。將原始圖像和梯度圖送入RiLLD-Net，去除冗余干擾信息，突出車道線標(biāo)志。Ripple-GAN是Wasserstein GAN (WGAN)[93]和RiLLD-Net的組合。將一幅加高斯白噪聲的原始車道線標(biāo)志圖像送入信號(hào)處理網(wǎng)絡(luò)，得到分割的車道線標(biāo)志結(jié)果。將分割結(jié)果與梯度圖一起發(fā)送到RiLLD-Net，進(jìn)一步增強(qiáng)車道線標(biāo)志檢測結(jié)果。此外，[94]提出了一種具有雙重卷積門控遞歸單元(ConvGRUs)的時(shí)空網(wǎng)絡(luò)[95]、[96]用于車道線檢測。該網(wǎng)絡(luò)不是一次拍攝一張圖像，而是以連續(xù)時(shí)間戳的車道線標(biāo)志作為輸入，進(jìn)行多次捕捉。兩個(gè)ConvGRUs各有其各自的功能。第一個(gè)ConvGRU也被稱為Front ConvGRU (FCGRU)，它被放置在編碼器階段，用于學(xué)習(xí)物體的低級(jí)特征(如顏色、形狀、邊界等)，并過濾掉可能影響模型學(xué)習(xí)過程的干擾信息。第二個(gè)ConvGRU也稱為中間ConvGRU，包含多個(gè)ConvGRU。它被放置在編碼器和解碼器相位之間，用于徹底學(xué)習(xí)FCGRU產(chǎn)生的連續(xù)行駛圖像的時(shí)空行駛信息。然后，該網(wǎng)絡(luò)連接來自編碼器的下采樣層和來自解碼器的上采樣層，以產(chǎn)生最終車道線標(biāo)志檢測。此外，也有人提出了其它方法來解決車道線檢測和提取問題，如圖嵌入車道檢測[97]、基于漸進(jìn)式概率霍夫變換的車道跟蹤[98]、SALMNet[99]、基于分割的車道檢測[100]和掩模R-CNN實(shí)例分割模型[101]。表7總結(jié)了不同方法[91]、[94]、[97]、[102]、[103]在TuSimple數(shù)據(jù)集[104]上的評(píng)價(jià)結(jié)果，以便進(jìn)行清晰的比較。表7還包括了之前最先進(jìn)的方法，包括SCNN[105]、LaneNet[106]和Line-CNN[107]，以顯示當(dāng)前最先進(jìn)方法的改進(jìn)。表中粗體突出顯示的值表示最佳結(jié)果。通過比較，Ripple-GAN是目前最先進(jìn)的方法。表7 基于TuSimple數(shù)據(jù)集的前視圖像道路標(biāo)志提取方法評(píng)價(jià)結(jié)果。

航空圖像道路標(biāo)志提取。衛(wèi)星圖像和航空圖像不僅可以用于路網(wǎng)提取，還可以用于道路標(biāo)志提取。Azimi等[108]提出了從航空圖像中直接提取道路標(biāo)志的Aerial LaneNet。該網(wǎng)絡(luò)包含一個(gè)對(duì)稱的全卷積神經(jīng)網(wǎng)絡(luò)(FCNN)。將原始航空圖像分割成多個(gè)小塊后發(fā)送到Aerial LaneNet。Aerial LaneNet對(duì)每個(gè)輸入patch進(jìn)行語義分割，并為每個(gè)patch生成二值圖像，表示哪個(gè)像素來自車道標(biāo)志，哪個(gè)像素來自背景。將所有二值圖像/patch拼接在一起，得到與輸入圖像具有相同分辨率的最終道路標(biāo)志圖像。該模型還利用離散小波變換(DWT)實(shí)現(xiàn)多尺度全譜域分析。類似地，Kurz等人[109]設(shè)計(jì)了小波增強(qiáng)的FCNN來分割多視圖高分辨率航空圖像。imagery2D段進(jìn)一步用于基于最小二乘直線擬合創(chuàng)建道路標(biāo)志的三維重建。Yu等人也提出了一種自我注意力引導(dǎo)的膠囊網(wǎng)絡(luò)，稱為MarkCapsNet[110]，用于從航空圖像中提取道路標(biāo)志。本文提出的網(wǎng)絡(luò)結(jié)合膠囊表述和HRNet[111]架構(gòu)，通過涉及三個(gè)分辨率不同的并行分支，可以提取不同尺度的特征語義。設(shè)計(jì)了基于膠囊的自我注意(SA)模塊，并將其集成到MarkCapsNet的各個(gè)分支中，進(jìn)一步提高了生成的特征圖的表示質(zhì)量，用于道路標(biāo)志提取。此外，Yu等人還創(chuàng)建了用于道路標(biāo)志提取應(yīng)用的大型航空圖像數(shù)據(jù)集AerialLanes18，該數(shù)據(jù)集可作為未來測試不同道路標(biāo)志提取方法的基準(zhǔn)。在UAVMark20和AerialLanes18兩個(gè)數(shù)據(jù)集上對(duì)MarkCapsNet等道路標(biāo)志提取模型進(jìn)行了實(shí)驗(yàn)和比較。結(jié)果顯示在表8中，MarkCapsNet已經(jīng)達(dá)到了最先進(jìn)的性能。表8 不同模型的道路標(biāo)志提取結(jié)果。

與航空圖像相比，基于前視圖像的道路標(biāo)志提取方法具有更小的視場，且檢測/處理時(shí)間也比基于航空圖像的現(xiàn)有道路標(biāo)志提取方法要長。然而，由于檢測是基于實(shí)時(shí)相機(jī)圖像，它對(duì)于由磨損和遮擋造成的道路標(biāo)志改變是靈活的。相比之下，航空圖像的道路標(biāo)志提取可以提取更大尺度的道路標(biāo)志，并將提取的道路標(biāo)志存儲(chǔ)在高精地圖中，以減少檢測時(shí)間。然而，它對(duì)由照明條件、遮擋和道路標(biāo)志磨損引起的數(shù)據(jù)缺陷很敏感。

4.2.2 三維點(diǎn)云的道路標(biāo)志提取

在三維點(diǎn)云上提取道路標(biāo)志通常有兩種不同的方法，自下而上法和自上而下法[88]。自下向上方法通過區(qū)分道路標(biāo)志點(diǎn)云和背景點(diǎn)云，直接提取道路標(biāo)志。自上向下方法利用CNN檢測預(yù)定義的幾何模型，并在此基礎(chǔ)上重建道路標(biāo)志。至下而上法。自下向上方法采用深度學(xué)習(xí)算法，在目標(biāo)檢測和分割的基礎(chǔ)上，從原始三維點(diǎn)云中直接提取道路標(biāo)志。與閾值相關(guān)的方法及其擴(kuò)展，包括多閾值法和多閾值法結(jié)合幾何特征濾波，被廣泛應(yīng)用于道路標(biāo)志提取[112]-[115]。[116]、[117]在提取道路標(biāo)志之前，將三維點(diǎn)云轉(zhuǎn)換為二維地理參考灰度圖像，以顯著降低計(jì)算復(fù)雜度，但失去位姿(位置和方向)或空間信息。為了填補(bǔ)提取的道路標(biāo)志缺失的位姿或空間信息的空白，Ma等人提出了一種基于膠囊的道路標(biāo)志提取與分類網(wǎng)絡(luò)[118]。該方法通過過濾掉燈桿、交通燈和樹等離地特征點(diǎn)云來處理數(shù)據(jù)，降低了計(jì)算復(fù)雜度。利用反距離加權(quán)(IDW)算法將處理后的三維點(diǎn)云轉(zhuǎn)換為二維地理參考灰度柵格圖像。受[119]提出的膠囊網(wǎng)絡(luò)的啟發(fā)，Ma等人提出了一種U型膠囊網(wǎng)絡(luò)，該網(wǎng)絡(luò)不僅可以從柵格圖像中學(xué)習(xí)灰度方差，還可以學(xué)習(xí)道路標(biāo)志的位姿和形狀。他們提出了一種混合膠囊網(wǎng)絡(luò)，將不同的道路標(biāo)志分為不同的類別。該方法在城市、高速公路和地下車庫的道路標(biāo)志提取中取得了最先進(jìn)的效果，F(xiàn)1值為92.43%，精度為94.11%。[120]-[123]在定制道路標(biāo)志數(shù)據(jù)集上的性能比較可以在表9中查看，其中粗體突出顯示的值是主導(dǎo)結(jié)果。表9 不同自下向上方法的道路標(biāo)志提取結(jié)果比較[123]。

自上而下法。自上向下方法利用現(xiàn)有的目標(biāo)檢測算法對(duì)路標(biāo)幾何模型進(jìn)行檢測和定位。它在檢測和定位的基礎(chǔ)上，在三維點(diǎn)云上重建道路標(biāo)志。Prochazka等人[124]使用生成樹的使用方法從點(diǎn)云中自動(dòng)提取車道標(biāo)志到多邊形地圖層。該方法在原始點(diǎn)云上進(jìn)行地面點(diǎn)檢測[125]，并利用生成樹對(duì)檢測進(jìn)行識(shí)別。在檢測和識(shí)別后，將車道標(biāo)志重構(gòu)為矢量形式。該方法可以檢測到車道標(biāo)志，但不能檢測到其它類型的道路標(biāo)志，如道路方向標(biāo)志和人行橫道標(biāo)志。Mi等人提出了一種利用MLS點(diǎn)云的兩階段道路標(biāo)志提取和建模方法[88]。他們的方法利YOLOv3[126]算法檢測道路標(biāo)志，并在每次檢測中提供語義標(biāo)簽。在重建和建模過程中，提出了能量函數(shù)(1)來確定原始三維點(diǎn)云中道路標(biāo)志的精細(xì)位姿和尺度。

其中 ( x , y , z , ? , θ , s ) 是道路標(biāo)志模板的位置和方向， α是權(quán)重， Ii是道路標(biāo)志中第 i 個(gè)點(diǎn)的灰度， N 是模板中點(diǎn)的個(gè)數(shù)， N e是模板上樣本點(diǎn)的數(shù)目， G j 是第 j 個(gè)邊界點(diǎn)的灰度梯度，它在公式(2)中給出， N i n和 N e x分別表示在搜索半徑中內(nèi)點(diǎn)和外點(diǎn)數(shù)目[88]。通過最大化能量函數(shù)，可以對(duì)道路標(biāo)志進(jìn)行精確分割和建模。通過結(jié)合檢測置信度和定位得分的候選者重排序策略，在三維點(diǎn)云上生成最終的道路標(biāo)志模型，進(jìn)一步提高道路標(biāo)志提取性能。候選者重排序策略的目的是在道路標(biāo)志重疊存在或鏡像對(duì)稱雙標(biāo)志存在的情況下提供最優(yōu)選擇，如圖14所示。該方法能夠準(zhǔn)確提取中國道路交通標(biāo)志國家標(biāo)準(zhǔn)中規(guī)定的12種道路標(biāo)志。

圖14 基于能量函數(shù)和候選者重排序策略的道路標(biāo)志提取[88]。綜上所述，自下向上方法可以直接從MLS點(diǎn)云中提取道路標(biāo)志，加快道路標(biāo)志提取速度，但對(duì)不完善的原始數(shù)據(jù)敏感。相比之下，不完善的原始數(shù)據(jù)對(duì)自上向下方法的影響較小，但自上向下方法檢測時(shí)間長，搜索空間大。據(jù)筆者所知，相對(duì)于自下向上的方法，自上向下的方法并不多。因此，采用自上向下的方法提取道路標(biāo)志還需要進(jìn)一步研究。

4.3 桿狀物體提取

在高精地圖中，交通信號(hào)燈、交通標(biāo)志、路燈、樹木和電線桿等桿狀物體對(duì)道路環(huán)境至關(guān)重要。它們可以幫助定位(不同于其它道路設(shè)施的形狀)和運(yùn)動(dòng)規(guī)劃(交通燈信號(hào)提供交通流條件)。在MLS三維點(diǎn)云上，桿狀物體的提取通常通過分割和分類來實(shí)現(xiàn)。在過去的幾年里，已經(jīng)開發(fā)了各種桿狀物體提取的方法。Lehtom?ki等人[127]提出使用MLS三維點(diǎn)云結(jié)合分割、聚類和分類方法來檢測垂直桿狀物體。El-Halawany等人[128]采用一種基于協(xié)方差的方法對(duì)地面激光掃描點(diǎn)云進(jìn)行桿狀目標(biāo)分割并求出其維數(shù)。Yokoyama等人[129]使用拉普拉斯平滑法，并使用主成分分析來識(shí)別具有不同半徑和傾角的桿狀物體上的點(diǎn)。Pu等人[130]提出了一種基于MLS三維點(diǎn)云的結(jié)構(gòu)識(shí)別框架，并基于點(diǎn)云段的大小、形狀、方向和拓?fù)潢P(guān)系等特征提取桿狀物體。Cabo等人[131]提出了一種檢測桿狀物體的方法，通過規(guī)則體素化對(duì)點(diǎn)云進(jìn)行空間離散，并對(duì)水平體素化的點(diǎn)云進(jìn)行分析和分割。Ordó?ez等人[132]在[131]的基礎(chǔ)上增加了分類模塊，以區(qū)分點(diǎn)云中不同類型的桿狀物體。Yu等人[133]提出了一種半自動(dòng)提取路燈桿的方法，將MLS三維點(diǎn)云分割為道路和非道路表面點(diǎn)，并使用兩對(duì)三維形狀上下文從非道路段提取路燈桿。Zheng等人[134]提出了一種新的基于圖切的分割方法，從MLS三維點(diǎn)云中提取路燈桿，然后采用基于高斯混合模型的方法識(shí)別路燈桿。Plachetka等人[135]最近提出了一種基于深度神經(jīng)網(wǎng)絡(luò)(DNN)的方法，可以識(shí)別(檢測和分類)LiDAR點(diǎn)云中的桿狀物體。受[136]的啟發(fā)，提出的DNN架構(gòu)包括三個(gè)階段：編碼器、骨干、分類和回歸頭。將原始的三維點(diǎn)云預(yù)處理為單元特征向量，作為編碼器階段的輸入。不同于[137]中只有一個(gè)編碼器階段，Plachetka等人在[138]之后增加了另一個(gè)編碼器階段，以提高細(xì)胞特征向量的表示能力。編碼器將細(xì)胞特征向量編碼為空間網(wǎng)格，作為骨干的輸入。骨干階段采用并修改了特征金字塔架構(gòu)[66]，以包含更多的上下文，提高了模型檢測小目標(biāo)的性能[139]。主干階段將下游路徑的低級(jí)特征和上游路徑的高級(jí)特征連接起來，進(jìn)一步增強(qiáng)輸入網(wǎng)格的表示能力。下游路徑利用卷積層，上游路徑使用轉(zhuǎn)置的卷積層。輸出特征網(wǎng)格成為分類回歸頭輸入。最后階段采用SSD[69]方法進(jìn)行預(yù)測計(jì)算。該方法的平均召回率、準(zhǔn)確率和分類準(zhǔn)確率分別為0.85、0.85和0.93。關(guān)于提出的DNN架構(gòu)、數(shù)據(jù)集和訓(xùn)練過程的細(xì)節(jié)超出了本綜述的范圍，不作進(jìn)一步討論。檢測類別包括防護(hù)桿、交通標(biāo)志桿、交通信號(hào)燈桿、廣告牌桿、路燈桿和樹木。總之，在高精地圖中，由于其特殊的形狀，桿狀物體是定位的重要特征。桿狀物體的提取主要是在三維點(diǎn)云上進(jìn)行的，因此提取的性能也取決于點(diǎn)云的質(zhì)量。因此，需要進(jìn)一步研究如何提高桿狀類物體在不完美數(shù)據(jù)下的提取性能。

5 高精地圖框架

隨著高精地圖越來越復(fù)雜，需要提取的環(huán)境特征越來越多，需要有一個(gè)良好的軟件，以框架的形式在地圖中充分存儲(chǔ)相關(guān)信息，并確保地圖的一致視圖[140]。在本節(jié)中，介紹了三種流行的創(chuàng)建高精地圖的開源框架，包括Lanelet2[141]， OpenDRIVE[142]和Apollo maps[143]。

5.1 Lanelet2

Lanelet2是Liblanelet的擴(kuò)展和推廣，也被稱為Lanelet，為Bertha Drive Project開發(fā)。Lanelet2地圖采用了基于XML(可擴(kuò)展標(biāo)記語言)的OSM (Open Street map[144])數(shù)據(jù)格式Lanelet的退出格式。開放街道地圖是一個(gè)免費(fèi)的在線地圖編輯工具，由世界各地的地圖編輯人員不斷更新和貢獻(xiàn)。但是，地圖的實(shí)際數(shù)據(jù)格式被認(rèn)為是不相關(guān)的，只要這種格式可以轉(zhuǎn)換為Lanelet2格式而不損失任何信息，就可以互換。Lanelet2地圖包含三層：物理層、關(guān)系層和拓?fù)鋵樱鐖D15所示。這三個(gè)層的特征與HERE定義的相似。第一物理層由兩個(gè)元素組成，點(diǎn)和線串。點(diǎn)是地圖的基本元素。它可以表示垂直結(jié)構(gòu)，如桿點(diǎn)作為單點(diǎn)、車道或區(qū)域作為一組點(diǎn)。線串構(gòu)造為兩個(gè)或多個(gè)點(diǎn)的有序數(shù)組，其中每兩個(gè)點(diǎn)之間使用線性插值。顧名思義，物理層定義了可檢測的元素，如交通燈、標(biāo)志、路沿石等。第二層關(guān)系由三個(gè)要素組成：網(wǎng)域、區(qū)域和調(diào)控要素。Lanelets定義了不同的道路類型，如普通車道、人行橫道和鐵軌。Lanelets也與交通規(guī)則相關(guān)，這些規(guī)則在Lanelets內(nèi)不會(huì)改變。它是由一個(gè)左和一個(gè)右的線字符串定義為兩個(gè)方向相反的邊界。通過將左邊框更改為右邊框(反之亦然)，這對(duì)線串中的方向是可互換的。區(qū)域由一條或多條線組成一個(gè)封閉的屏障，通常代表靜態(tài)建筑，如建筑物、停車場、操場和草地空間。顧名思義，調(diào)控要素定義了對(duì)車輛進(jìn)行調(diào)控的交通規(guī)則。車道和區(qū)域可以有一個(gè)或多個(gè)調(diào)控元素，如速度限制和限制。此外，還可以添加基于時(shí)間的轉(zhuǎn)向限制等動(dòng)態(tài)規(guī)則作為調(diào)控元素。Lanelet2是一個(gè)簡單而強(qiáng)大的支持高精地圖的框架。它也經(jīng)常與Autoware Auto[145]一起用于創(chuàng)建高精地圖的矢量地圖。關(guān)于Lanelet2框架的更多細(xì)節(jié)可以在[141]，[146]中找到。

圖15 Lanelet2地圖結(jié)構(gòu)[14]：物理層定義由點(diǎn)和線串組成的物理元素，如桿狀物體、標(biāo)志和邊界。關(guān)系層定義區(qū)域、車道和管理元素，如建筑物、高速公路、行駛方向和交通規(guī)則。拓?fù)鋵佣x來自前兩層的元素之間的拓?fù)潢P(guān)系。圖中拓?fù)鋵訛槠胀ㄜ囕v和應(yīng)急車輛的routing。

5.2 OpenDRIVE

OpenDRIVE是一個(gè)由自動(dòng)化和測量系統(tǒng)標(biāo)準(zhǔn)化協(xié)會(huì)(ASAM)開發(fā)的用于描述路網(wǎng)和繪制高精地圖的開源框架[142]。它還使用XML文件格式來存儲(chǔ)地圖信息。在ASAM OpenDRIVE地圖中，有三個(gè)元素/層，Reference Line/Road, Lane和Features，見圖15。與Lanelet2地圖使用點(diǎn)來描述和構(gòu)建地圖特征不同，OpenDRIVE使用幾何基元包括直線、螺旋線、弧線、三次多項(xiàng)式和參數(shù)三次多項(xiàng)式來描述道路形狀和行駛方向。這些幾何基元被稱為參考線。參考線是每個(gè)OpenDRIVE路網(wǎng)的關(guān)鍵組成部分，所有的車道和特征都是沿著參考線建立的。第二個(gè)元素，車道線，附加在基準(zhǔn)線上，代表地圖上的可行駛路徑。每條道路至少包含一條寬度大于0的車道。每條道路的車道數(shù)以實(shí)際交通車道數(shù)為準(zhǔn)，沒有限制。在構(gòu)建道路沿線車道時(shí)，需要設(shè)置寬度為0的中心車道，作為車道編號(hào)參考，如圖16所示。中間車道根據(jù)道路類型定義兩邊的行駛方向，可以是相反方向，也可以是相同方向。在圖16中，由于中心車道與參考線沒有偏移，所以中心車道與參考線是重合的。最后一個(gè)元素，特征，它包含與交通規(guī)則相關(guān)的信號(hào)和標(biāo)志等對(duì)象。然而，與Lanelet2不同的是，ASAM OpenDRIVE不包含動(dòng)態(tài)內(nèi)容。

圖16 具有不同行駛方向的車道的道路中心車道。ASAM提供的關(guān)于OpenDRIVE的文檔也可以在[147]中找到。

5.3 Apollo地圖

Apollo地圖是由中國領(lǐng)先的自動(dòng)駕駛平臺(tái)百度Apollo打造的高精地圖。Apollo高精地圖也使用OpenDRIVE格式，但這是一個(gè)專門為Apollo設(shè)計(jì)的改進(jìn)版本。與OpenDRIVE使用直線、螺旋線和弧線等幾何基元來定義道路不同，Apollo只是簡單地使用點(diǎn)。與Lanelet2中的點(diǎn)一樣，每個(gè)點(diǎn)存儲(chǔ)緯度和經(jīng)度，這些點(diǎn)的列表定義道路邊界。在Apollo高精地圖中，通常有五個(gè)不同的元素。(1)道路要素包括道路邊界、車道類型和車道行駛方向等特征。(2)intersection要素包含交集邊界。(3)交通信號(hào)要素包括交通燈和標(biāo)志。(4)邏輯關(guān)系要素包含交通規(guī)則。(5)其它要素包括人行橫道、路燈和建筑[148]。為了構(gòu)建HD地圖，百度Apollo將生產(chǎn)過程分為數(shù)據(jù)源、數(shù)據(jù)處理、目標(biāo)檢測、人工驗(yàn)證、地圖制作5個(gè)步驟，如圖17所示。詳細(xì)的Apollo HD地圖生成程序見[149]。

圖17 Apollo地圖生成過程。在筆者看來，Apollo地圖是OpenDRIVE的一個(gè)更高級(jí)、更復(fù)雜的版本。Apollo地圖包含的要素并不來源于OpenDRIVE，比如OpenDRIVE沒有停車場和人行橫道。Apollo地圖還需要比OpenDRIVE更多的數(shù)據(jù)來定義車道。OpenDRIVE只需要指定車道寬度，而Apollo需要用點(diǎn)來描述車道邊界。為了在Apollo中使用OpenDRIVE地圖，可以使用這里[150]提供的方法將OpenDRIVE格式轉(zhuǎn)換為Apollo格式。Lanelet2地圖也可以轉(zhuǎn)換為OpenDRIVE地圖格式。Carla是一個(gè)用于自動(dòng)駕駛的開源模擬器，提供了一個(gè)用于將OSM地圖轉(zhuǎn)換為OpenDRIVE地圖的PythonAPI[151]。

6 局限性和開放性問題

高精地圖生成技術(shù)近年來發(fā)展迅速。然而，仍然有局限性。航空圖像上的特征提取可以快速生成車道線和道路標(biāo)志等特征，但這些特征并不包含高度或深度信息。通過將路網(wǎng)GPS數(shù)據(jù)與采集到的GPS數(shù)據(jù)進(jìn)行匹配，并添加相應(yīng)的高度，可以在2D地圖上手動(dòng)添加高度或高度信息，創(chuàng)建2.5D地圖。然而，它仍然缺乏深度信息，而深度信息在車輛繞過障礙物時(shí)是極其重要的。2D高精地圖對(duì)基礎(chǔ)設(shè)施的微小變化也不敏感，這將不能保持地圖的更新。MLS三維點(diǎn)云的特征提取是在高精地圖中添加詳細(xì)道路信息的一種更為常見和強(qiáng)大的方法。提取3D特征的高精地圖可以提供深度信息和更新的環(huán)境信息，但需要昂貴的激光雷達(dá)和較高的計(jì)算成本。收集可用的點(diǎn)云數(shù)據(jù)也很耗時(shí)。在[70]中可以找到一個(gè)例子，Ibrahim等人駕駛SUV進(jìn)行3次2小時(shí)的測試來收集可用的點(diǎn)云數(shù)據(jù)。[152]使用眾包方法來保持高精地圖的更新，但眾包方法并不總是適用于個(gè)體研究人員。采集城市級(jí)別地圖點(diǎn)云數(shù)據(jù)將是一個(gè)挑戰(zhàn)。這些局限性導(dǎo)致了以下開放性問題。(1)在2D地圖中添加更多功能，如深度信息，并保持更新。(2)提高3D地圖生成過程的效率，使繪制大型3D高精地圖成為可能，而不消耗太多的時(shí)間和計(jì)算能力。一種解決方案是將道路網(wǎng)絡(luò)和點(diǎn)云集成來生成高精地圖，可以通過Autoware[153]。此外，據(jù)作者所知，目前提出的用于人行橫道特征提取的方法并不多(幾乎沒有)。這一點(diǎn)至關(guān)重要，也很有需求，因?yàn)橐恍┳詣?dòng)駕駛系統(tǒng)要么是為了在人行道上行駛而設(shè)計(jì)的，要么需要在高速公路上測試之前在人行道上進(jìn)行可行性測試。此外，高精地圖的完成和整理(將所有模塊和功能合并成高精地圖)仍然是地圖公司開發(fā)的商業(yè)化方法。這對(duì)于學(xué)術(shù)界和個(gè)人研究者來說仍然是一個(gè)有待進(jìn)一步研究和結(jié)論的問題。本文對(duì)近年來自動(dòng)駕駛高精地圖生成技術(shù)進(jìn)行了分析。高精地圖的基本結(jié)構(gòu)概括為三層：(1)道路模型、(2)車道模型、(3)定位模型。介紹并比較了生成高精地圖的數(shù)據(jù)收集和特征提取方法，包括道路網(wǎng)絡(luò)、道路標(biāo)志和桿狀物體。還討論了這些方法的局限性。同時(shí)還介紹了支持高精地圖的框架，包括Lanelet2、OpenDRIVE和Apollo。還提供了一些有用的工具，用于在三個(gè)框架之間轉(zhuǎn)換地圖格式。值得進(jìn)一步研究的問題如下。(1)在2D地圖中添加更多功能，如深度信息，并保持它們的不斷更新。(2)提高3D地圖生成過程的效率，使繪制大型3D高精地圖成為可能，而不消耗太多的時(shí)間和計(jì)算能力。(3)創(chuàng)建人行橫道的特征提取方法。(4)高精地圖的完成和整理方法去商業(yè)化。

7 參考文獻(xiàn)

[1] J. Ziegler, P. Bender, M. Schreiber, H. Lategahn, T. Strauss, C. Stiller, T. Dang, U. Franke, N. Appenrodt, C. G. Keller, E. Kaus, R. G. Fig. 18. Apollo Maps Generation Process 18 Herrtwich, C. Rabe, D. Pfeiffer, F. Lindner, F. Stein, F. Erbs, M. Enzweiler, C. Knoppel, J. Hipp, M. Haueis, M. Trepte, C. Brenk, A. Tamke, M. Ghanaat, M. Braun, A. Joos, H. Fritz, H. Mock, M. Hein, and E. Zeeb, “Making bertha drive-an autonomous journey on a historic route,” IEEE Intell. Transp. Syst. Mag., vol. 6, no. 2, pp. 8–20, Apr. 2014, doi: 10.1109/MITS.2014.2306552.[2] R. Liu, J. Wang, and B. Zhang, “High definition map for automated driving: overview and analysis,” J. Navig., vol. 73, no. 2, pp. 324–341, Mar. 2020, doi: 10.1017/S0373463319000638.[3] S. Ulbrich, A. Reschka, J. Rieken, S. Ernst, G. Bagschik, F. Dierkes, M. Nolte, and M. Maurer, “Towards a functional system architecture for automated vehicles,” Mar. 24, 2017, arXiv:1703.08557.[4] J. Houston, G. Zuidhof, L. Bergamini, Y. Ye, L. Chen, A. Jain, S. Omari, V. Iglovikov, and P. Ondruska, “One thousand and one hours: self-driving motion prediction dataset,” Jun. 25, 2020, arXiv: 2006.14480.[5] “Behind the map: how we keep our maps up to date | TomTom Blog.” [Online]. Available: https://www.tomtom.com/blog/maps/continuous[1]map-processing/[6] HERE, “Map Data | Static Map API.” 2021. [Online]. Available: https://www.here.com/platform/map-data[7] A. Geiger, P. Lenz, C. Stiller, and R. Urtasun, “Vision meets robotics: The KITTI dataset,” Int. J. Rob. Res., vol. 32, no. 11, pp. 1231–1237, Sep. 2013, doi: 10.1177/0278364913491297.[8] H. Caesar, V. Bankiti, A. H. Lang, S. Vora, V. E. Liong, Q. Xu, A. Krishnan, Y. Pan, G. Baldan, and O. Beijbom, “Nuscenes: A multimodal dataset for autonomous driving,” in Proc. IEEE Comput. Soc. Conf. Comput. Vis. Pattern Recognit., 2020, pp. 11618–11628.[9] T. Shan and B. Englot, “LeGO-LOAM: Lightweight and ground[1]optimized LiDAR odometry and mapping on variable terrain,” in IEEE Int. Conf. Intell. Robot. Syst., 2018, pp. 4758–4765.[10] W. Xu and F. Zhang, “FAST-LIO: A fast, robust LiDAR-inertial odometry package by tightly-coupled iterated kalman filter,” IEEE Robot. Autom. Lett., vol. 6, no. 2, pp. 3317–3324, Apr. 2021, doi: 10.1109/LRA.2021.3064227.[11] W. Xu, Y. Cai, D. He, J. Lin, and F. Zhang, “FAST-LIO2: Fast direct LiDAR-inertial odometry,” IEEE Trans. Robot., Jan. 2022, doi: 10.1109/TRO.2022.3141876.[12] J. Matsuo, K. Kondo, T. Murakami, T. Sato, Y. Kitsukawa, and J. Meguro, “3D point cloud construction with absolute positions using SLAM based on RTK-GNSS,” in Abstr. Int. Conf. Adv. mechatronics Towar. Evol. fusion IT mechatronics ICAM, 2021, vol. 2021.7, no. 0, pp. GS7-2.[13] T. Shan, B. Englot, D. Meyers, W. Wang, C. Ratti, and D. Rus, “LIO[1]SAM: Tightly-coupled lidar inertial odometry via smoothing and mapping,” in IEEE Int. Conf. Intell. Robot. Syst., 2020, pp. 5135–5142.[14] C. Zheng, Q. Zhu, W. Xu, X. Liu, Q. Guo, and F. Zhang, “FAST-LIVO: Fast and tightly-coupled sparse-direct LiDAR-inertial-visual odometry,” Mar. 02, 2022, arXiv: 2203.00893.[15] R. Dubé, A. Cramariuc, D. Dugas, H. Sommer, M. Dymczyk, J. Nieto, R. Siegwart, and C. Cadena, “SegMap: Segment-based mapping and localization using data-driven descriptors,” Int. J. Rob. Res., vol. 39, no. 2–3, pp. 339–355, Mar. 2020, doi: 10.1177/0278364919863090.[16] J. Zhang and S. Singh, “LOAM: Lidar odometry and mapping in real[1]time,” in Robot. Sci. Syst., 2015, vol. 2, no. 9, pp. 1–9.[17] D. Rozenberszki and A. L. Majdik, “LOL: Lidar-only odometry and localization in 3D point cloud maps?,” in Proc. IEEE Int. Conf. Robot. Autom., 2020, pp. 4379–4385.[18] J. Lin and F. Zhang, “Loam livox: A fast, robust, high-precision LiDAR odometry and mapping package for LiDARs of small FoV,” in Proc. IEEE Int. Conf. Robot. Autom., 2020, pp. 3126–3131.[19] J. Lin and F. Zhang, “A fast, complete, point cloud based loop closure for LiDAR odometry and mapping,” Sep. 25, 2019, arXiv: 1909.11811.[20] J. Lin, X. Liu, and F. Zhang, “A decentralized framework for simultaneous calibration, localization and mapping with multiple LiDARs,” in IEEE Int. Conf. Intell. Robot. Syst., 2020, pp. 4870–4877.[21] B. Fang, J. Ma, P. An, Z. Wang, J. Zhang, and K. Yu, “Multi-level height maps-based registration method for sparse LiDAR point clouds in an urban scene,” Appl. Opt., vol. 60, no. 14, p. 4154, May 2021, doi: 10.1364/ao.419746.[22] A. Gressin, C. Mallet, and N. David, “Improving 3D lidar point cloud registration using optimal neighborhood knowledge,” in ISPRS Ann. Photogramm. Remote Sens. Spat. Inf. Sci., 2012, vol. 1, pp. 111–116.[23] M. Magnusson, A. Lilienthal, and T. Duckett, “Scan registration for autonomous mining vehicles using 3D-NDT,” J. F. Robot., vol. 24, no. 10, pp. 803–827, Oct. 2007, doi: 10.1002/rob.20204.[24] M. Magnusson, “The three-dimensional normal-distributions transform — an efficient representation for registration, surface analysis, and loop detection,” Ph.D. dissertation, Dept. of Tech., ?rebro universitet, Sweden, 2008.[25] P. Biber, “The normal distributions transform: A new approach to laser scan matching,” in IEEE Int. Conf. Intell. Robot. Syst., 2003, vol. 3, pp. 2743–2748.[26] E. Takeuchi and T. Tsubouchi, “A 3-D scan matching using improved 3-D normal distributions transform for mobile robotic mapping,” in IEEE Int. Conf. Intell. Robot. Syst., 2006, pp. 3068–3073.[27] S. Kato, S. Tokunaga, Y. Maruyama, S. Maeda, M. Hirabayashi, Y. Kitsukawa, A. Monrroy, T. Ando, Y. Fujii, and T. Azumi, “Autoware on board: Enabling autonomous vehicles with embedded systems,” in Proc. 9th ACM/IEEE Int. Conf. Cyber-Physical Syst. ICCPS 2018, 2018, pp. 287–296.[28] K. Chen, R. Nemiroff, and B. T. Lopez, “Direct LiDAR-inertial odometry,” Mar. 07, 2022, arXiv: 2203.03749.[29] J. Lin, C. Zheng, W. Xu, and F. Zhang, “R2LIVE: A robust, real-time, LiDAR-inertial-visual tightly-coupled state estimator and mapping,” IEEE Robot. Autom. Lett., vol. 6, no. 4, pp. 7469–7476, Jul. 2021, doi: 10.1109/LRA.2021.3095515.[30] J. Lin and F. Zhang, “R3LIVE: A robust, real-time, RGB-colored, LiDAR-inertial-visual tightly-coupled state estimation and mapping package,” Sep. 10, 2021, arXiv: 2109.07982.[31] T. Shan, B. Englot, C. Ratti, and D. Rus, “LVI-SAM: Tightly-coupled Lidar-visual-tnertial odometry via smoothing and mapping,” in Proc. IEEE Int. Conf. Robot. Autom., 2021, pp. 5692–5698.[32] S. Song, S. Jung, H. Kim, and H. Myung, “A method for mapping and localization of quadrotors for inspection under bridges using camera and 3D-LiDAR,” in Proc. 7th Asia-Pacific Work. Struct. Heal. Monit. APWSHM 2018, 2018, pp. 1061–1068.[33] “Human in the loop: Machine learning and AI for the people.” [Online]. Available: https://www.zdnet.com/article/human-in-the-loop-machine[1]learning-and-ai-for-the-people/[34] L. Biewald, “Why human-in-the-loop computing is the future of machine learning | Computerworld,” Computer World. 2015. [Online]. Available: https://www.computerworld.com/article/3004013/robotics/why[1]human-in-the-loop-computing-is-the-future-of-machine-learning.html[35] D. Xin, L. Ma, J. Liu, S. Macke, S. Song, and A. Parameswaran, “Accelerating human-in-the-loop machine learning: Challenges and opportunities,” in Proc. 2nd Work. Data Manag. End-To-End Mach. Learn. DEEM 2018 - conjunction with 2018 ACM SIGMOD/PODS Conf., 2018, pp. 1–4.[36] G. Mattyus, W. Luo, and R. Urtasun, “DeepRoadMapper: Extracting road topology from aerial images,” in Proc. IEEE Int. Conf. Comput. Vis., 2017, pp. 3458–3466.[37] K. He, X. Zhang, S. Ren, and J. Sun, “Deep residual learning for image recognition,” in Proc. IEEE Comput. Soc. Conf. Comput. Vis. Pattern Recognit., 2016, pp. 770–778.[38] T. Y. Zhang and C. Y. Suen, “A fast parallel algorithm for thinning digital patterns,” Commun. ACM, vol. 27, no. 3, pp. 236–239, Mar. 1984, doi: 10.1145/357994.358023.[39] P. E. Hart, N. J. Nilsson, and B. Raphael, “A formal basis for the heuristic determination of minimum cost paths,” IEEE Trans. Syst. Sci. Cybern., vol. 4, no. 2, pp. 100–107, Jul. 1968, doi: 10.1109/TSSC.1968.300136.[40] S. Wang, M. Bai, G. Mattyus, H. Chu, W. Luo, B. Yang, J. Liang, J. Cheverie, S. Fidler, and R. Urtasun, “TorontoCity: Seeing the world with a million eyes,” in Proc. IEEE Int. Conf. Comput. Vis., 2017, pp. 3028–3036.[41] J. D. Wegner, J. A. Montoya-Zegarra, and K. Schindler, “Road networks as collections of minimum cost paths,” ISPRS J. Photogramm. Remote Sens., vol. 108, pp. 128–137, Oct. 2015, doi: 10.1016/j.isprsjprs.2015.07.002.[42] A. Batra, S. Singh, G. Pang, S. Basu, C. V. Jawahar, and M. Paluri, “Improved road connectivity by joint learning of orientation and segmentation,” in Proc. IEEE Comput. Soc. Conf. Comput. Vis. Pattern Recognit., 2019, pp. 10377–10385.[43] A. Van Etten, D. Lindenbaum, and T. M. Bacastow, “SpaceNet: A remote sensing dataset and challenge series,” Jul. 03, 2018, arXiv: 1807.01232.[44] I. Demir, K. Koperski, D. Lindenbaum, G. Pang, J. Huang, S. Basu, F. Hughes, D. Tuia, and R. Raska, “DeepGlobe 2018: A challenge to parse the earth through satellite images,” in IEEE Comput. Soc. Conf. Comput. Vis. Pattern Recognit. Work., 2018, pp. 172–181.[45] A. Mosinska, P. Marquez-Neila, M. Kozinski, and P. Fua, “Beyond the pixel-wise loss for topology-aware delineation,” in Proc. IEEE Comput. Soc. Conf. Comput. Vis. Pattern Recognit., 2018, pp. 3136–3145.[46] G. Máttyus and R. Urtasun, “Matching adversarial networks,” in Proc. IEEE Comput. Soc. Conf. Comput. Vis. Pattern Recognit., 2018, pp. 8024–8032.[47] A. Chaurasia and E. Culurciello, “l(fā)inkNet: Exploiting encoder representations for efficient semantic segmentation,” in 2017 IEEE Vis. Commun. Image Process. VCIP 2017, 2018, pp. 1–4.[48] F. Bastani, S. He, S. Abbar, M. Alizadeh, H. Balakrishnan, S. Chawla, S. Madden, and D. Dewitt, “RoadTracer: Automatic extraction of road networks from aerial images,” in Proc. IEEE Comput. Soc. Conf. Comput. Vis. Pattern Recognit., 2018, pp. 4720–4728.[49] H. Ghandorh, W. Boulila, S. Masood, A. Koubaa, F. Ahmed, and J. Ahmad, “Semantic segmentation and edge detection—approach to road detection in very high resolution satellite images,” Remote Sens., vol. 14, no. 3, Jan. 2022, doi: 10.3390/rs14030613.[50] L.-C. Chen, G. Papandreou, F. Schroff, and H. Adam, “Rethinking atrous convolution for semantic image segmentation,” 2017, arXiv: 1706.05587.[51] M. Milanova, “Visual attention in deep learning: a review,” Int. Robot. Autom. J., vol. 4, no. 3, May 2018, doi: 10.15406/iratj.2018.04.00113.[52] X. Li, W. Zhang, and Q. Ding, “Understanding and improving deep learning-based rolling bearing fault diagnosis with attention mechanism,” Signal Processing, vol. 161, pp. 136–154, Aug. 2019, doi: 10.1016/j.sigpro.2019.03.019.[53] Y. Chen, G. Peng, Z. Zhu, and S. Li, “A novel deep learning method based on attention mechanism for bearing remaining useful life prediction,” Appl. Soft Comput. J., vol. 86, Jan. 2020, doi: 10.1016/j.asoc.2019.105919.[54] Z. Niu, G. Zhong, and H. Yu, “A review on the attention mechanism of deep learning,” Neurocomputing, vol. 452, pp. 48–62, Sep. 2021, doi: 10.1016/j.neucom.2021.03.091.[55] G. Cheng, Y. Wang, S. Xu, H. Wang, S. Xiang, and C. Pan, “Automatic road detection and centerline extraction via cascaded end-to-end convolutional neural network,” IEEE Trans. Geosci. Remote Sens., vol. 55, no. 6, pp. 3322–3337, Mar. 2017, doi: 10.1109/TGRS.2017.2669341.[56] N. Xue, S. Bai, F. Wang, G. S. Xia, T. Wu, and L. Zhang, “Learning attraction field representation for robust line segment detection,” in Proc. IEEE Comput. Soc. Conf. Comput. Vis. Pattern Recognit., 2019, pp. 1595–1603.[57] S. He, F. Bastani, S. Jagwani, M. Alizadeh, H. Balakrishnan, S. Chawla, M. M. Elshrif, S. Madden, and M. A. Sadeghi, “Sat2Graph: Road graph extraction through graph-tensor encoding,” in Lect. Notes Comput. Sci. (including Subser. Lect. Notes Artif. Intell. Lect. Notes Bioinformatics), 2020, vol. 12369 LNCS, pp. 51–67.[58] N. Girard, D. Smirnov, J. Solomon, and Y. Tarabalka, “Polygonal building extraction by frame field learning,” in Proc. IEEE Comput. Soc. Conf. Comput. Vis. Pattern Recognit., 2021, pp. 5887–5896.[59] A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N. Gomez, ?. Kaiser, and I. Polosukhin, “Attention is all you need,” in Adv. Neural Inf. Process. Syst., 2017, pp. 5999–6009.[60] Z. Xu, Y. Liu, L. Gan, X. Hu, Y. Sun, M. Liu, and L. Wang, “CsBoundary: City-scale road-boundary detection in aerial images for high-definition maps,” IEEE Robot. Autom. Lett., vol. 7, no. 2, pp. 5063–5070, Apr. 2022, doi: 10.1109/LRA.2022.3154052.[61] T. Y. Lin, P. Dollár, R. Girshick, K. He, B. Hariharan, and S. Belongie, “Feature pyramid networks for object detection,” in Proc. 30th IEEE Conf. Comput. Vis. Pattern Recognition, CVPR 2017, 2017, pp. 936– 944.[62] Z. Xu, Y. Sun, and M. Liu, “Topo-Boundary: A benchmark dataset on topological road-boundary detection using aerial images for autonomous driving,” IEEE Robot. Autom. Lett., vol. 6, no. 4, pp. 7248– 7255, Jul. 2021, doi: 10.1109/LRA.2021.3097512.[63] J. D. Wegner, J. A. Montoya-Zegarra, and K. Schindler, “A higher-order CRF model for road network extraction,” in Proc. IEEE Comput. Soc. Conf. Comput. Vis. Pattern Recognit., 2013, pp. 1698–1705.[64] M. Ibrahim, N. Akhtar, M. A. A. K. Jalwana, M. Wise, and A. Mian, “High Definition LiDAR mapping of Perth CBD,” in 2021 Digit. Image Comput. Tech. Appl., 2021, pp. 1–8.[65] D. Landry, F. Pomerleau, and P. Giguère, “CELLO-3D: Estimating the covariance of ICP in the real world,” in Proc. IEEE Int. Conf. Robot. Autom., 2019, pp. 8190–8196.[66] I. Bogoslavskyi and C. Stachniss, “Efficient online segmentation for sparse 3D laser scans,” Photogramm. Fernerkundung, Geoinf., vol. 85, no. 1, pp. 41–52, Feb. 2017, doi: 10.1007/s41064-016-0003-y.[67] S. Ding, Y. Fu, W. Wang, and Z. Pan, “Creation of high definition map for autonomous driving within specific scene,” in Int. Conf. Smart Transp. City Eng. 2021, 2021, pp. 1365–1373.[68] S. Gu, Y. Zhang, J. Yang, J. M. Alvarez, and H. Kong, “Two-view fusion based convolutional neural network for urban road detection,” in IEEE Int. Conf. Intell. Robot. Syst., 2019, pp. 6144–6149.[69] S. Gu, Y. Zhang, J. Tang, J. Yang, and H. Kong, “Road detection through CRF based LiDAR-camera fusion,” in Proc. IEEE Int. Conf. Robot. Autom., 2019, pp. 3832–3838.[70] D. Yu, H. Xiong, Q. Xu, J. Wang, and K. Li, “Multi-stage residual fusion network for LIDAR-camera road detection,” in IEEE Intell. Veh. Symp. Proc., 2019, pp. 2323–2328.[71] Y. Li, L. Xiang, C. Zhang, and H. Wu, “Fusing taxi trajectories and rs images to build road map via dcnn,” IEEE Access, vol. 7, pp. 161487– 161498, Nov. 2019, doi: 10.1109/ACCESS.2019.2951730.[72] B. Li, D. Song, A. Ramchandani, H. M. Cheng, D. Wang, Y. Xu, and B. Chen, “Virtual lane boundary generation for human-compatible autonomous driving: A tight coupling between perception and planning,” in IEEE Int. Conf. Intell. Robot. Syst., 2019, pp. 3733–3739.[73] L. Ma, Y. Li, J. Li, J. M. Junior, W. N. Goncalves, and M. A. Chapman, “BoundaryNet: Extraction and completion of road boundaries with deep learning using mobile laser scanning point clouds and satellite imagery,” IEEE Trans. Intell. Transp. Syst., Feb. 2021, doi: 10.1109/TITS.2021.3055366.[74] O. Ronneberger, P. Fischer, and T. Brox, “U-net: Convolutional networks for biomedical image segmentation,” in Lect. Notes Comput. Sci. (including Subser. Lect. Notes Artif. Intell. Lect. Notes Bioinformatics), 2015, vol. 9351, pp. 234–241.[75] I. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D. Warde-Farley, S. Ozair, A. Courville, and Y. Bengio, “Generative adversarial networks,” Commun. ACM, vol. 63, no. 11, pp. 139–144, Nov. 2020, doi: 10.1145/3422622.[76] L. Zhou, C. Zhang, and M. Wu, “D-linknet: linknet with pretrained encoder and dilated convolution for high resolution satellite imagery road extraction,” in IEEE Comput. Soc. Conf. Comput. Vis. Pattern Recognit. Work., 2018, pp. 192–196.[77] M. Schreiber, C. Kn?ppel, and U. Franke, “LaneLoc: Lane marking based localization using highly accurate maps,” in IEEE Intell. Veh. Symp. Proc., 2013, pp. 449–454.[78] W. Jang, J. An, S. Lee, M. Cho, M. Sun, and E. Kim, “Road lane semantic segmentation for high definition map,” in IEEE Intell. Veh. Symp. Proc., 2018, pp. 1001–1006.[79] J. Jiao, “Machine learning assisted high-definition map creation,” in Proc. Int. Comput. Softw. Appl. Conf., 2018, vol. 1, pp. 367–373.[80] M. Aldibaja, N. Suganuma, and K. Yoneda, “LIDAR-data accumulation strategy to generate high definition maps for autonomous vehicles,” in IEEE Int. Conf. Multisens. Fusion Integr. Intell. Syst., 2017, pp. 422– 428.[81] X. Mi, B. Yang, Z. Dong, C. Liu, Z. Zong, and Z. Yuan, “A two-stage approach for road marking extraction and modeling using MLS point clouds,” ISPRS J. Photogramm. Remote Sens., vol. 180, pp. 255–268, Oct. 2021, doi: 10.1016/j.isprsjprs.2021.07.012.[82] D. Betaille and R. Toledo-Moreo, “Creating enhanced maps for lane[1]level vehicle navigation,” IEEE Trans. Intell. Transp. Syst., vol. 11, no. 4, pp. 786–798, Jul. 2010, doi: 10.1109/TITS.2010.2050689.[83] Z. Zhang, X. Zhang, S. Yang, and J. Yang, “Research on pavement marking recognition and extraction method,” in 2021 6th Int. Conf. Image, Vis. Comput. ICIVC 2021, 2021, pp. 100–105.[84] Y. Zhang, Z. Lu, D. Ma, J. H. Xue, and Q. Liao, “Ripple-GAN: Lane line detection with ripple lane line detection network and wasserstein GAN,” IEEE Trans. Intell. Transp. Syst., vol. 22, no. 3, pp. 1532–1542, May 2021, doi: 10.1109/TITS.2020.2971728.[85] N. Kanopoulos, N. Vasanthavada, and R. L. Baker, “Design of an image edge detection filter using the Sobel operator,” IEEE J. Solid-State Circuits, vol. 23, no. 2, pp. 358–367, Apr. 1988, doi: 10.1109/4.996.[86] M. Arjovsky, S. Chintala, and L. Bottou, “Wasserstein GAN,” Jan. 26, 2017, arXiv: 1701.07875.[87] J. Zhang, T. Deng, F. Yan, and W. Liu, “Lane detection model based on spatio-temporal network with double convolutional gated recurrent units,” IEEE Trans. Intell. Transp. Syst., Feb. 2021, doi: 10.1109/TITS.2021.3060258[88] M. Siam, S. Valipour, M. Jagersand, and N. Ray, “Convolutional gated recurrent networks for video segmentation,” in Proc. Int. Conf. Image Process. ICIP, 2018, pp. 3090–3094. doi: 10.1109/ICIP.2017.8296851.[89] B. He, Y. Guan, and R. Dai, “Convolutional gated recurrent units for medical relation classification,” in Proc. 2018 IEEE Int. Conf. Bioinforma. Biomed. BIBM 2018, 2019, pp. 646–650.[90] P. Lu, S. Xu, and H. Peng, “Graph-embedded lane detection,” IEEE Trans. Image Process., vol. 30, pp. 2977–2988, Feb. 2021, doi: 10.1109/TIP.2021.3057287.[91] M. Marzougui, A. Alasiry, Y. Kortli, and J. Baili, “A lane tracking method based on progressive probabilistic hough transform,” IEEE Access, vol. 8, pp. 84893–84905, May 2020, doi: 10.1109/ACCESS.2020.2991930.[92] X. Xu, T. Yu, X. Hu, W. W. Y. Ng, and P. A. Heng, “SALMNet: A structure-aware lane marking detection network,” IEEE Trans. Intell. Transp. Syst., vol. 22, no. 8, pp. 4986–4997, Apr. 2021, doi: 10.1109/TITS.2020.2983077.[93] Y. Ko, Y. Lee, S. Azam, F. Munir, M. Jeon, and W. Pedrycz, “Key points estimation and point instance segmentation approach for lane detection,” IEEE Trans. Intell. Transp. Syst., Jun. 2021, doi: 10.1109/TITS.2021.3088488.[94] J. Tian, J. Yuan, and H. Liu, “Road marking detection based on mask R-CNN instance segmentation model,” in Proc. 2020 Int. Conf. Comput. Vision, Image Deep Learn. CVIDL 2020, 2020, pp. 246–249.[95] “GitHub - TuSimple/tusimple-benchmark: Download datasets and ground truths.” [Online]. Available: https://github.com/TuSimple/tusimple-benchmark[96] X. Pan, J. Shi, P. Luo, X. Wang, and X. Tang, “Spatial as deep: Spatial CNN for traffic scene understanding,” in 32nd AAAI Conf. Artif. Intell. AAAI 2018, 2018, pp. 7276–7283.[97] D. Neven, B. De Brabandere, S. Georgoulis, M. Proesmans, and L. Van Gool, “Towards end-to-end lane detection: An instance segmentation approach,” in IEEE Intell. Veh. Symp. Proc., 2018, pp. 286–291.[98] X. Li, J. Li, X. Hu, and J. Yang, “Line-CNN: End-to-end traffic line detection with line proposal unit,” IEEE Trans. Intell. Transp. Syst., vol. 21, no. 1, pp. 248–258, Jan. 2020, doi: 10.1109/TITS.2019.2890870.[99] S. M. Azimi, P. Fischer, M. Korner, and P. Reinartz, “Aerial LaneNet: Lane-marking semantic segmentation in aerial imagery using wavelet[1]enhanced cost-sensitive symmetric fully convolutional neural networks,” IEEE Trans. Geosci. Remote Sens., vol. 57, no. 5, pp. 2920– 2938, Mar. 2019, doi: 10.1109/TGRS.2018.2878510.[100] F. Kurz, S. M. Azimi, C. Y. Sheu, and P. D’Angelo, “Deep learning segmentation and 3D reconstruction of road markings using multiview aerial imagery,” ISPRS Int. J. Geo-Information, vol. 8, no. 1, Jan. 2019, doi: 10.3390/ijgi8010047.[101] Y. Yu, Y. Li, C. Liu, J. Wang, C. Yu, X. Jiang, L. Wang, Z. Liu, and Y. Zhang, “MarkCapsNet: Road marking extraction from aerial images using self-attention-guided capsule network,” IEEE Geosci. Remote Sens. Lett., vol. 19, Nov. 2022, doi: 10.1109/LGRS.2021.3124575.[102] J. Wang, K. Sun, T. Cheng, B. Jiang, C. Deng, Y. Zhao, D. Liu, Y. Mu, M. Tan, X. Wang, W. Liu, and B. Xiao, “Deep high-resolution representation learning for visual recognition,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 43, no. 10, pp. 3349–3364, Oct. 2021, doi: 10.1109/TPAMI.2020.2983686.[103] C. Wen, X. Sun, J. Li, C. Wang, Y. Guo, and A. Habib, “A deep learning framework for road marking extraction, classification and completion from mobile laser scanning point clouds,” ISPRS J. Photogramm. Remote Sens., vol. 147, pp. 178–192, Jan. 2019, doi: 10.1016/j.isprsjprs.2018.10.007.[104] R. LaLonde, Z. Xu, I. Irmakci, S. Jain, and U. Bagci, “Capsules for biomedical image segmentation,” Med. Image Anal., vol. 68, Feb. 2021, doi: 10.1016/j.media.2020.101889.[105] Y. Yu, Y. Yao, H. Guan, D. Li, Z. Liu, L. Wang, C. Yu, S. Xiao, W. Wang, and L. Chang, “A self-attention capsule feature pyramid network for water body extraction from remote sensing imagery,” Int. J. Remote Sens., vol. 42, no. 5, pp. 1801–1822, Dec. 2021, doi: 10.1080/01431161.2020.1842544.[106] C. Ye, J. Li, H. Jiang, H. Zhao, L. Ma, and M. Chapman, “Semi[1]automated generation of road transition lines using mobile laser scanning data,” IEEE Trans. Intell. Transp. Syst., vol. 21, no. 5, pp. 1877–1890, May 2020, doi: 10.1109/TITS.2019.2904735.[107] L. Ma, Y. Li, J. Li, Z. Zhong, and M. A. Chapman, “Generation of horizontally curved driving lines in HD maps using mobile laser scanning point clouds,” IEEE J. Sel. Top. Appl. Earth Obs. Remote Sens., vol. 12, no. 5, pp. 1572–1586, May 2019, doi: 10.1109/JSTARS.2019.2904514.[108] M. Soilán, B. Riveiro, J. Martínez-Sánchez, and P. Arias, “Segmentation and classification of road markings using MLS data,” ISPRS J. Photogramm. Remote Sens., vol. 123, pp. 94–103, Jan. 2017, doi: 10.1016/j.isprsjprs.2016.11.011.[109] M. Soilán, A. Sánchez-Rodríguez, P. Del Río-Barral, C. Perez-Collazo, P. Arias, and B. Riveiro, “Review of laser scanning technologies and their applications for road and railway infrastructure monitoring,” Infrastructures, vol. 4, no. 4, Sep. 2019, doi: 10.3390/infrastructures4040058.[110] B. He, R. Ai, Y. Yan, and X. Lang, “Lane marking detection based on convolution neural network from point clouds,” in IEEE Conf. Intell. Transp. Syst. Proceedings, ITSC, 2016, pp. 2475–2480.[111] L. Ma, Y. Li, J. Li, Y. Yu, J. M. Junior, W. N. Goncalves, and M. A. Chapman, “Capsule-based networks for road marking extraction and classification from mobile LiDAR point clouds,” IEEE Trans. Intell. Transp. Syst., vol. 22, no. 4, pp. 1981–1995, Apr. 2021, doi: 10.1109/TITS.2020.2990120.[112] S. Sabour, N. Frosst, and G. E. Hinton, “Dynamic routing between capsules,” in Adv. Neural Inf. Process. Syst., 2017, pp. 3857–3867.[113] M. Cheng, H. Zhang, C. Wang, and J. Li, “Extraction and classification of road markings using mobile laser scanning point clouds,” IEEE J. Sel. Top. Appl. Earth Obs. Remote Sens., vol. 10, no. 3, pp. 1182–1196, Mar. 2017, doi: 10.1109/JSTARS.2016.2606507.[114] D. Prochazka, J. Prochazkova, and J. Landa, “Automatic lane marking extraction from point cloud into polygon map layer,” Eur. J. Remote Sens., vol. 52, no. sup1, pp. 26–39, Oct. 2019, doi: 10.1080/22797254.2018.1535837.[115] J. Landa, D. Prochazka, and J. ?tastny, “Point cloud processing for smart systems,” Acta Univ. Agric. Silvic. Mendelianae Brun., vol. 61, no. 7, pp. 2415–2421, Jan. 2013, doi: 10.11118/actaun201361072415.[116] J. Redmon and A. Farhadi, “YOLOv3: An incremental improvement,” Apr. 08, 2018, arXiv: 1804.02767.[117] M. Lehtom?ki, A. Jaakkola, J. Hyypp?, A. Kukko, and H. Kaartinen, “Detection of vertical pole-like objects in a road environment using vehicle-based laser scanning data,” Remote Sens., vol. 2, no. 3, pp. 641– 664, Mar. 2010, doi: 10.3390/rs2030641.[118] S. I. El-Halawany and D. D. Lichti, “Detection of road poles from mobile terrestrial laser scanner point cloud,” in 2011 Int. Work. Multi[1]Platform/Multi-Sensor Remote Sens. Mapping, M2RSM 2011, 2011, pp. 1–6.[119] H. Yokoyama, H. Date, S. Kanai, and H. Takeda, “Pole-like objects recognition from mobile laser scanning data using smoothing and principal component analysis,” Int. Arch. Photogramm. Remote Sens. Spat. Inf. Sci., vol. XXXVIII–5, pp. 115–120, Sep. 2012, doi: 10.5194/isprsarchives-xxxviii-5-w12-115-2011.[120] S. Pu, M. Rutzinger, G. Vosselman, and S. Oude Elberink, “Recognizing basic structures from mobile laser scanning data for road inventory studies,” ISPRS J. Photogramm. Remote Sens., vol. 66, no. 6 SUPPL., Dec. 2011, doi: 10.1016/j.isprsjprs.2011.08.006.[121] C. Cabo, C. Ordo?ez, S. García-Cortés, and J. Martínez, “An algorithm for automatic detection of pole-like street furniture objects from Mobile Laser Scanner point clouds,” ISPRS J. Photogramm. Remote Sens., vol. 87, pp. 47–56, Jan. 2014, doi: 10.1016/j.isprsjprs.2013.10.008.[122] C. Ordó?ez, C. Cabo, and E. Sanz-Ablanedo, “Automatic detection and classification of pole-like objects for urban cartography using mobile laser scanning data,” Sensors (Switzerland), vol. 17, no. 7, Jun. 2017, doi: 10.3390/s17071465.[123] Y. Yu, J. Li, H. Guan, C. Wang, and J. Yu, “Semiautomated extraction of street light poles from mobile LiDAR point-clouds,” IEEE Trans. Geosci. Remote Sens., vol. 53, no. 3, pp. 1374–1386, Mar. 2015, doi: 10.1109/TGRS.2014.2338915.[124] H. Zheng, R. Wang, and S. Xu, “Recognizing street lighting poles from mobile LiDAR data,” IEEE Trans. Geosci. Remote Sens., vol. 55, no. 1, pp. 407–420, Jan. 2017, doi: 10.1109/TGRS.2016.2607521.[125] C. Plachetka, J. Fricke, M. Klingner, and T. Fingscheidt, “DNN-based recognition of pole-like objects in LiDAR point clouds,” in IEEE Conf. Intell. Transp. Syst. Proceedings, ITSC, 2021, pp. 2889–2896.[126] C. R. Qi, H. Su, K. Mo, and L. J. Guibas, “PointNet: Deep learning on point sets for 3D classification and segmentation,” in Proc. - 30th IEEE Conf. Comput. Vis. Pattern Recognition, CVPR 2017, 2017, pp. 77–85.[127] A. H. Lang, S. Vora, H. Caesar, L. Zhou, J. Yang, and O. Beijbom, “Pointpillars: Fast encoders for object detection from point clouds,” in Proc. IEEE Comput. Soc. Conf. Comput. Vis. Pattern Recognit., 2019, pp. 12689–12697.[128] Y. Zhou and O. Tuzel, “VoxelNet: End -to -end learning for point cloud based 3D object detection,” in Proc. IEEE Comput. Soc. Conf. Comput. Vis. Pattern Recognit., 2018, pp. 4490 –4499.[129] P. Hu and D. Ramanan, “Finding tiny faces,” in Proc. 30th IEEE Conf. Comput. Vis. Pattern Recognition, CVPR 2017, 2017, pp. 1522 –1530.[130] W. Liu, D. Anguelov, D. Erhan, C. Szegedy, S. Reed, C. Y. Fu, and A. C. Berg, “SSD: Single shot multibox detector,” in Lect. Notes Comput. Sci. (including Subser. Lect. Notes Artif. Intell. Lect. Notes Bioinformatics), 2016, vol. 9905 LNCS, pp. 21 –37.[131] F. Poggenhans, J. H. Pauls, J. Janosovits, S. Orf, M. Naumann, F. Kuhnt, and M. Mayr, “Lanelet2: A high -definition map framework for the future of automated driving,” in IEEE Conf. Intell. Transp. Syst. Proceedings, ITSC, 2018, pp. 1672 –1679.[132] “ASAM OpenDRIVE®.” [Online]. Available: https://www.asam.net/standards/detail/opendrive/[133] C. W. Gran, “HD -maps in autonomous driving,” M.S. thesis, Dept. Comp. Sci., Norwegian Univ. of Sci. and Tech., Norway, 2019.[134] “Lanelet2 map for Autoware.Auto.” [Online]. Available: https://autowarefoundation.gitlab.io/autoware.auto/AutowareAuto/lane let2 -map -for -autoware -auto.html[135] “OpenDRIVE 1.6.1.” [Online]. Available: https://www.asam.net/index.php?eID=dumpFile&t=f&f=4089&token= deea5d707e2d0edeeb4fccd544a973de4bc46a09#_specific_lane_rules[136] A. Avila, “Using open source frameworks in autonomous vehicle development - Part 2.” Mar. 04, 2020. [Online]. Available: https://auro.ai/blog/2020/03/using -open -source -frameworks -in - autonomous -vehicle -development -part -2/[137] “Generate maps with OpenStreetMap - CARLA Simulator.” [Online]. Available: https://carla.readthedocs.io/en/latest/tuto_G_openstreetmap/[138] K. Kim, S. Cho, and W. Chung, “HD map update for autonomous driving with crowdsourced data,” IEEE Robot. Autom. Lett., vol. 6, no. 2, pp. 1895 –1901, Apr. 2021, doi: 10.1109/LRA.2021.3060406