日本无码免费高清在线|成人日本在线观看高清|A级片免费视频操逼欧美|全裸美女搞黄色大片网站|免费成人a片视频|久久无码福利成人激情久久|国产视频一二国产在线v|av女主播在线观看|五月激情影音先锋|亚洲一区天堂av

  • 手機(jī)站
  • 小程序

    汽車測試網(wǎng)

  • 公眾號

    • 汽車測試網(wǎng)

    • 在線課堂

    • 電車測試

高精地圖中地面標(biāo)識識別技術(shù)歷程與實(shí)踐

2019-11-14 20:42:17·  來源：高德技術(shù)  
　
本文將主要介紹高德在高精地圖地面標(biāo)識識別上的技術(shù)演進(jìn)，這些技術(shù)手段在不同時(shí)期服務(wù)了高精地圖產(chǎn)線需求，為高德地圖構(gòu)建高精度地圖提供了基礎(chǔ)的技術(shù)保證。1.地
本文將主要介紹高德在高精地圖地面標(biāo)識識別上的技術(shù)演進(jìn)，這些技術(shù)手段在不同時(shí)期服務(wù)了高精地圖產(chǎn)線需求，為高德地圖構(gòu)建高精度地圖提供了基礎(chǔ)的技術(shù)保證。
1.  地面標(biāo)識識別
地面標(biāo)識識別，指在地圖道路中識別出各種類型的地面標(biāo)識元素，如地面箭頭、地面文字、時(shí)間、地面數(shù)字、減速帶、車距確認(rèn)線、減速丘、人行橫道、停止讓行線、減速讓行線等。這些自動化識別結(jié)果將作為生產(chǎn)數(shù)據(jù)交付給地圖生產(chǎn)產(chǎn)線，經(jīng)過制作后演變成服務(wù)于自動駕駛、車載導(dǎo)航、移動導(dǎo)航的地圖。
高精地圖一般對各個(gè)地圖要素精度至少有著厘米級的要求，所以相對于普通地圖來說需要更高的位置精度，這也是與普通地圖識別的最大不同，所以探索如何將地面標(biāo)識識別得又全又準(zhǔn)是我們一直努力的方向。
地面標(biāo)識識別有兩大難點(diǎn)：一是地面標(biāo)識本身的種類、大小繁多，二是地面標(biāo)識易被磨損遮擋，清晰度參差不齊，這給高精度識別帶來了巨大的挑戰(zhàn)。
1）地面標(biāo)識種類繁多：實(shí)際場景中地面標(biāo)識種類繁多，在內(nèi)容、顏色、形狀、尺寸等方面均有不同分布。
  • 顏色：比如黃色、紅色、白色等
  • 形狀：箭頭形、各種文字?jǐn)?shù)字形狀、條形、多條形、面狀、丘狀等
  • 尺寸：國標(biāo)定義的標(biāo)準(zhǔn)箭頭長度為9m，但也存在1m~2m甚至1m以下的地面標(biāo)識元素，尤其減速帶以及人行道等尺寸差異會更大，反映到圖像中像素個(gè)數(shù)以及長寬比均會有較大差異。
圖1. 部分地面標(biāo)識
2）磨損壓蓋多：地面元素長年累月受車輛、行人等碾壓會造成磨損，以及經(jīng)常存在的堵車等場景更是加大了地面要素被遮擋的可能。所以從激光雷達(dá)獲取的點(diǎn)云數(shù)據(jù)和由相機(jī)獲取的可見光圖像數(shù)據(jù)的質(zhì)量均參差不齊，對地面標(biāo)志識別帶來了極大的挑戰(zhàn)。
常見的問題如下所示，示例如圖2所示。
  • 地面標(biāo)識磨損：地面標(biāo)志由于磨損褪色、掉漆導(dǎo)致不完整或者嚴(yán)重不清晰
  • 采集環(huán)境問題：遮擋(施工、車輛)、由于環(huán)境改變引起的材料激光反射率差異以及可見光不清晰（雨天、逆光等）
圖2. 自然場景下拍攝的地面標(biāo)識
2. 識別起步
地面標(biāo)識識別需要做的是將地面標(biāo)識這部分區(qū)域提取出來，則最直觀的是對其進(jìn)行閾值分割、骨架提取、連通域分析等傳統(tǒng)方法。首先獲取點(diǎn)云中地面點(diǎn)集合，接著獲取集合中高反射率部分的骨架集合，然后對每個(gè)局部骨架區(qū)域計(jì)算強(qiáng)度截?cái)嚅撝?，最后對區(qū)域進(jìn)行連通區(qū)域搜索以及附加降噪措施等。
另外我們也嘗試了GrabCut等算法在地面標(biāo)志上的提取，GrabCut算法對前景和背景分別聚類，得到k組類似的像素集合，然后對前景和背景分別進(jìn)行高斯混合模型（GMM）建模，判斷像素屬于地面標(biāo)志還是背景。在提取疑似地面標(biāo)識區(qū)域后，再經(jīng)過機(jī)器學(xué)習(xí)模型（SVM等）進(jìn)行細(xì)分類以獲得更好的識別效果。
圖3. 傳統(tǒng)提取方法識別結(jié)果
由上圖可以看到，對于一些前后景區(qū)分比較好的地面標(biāo)識提取的比較好，但是針對有磨損、模糊、前景背景相似、背景復(fù)雜等情況均效果欠佳，容易漏召回且位置精度不高，魯棒性不強(qiáng)。
3.深度學(xué)習(xí)時(shí)代
2012年Hinton團(tuán)隊(duì)提出的Alexnet網(wǎng)絡(luò)贏得了2012年圖像識別大賽冠軍，相比傳統(tǒng)方法獲得顯著提升，CNN在圖像領(lǐng)域有了明顯優(yōu)勢。近幾年，基于深度學(xué)習(xí)的檢測識別技術(shù)也得到了很大發(fā)展。
深度學(xué)習(xí)時(shí)代是數(shù)據(jù)和硬件驅(qū)動的時(shí)代，結(jié)合部分人工標(biāo)注以及自動化生成，我們擁有百萬級的數(shù)據(jù)，而且各種場景的數(shù)據(jù)還在不斷豐富，結(jié)合算法探索與創(chuàng)新，我們?nèi)〉昧嗽絹碓胶玫募夹g(shù)與業(yè)務(wù)效果。
目前檢測識別技術(shù)主要分為兩大方向：Two-Stage(如RCNN系列)和One-stage(SSD、YOLO等)。Two-Stage網(wǎng)絡(luò)優(yōu)勢在于效果整體較好，識別位置較精確，對小目標(biāo)檢測也有一定的競爭力。
One-stage檢測識別方法優(yōu)勢在于處理速度較快。高精地圖不僅需要較高的識別性能、也需要有足夠高的識別位置精度，所以我們選擇了準(zhǔn)確率較高的Two-stage大方向。
1）R-FCN檢測
結(jié)合位置敏感得分圖（position-sensitive score map）和位置敏感降采樣（position-sensitive roi pooling）等操作，R-FCN算法在目標(biāo)檢測識別上獲得了較高的性能和位置精度，我們選擇了R-FCN檢測算法實(shí)現(xiàn)對地面標(biāo)識的檢測識別。
R-FCN算法基于深度學(xué)習(xí)的方法，通過學(xué)習(xí)大量實(shí)際場景樣本，所以在泛化性上取得了比較大的提升，自動化識別對于不同場景的識別能力有所提高，地面標(biāo)識召回率得到了較大的改善。算法示意圖如下所示：
圖4. R-FCN算法示意圖
以下為一些地面標(biāo)識檢測識別示例：
 
圖5. R-FCN算法地面標(biāo)識識別示例
引入深度學(xué)習(xí)極大的改善了高精地圖地面標(biāo)識自動識別的性能，地面標(biāo)識召回得到了很大提升，美中不足的是R-FCN存在著一個(gè)弊端就是其輸出的最終檢測位置是基于地面標(biāo)識類別的得分，但往往得分最高的位置并不一定跟實(shí)際位置最貼合，所以在位置預(yù)測精度上，R-FCN并不完美。
2）級聯(lián)檢測器
隨著深度學(xué)習(xí)的發(fā)展以及業(yè)界對目標(biāo)檢測識別位置精度的要求不斷提高，更多高精度檢測識別算法被提了出來，如Iou-Net等。
我們適時(shí)采用了更加先進(jìn)的識別算法，以期獲得更加精準(zhǔn)的位置精度來滿足產(chǎn)線業(yè)務(wù)需求，結(jié)合級聯(lián)檢測，利用Deformable-Conv自適應(yīng)感受野等技術(shù)提升算法識別精度。
該算法不同于傳統(tǒng)算法對roi進(jìn)行一次預(yù)測回歸得到最終位置，而是通過級聯(lián)的形式不斷修正預(yù)測的位置和實(shí)際位置的偏差，每經(jīng)過一個(gè)級聯(lián)回歸器，算法識別結(jié)果均會更加貼合真值，這非常有利于提高識別精度，契合高精地圖對目標(biāo)位置精度的高要求，最后在召回和位置精度上都達(dá)到更好的效果。
圖6.級聯(lián)檢測算法原理圖
以下為一些算法識別結(jié)果示例：
圖7. 級聯(lián)檢測算法識別示例
通過引入級聯(lián)形式的檢測識別模型令高精產(chǎn)線自動識別能力在識別精度上得到了不錯(cuò)的提升，但我們對自動識別位置精度提升的挖掘是無止盡的，所以有了以下的方案。
3）級聯(lián)檢測 + 局部回歸
設(shè)想一下，如果我們在地面標(biāo)識區(qū)域進(jìn)行局部的位置回歸，那么網(wǎng)絡(luò)就能夠聚焦到更加細(xì)微的地面標(biāo)識區(qū)域，最終得到更加接近邊界的位置。結(jié)合實(shí)際在做地面標(biāo)志識別時(shí)，我們將容易造成精度問題的部分單獨(dú)做位置精修，得到了更加精細(xì)的位置。
以下為部分算法識別結(jié)果示例：
圖8. 算法識別示意圖
采用檢測+回歸技術(shù)方案實(shí)現(xiàn)了更加好的位置檢測精度，讓我們離“真實(shí)世界”更進(jìn)了一步。其缺點(diǎn)是技術(shù)方案流程較長，不夠簡潔美觀。
4）基于角點(diǎn)的檢測
基于角點(diǎn)回歸的目標(biāo)檢測方法，使用單個(gè)卷積神經(jīng)網(wǎng)絡(luò)預(yù)測兩組熱力圖來表示不同物體類別的角的位置，即將目標(biāo)邊界框檢測為一對關(guān)鍵點(diǎn)（即邊界框的左上角和右下角），以及每個(gè)檢測到的角點(diǎn)的嵌入向量。其中角點(diǎn)用于確定目標(biāo)位置，嵌入向量用于對屬于同一目標(biāo)的一對角點(diǎn)進(jìn)行分組。
此種方法簡化了網(wǎng)絡(luò)的輸出，通過將目標(biāo)檢測為成對關(guān)鍵點(diǎn)，消除了現(xiàn)有的檢測器設(shè)計(jì)中對特征層需要大量anchors的弊端，因?yàn)榇罅縜nchors造成了大量的重疊以及正負(fù)樣本不均衡。同時(shí)為了產(chǎn)生更緊密的邊界框，網(wǎng)絡(luò)還預(yù)測偏移以精細(xì)調(diào)整角點(diǎn)的位置。通過預(yù)測熱力圖、嵌入向量、以及偏移最終得到了精確的邊界框。
圖 9 角點(diǎn)檢測示意圖
由于在檢測任務(wù)中需要獲取相同尺寸的特征圖對目標(biāo)進(jìn)行位置回歸、類別分類等，算法會對其進(jìn)行量化以及降采樣等操作，不可避免會有精度上的損失。這個(gè)弊端帶來的最大影響就是經(jīng)由檢測回歸出的位置不夠魯棒，在某些情況下會出現(xiàn)或多或少的偏移。
5）級聯(lián)檢測 + 分割精修
隨著語意分割技術(shù)的不斷成熟，基于深度學(xué)習(xí)的語意分割已經(jīng)能夠?qū)⑤斎雸D像進(jìn)行像素級的分類，而且其精度也越來越高，也就是圖片中要素的輪廓越來越精細(xì)。
我們采用以resnet 為主干的分割模型，并結(jié)合了自適應(yīng)感受野、多尺度融合、Coarse-Fine融合、感興趣區(qū)域注意力機(jī)制等技術(shù)實(shí)現(xiàn)了對地面標(biāo)識的像素級分割。
為了獲取地面標(biāo)識的實(shí)體信息，我們?nèi)匀挥脵z測來確定地面標(biāo)識大致位置，但是不同的是最終由對應(yīng)區(qū)域的地面標(biāo)識分割語義信息獲取最終精確的地面標(biāo)識位置。
圖10.地面標(biāo)識分割示意圖
以下為部分檢測結(jié)合精修示例圖：
圖11. 分割精修示例
語義分割的引入使得地面標(biāo)識的識別位置精度得到了改善，解決了由檢測帶來的識別位置精度不魯棒的問題，使得高精地圖地面標(biāo)識自動化效果上了一個(gè)新的臺階。
但是這種方法稍顯繁瑣，而且檢測和分割任務(wù)都需要耗費(fèi)大量GPU資源，也就是說一張圖片需要同時(shí)多次GPU運(yùn)算加上后續(xù)的CPU后處理融合才能夠得到最終的結(jié)果，如果能夠?qū)⑦@些步驟優(yōu)化，那么必然能夠簡化流程同時(shí)節(jié)省大量運(yùn)算資源。
6）PAnet
基于以上考慮，我們采用了基于PAnet的檢測識別算法。傳統(tǒng)的實(shí)例分割模型各層中的信息傳播不夠充分。PAnet較好的解決了這些問題，充分融合了coarse、fine特征，不僅有自頂向下的特征融合還結(jié)合了自底向上的特征融合，在高層特征中充分融合進(jìn)了底層的強(qiáng)定位特征，解決了淺層特征信息丟失的問題。
另外還結(jié)合了自適應(yīng)特征降采樣將不同特征層進(jìn)行融合提取roi特征做預(yù)測，以及添加額外mask前景背景分類分支，使得預(yù)測mask更加精確，這些手段結(jié)合對于目標(biāo)檢測位置精度有比較大的收益。同時(shí)，分割和檢測任務(wù)結(jié)合能夠互相促進(jìn)取得更好的結(jié)果。
圖 12 PAnet 示意圖
以下為一些算法的識別結(jié)果示例?？梢钥吹剿惴▽Σ糠帜p模糊的地面標(biāo)識也有了一定的寬容度，其位置精度有了巨大的改善。（圖中地面標(biāo)識外框?yàn)闄z測得到的大概位置，內(nèi)框?yàn)楦鶕?jù)像素級分割得到的位置，取內(nèi)框?yàn)榈孛鏄?biāo)識最終位置）。
圖 13 檢測識別實(shí)例
采用上述方案需要將點(diǎn)云投影為2D空間，中間有一定的歸一化量化操作，不可避免的會損失一些信息，最直觀的是在一些點(diǎn)云反射率較低的地方容易造成目標(biāo)丟失。如果能夠在原始3維點(diǎn)云上提取那么這些問題就迎刃而解。
7）基于3維點(diǎn)云的目標(biāo)檢測
基于上面的考慮，我們探索原始點(diǎn)云上的3D物體檢測，3D點(diǎn)云識別是各種真實(shí)世界應(yīng)用的一個(gè)重要組成部分，如自主導(dǎo)航、重建、VR/AR等。與基于圖像的檢測相比，激光雷達(dá)提供可靠的深度信息，可以用于精確定位物體并表征它們的形狀。
我們探索了多種3維點(diǎn)云識別算法，比如基于bird-view、voxel等的3維點(diǎn)云識別。由于PointRCNN在原始3維點(diǎn)云目標(biāo)檢測上的良好表現(xiàn)，我們采用基于PointRCNN的方法提取地面標(biāo)識，整個(gè)檢測框架包括兩個(gè)階段：第一階段將整個(gè)場景的點(diǎn)云分割為前景點(diǎn)和背景點(diǎn)，以自下而上的方式直接從點(diǎn)云生成少量高質(zhì)量的3D proposal。
第二階段在規(guī)范坐標(biāo)中修改候選區(qū)域獲得最終的檢測結(jié)果，將每個(gè)proposal經(jīng)池化后轉(zhuǎn)換為規(guī)范坐標(biāo)，以便更好地學(xué)習(xí)局部空間特征，同時(shí)與第一階段中全局語義特征相結(jié)合，用于預(yù)測Box優(yōu)化和置信度預(yù)測。
圖 14 3維點(diǎn)云檢測
4. 效果與收益
大數(shù)據(jù)的支撐使得我們的算法擁有更好的魯棒性與識別能力。結(jié)合算法中各種策略以及多種數(shù)據(jù)源（點(diǎn)云、可見光等），我們在不斷提升地面標(biāo)識識別精度，其位置精度在Ground Truth 5cm范圍區(qū)間內(nèi)達(dá)到99%以上，召回也達(dá)到了99.99%以上，各項(xiàng)指標(biāo)都得到了穩(wěn)步提升。
上述方案已經(jīng)正式上線，并處理了大量數(shù)據(jù)，準(zhǔn)召率都達(dá)到了生產(chǎn)作業(yè)的要求，同時(shí)算法對人工作業(yè)產(chǎn)線的效率提升作用日益提高。以下是部分效果圖：
 
圖15. 地面標(biāo)識檢測效果圖
5. 寫在最后
高精地圖被稱作自動駕駛系統(tǒng)的“眼睛“，與普通地圖最大的不同點(diǎn)在于使用主體不同。普通導(dǎo)航地圖的使用者是人，用于導(dǎo)航、搜索，而高精地圖的使用者是計(jì)算機(jī)，用于高精度定位、輔助環(huán)境感知、規(guī)劃與決策。因而高精地圖對地圖要素不僅需要極高的召回率，還需要非常高的位置精度。
高精地圖中要素的識別對技術(shù)提出了比較高的要求，縱觀整個(gè)高精地圖產(chǎn)業(yè)發(fā)展，地圖制作逐漸從純?nèi)斯み^渡到半自動乃至全自動。期間識別技術(shù)也不斷得到發(fā)展與完善，從手動構(gòu)造特征到自動特征、從2維識別到3維以及更高維識別、從單源識別到多源融合等。
目前，高精地圖多采用人工作業(yè)，人工作業(yè)質(zhì)量和效率始終是一個(gè)矛盾點(diǎn)，相比之下，機(jī)器自動識別有著更高的效率、更低的作業(yè)成本以及不亞于人工的作業(yè)質(zhì)量。自動識別的應(yīng)用必將加速高精地圖構(gòu)建，推動高精地圖產(chǎn)業(yè)發(fā)展。高精度地面標(biāo)識識別技術(shù)已經(jīng)在高德高精地圖內(nèi)部得到應(yīng)用，有效提升了數(shù)據(jù)制作效率與制作質(zhì)量，為高德構(gòu)建高精地圖提供堅(jiān)實(shí)的技術(shù)支撐。 
分享到：
 
反對 0 舉報(bào) 0 收藏 0 評論 0
滬ICP備11026917號-25