日本无码免费高清在线|成人日本在线观看高清|A级片免费视频操逼欧美|全裸美女搞黄色大片网站|免费成人a片视频|久久无码福利成人激情久久|国产视频一二国产在线v|av女主播在线观看|五月激情影音先锋|亚洲一区天堂av

  • 手機(jī)站
  • 小程序

    汽車測試網(wǎng)

  • 公眾號(hào)

    • 汽車測試網(wǎng)

    • 在線課堂

    • 電車測試

L4自動(dòng)駕駛中感知系統(tǒng)遇到的挑戰(zhàn)及解決方案

2019-05-09 19:55:13·  來源：DataFunTalk  作者：李陽光  
　
1.Perception IntroductionPerception系統(tǒng)是以多種sensor的數(shù)據(jù)，以及高精度地圖的信息作為輸入，經(jīng)過一系列的計(jì)算及處理，對(duì)自動(dòng)駕駛車的周圍的環(huán)境精確感知。
1. Perception Introduction

Perception系統(tǒng)是以多種sensor的數(shù)據(jù)，以及高精度地圖的信息作為輸入，經(jīng)過一系列的計(jì)算及處理，對(duì)自動(dòng)駕駛車的周圍的環(huán)境精確感知。能夠?yàn)橄掠文K提供豐富的信息，包括障礙物的位置、形狀、類別及速度信息，也包括對(duì)一些特殊場景的語義理解（包括施工區(qū)域，交通信號(hào)燈及交通路牌等）。

Perception系統(tǒng)包括多個(gè)方面及子系統(tǒng)：
 
  1. 傳感器：傳感器的安裝，視場角，探測距離，數(shù)據(jù)吞吐、標(biāo)定精度，時(shí)間同步。因?yàn)橛玫降膫鞲衅鞅容^多，時(shí)間同步的解決方案這里會(huì)起到非常重要的作用。
  2. 目標(biāo)檢測及分類：為了保證車輛百分百的安全，能夠達(dá)到近似百分之百的召回率及非常高的準(zhǔn)確率；這里會(huì)涉及到深度學(xué)習(xí)方面的工作，包括3D點(diǎn)云及2D Image上的物體檢測及多傳感器融合方面等。
  3. 多目標(biāo)追蹤：跟進(jìn)多幀的信息計(jì)算并預(yù)測障礙物的運(yùn)動(dòng)軌跡。
  4. 場景理解，包括交通信號(hào)燈，路牌，施工區(qū)域，以及特殊類別，比如校車，警車。
  5. 機(jī)器學(xué)習(xí)分布式訓(xùn)練基礎(chǔ)架構(gòu)及相關(guān)的evaluation評(píng)價(jià)系統(tǒng)。
  6. 數(shù)據(jù)：大量的標(biāo)注數(shù)據(jù)，這里包括3D點(diǎn)云數(shù)據(jù)及2D的圖片數(shù)據(jù)等。

目前傳感器主要分為3個(gè)類別：
 
  1. Lidar激光雷達(dá)；
  2. Camera相機(jī)；
  3. Radar毫米波雷達(dá)。



這張圖相當(dāng)于Perception物體檢測的輸出，能夠檢測車輛周圍的障礙物，包括車輛、行人、自行車等，同時(shí)結(jié)合高精度地圖，會(huì)對(duì)周邊的Background信息進(jìn)行輸出。

圖中綠顏色的是一輛車，橙色的是一輛摩托車，黃顏色的是一個(gè)行人，灰顏色是一些背景如植被信息。


結(jié)合多幀的信息，對(duì)運(yùn)動(dòng)的行人和車輛的速度，方向，進(jìn)行精確的輸出。

2. Sensor Setup & Sensor Fusion

以上是Perception系統(tǒng)從輸入到輸出的一個(gè)大概介紹。接下來總體介紹Pony.ai第三代車輛的傳感器安裝方案以及傳感器融合的解決方案。

目前我們的整個(gè)傳感器安裝的解決方案，是能夠覆蓋360度，范圍200米的感知距離。從不同傳感器的安裝，不同角度來看，首先用到了3個(gè)激光雷達(dá)，頂部和兩側(cè)。激光雷達(dá)有100米的感知距離。同時(shí)通過4個(gè)廣角的攝像頭來覆蓋相機(jī)360度的視野。遠(yuǎn)處的視野通過前向的毫米波雷達(dá)以及長焦的相機(jī)，將感知距離擴(kuò)到200米的范圍。這套傳感器配置能保證我們的自動(dòng)駕駛車輛在居民區(qū)、商業(yè)區(qū)、工業(yè)區(qū)這樣的場景進(jìn)行自動(dòng)駕駛。


18年9月份世界人工智能大會(huì)上推出的第3代的傳感器配置方案。


前邊的相機(jī)兩個(gè)廣角，一個(gè)長焦。使得可以看到更遠(yuǎn)距離的信號(hào)燈的信息，兩百米內(nèi)紅綠燈的狀態(tài)。

上面介紹了整個(gè)傳感器的安裝方案。下面主要介紹下多傳感器融合的解決方案。

第一個(gè)要解決的問題是把不同的傳感器的數(shù)據(jù)標(biāo)定到同一個(gè)坐標(biāo)系里。包括相機(jī)的內(nèi)參標(biāo)定，Lidar到相機(jī)的外參標(biāo)定，雷達(dá)到GPS的外參標(biāo)定。

傳感器融合重要的前提是要能把標(biāo)定精度提高到非常高的一個(gè)精度，不管是做結(jié)果層面的傳感器融合，還是元數(shù)據(jù)層面的傳感器融合，是一個(gè)必要的基礎(chǔ)。


這張圖可以看到，我們將3D的激光點(diǎn)云投射到影像上，可以看到傳感器標(biāo)定的精度還是挺高的。

整個(gè)標(biāo)定的工作基本上已經(jīng)做到完全自動(dòng)化的方式。不同傳感器標(biāo)定的方案：


首先是相機(jī)內(nèi)參的標(biāo)定，內(nèi)參的標(biāo)定平臺(tái)對(duì)每一個(gè)相機(jī)能夠在兩到三分鐘之內(nèi)做到傳感器的標(biāo)定。


這個(gè)圖是相機(jī)到激光雷達(dá)的外參標(biāo)定，激光雷達(dá)是360度旋轉(zhuǎn)的方式，每旋轉(zhuǎn)一周是100毫秒。相機(jī)是某一瞬時(shí)曝光的問題，所以涉及到時(shí)間同步的一個(gè)方式，通過Lidar來觸發(fā)相機(jī)曝光。比如說我們有4個(gè)相機(jī)，能夠通過激光雷達(dá)去保證時(shí)間同步。

3D和2D彼此互補(bǔ)，二者更好的融合能夠?qū)Ω兄獣?huì)有更精確的輸出。


3. Perception Onboard

上面大概介紹了整個(gè)perception的sensor的setup，以及sensor fusion做法。接下來介紹車載的Perception Onboard的架構(gòu)是什么樣的，以及解決方案是什么。


這是整個(gè)Perception Onboard的架構(gòu)。首先用LiDAR，Camera，Radar三種sensor數(shù)據(jù)通過時(shí)間同步，所有的時(shí)間誤差控制在50毫秒以內(nèi)。結(jié)合sensor的數(shù)據(jù)，進(jìn)行frame wise的detection及classification等計(jì)算，最后利用多frame信息進(jìn)行多目標(biāo)跟蹤，最后將相關(guān)結(jié)果輸出。這里涉及到Sensor Fusion, Deep Learning相關(guān)的技術(shù)細(xì)節(jié)，這里不做過多的討論。

整個(gè)Perception 系統(tǒng)的解決方案要保證這5點(diǎn)：
 
  1. 首先是安全，保證近乎百分之百的detection 的recall
  2. Precision要求非常高，如果低于某個(gè)閾值，造成False Positive，車輛在自動(dòng)駕駛狀態(tài)下會(huì)非常不舒適
  3. 盡量輸出所有對(duì)行車有幫助的信息，包括路牌，交通信號(hào)燈及其它場景理解的信息
  4. 保證高效的運(yùn)行，能夠近實(shí)時(shí)的處理大量的sensor的數(shù)據(jù)
  5. scalability可擴(kuò)展性也很重要，deep learning 依賴大量數(shù)據(jù)，整個(gè)模型的泛化能力如何都是非常重要的。能夠讓我們的model和一些新的算法能夠去適配更多的城市和更多的國家。

4. Perception Technical Challenges

下面分享有挑戰(zhàn)性的一些場景：

第一部分：precision和recall的balance；

第二部分：長尾場景。


這是晚高峰的十字路口的繁忙場景，有大量行人摩托車穿過十字路口。


通過3D點(diǎn)云數(shù)據(jù)能夠看到的對(duì)應(yīng)的原始數(shù)據(jù)。


這是目前我們Perception的輸出，正確的segmentation結(jié)果和類別。
雨天的問題。自動(dòng)駕駛系統(tǒng)在一些特殊的或者惡劣的天氣條件下，處理是非常難的。

比如，激光雷達(dá)是能打到水花的。圖中白色的是對(duì)水花的filter。如果不能對(duì)水花進(jìn)行準(zhǔn)確的識(shí)別和過濾，會(huì)對(duì)自動(dòng)駕駛車輛造成麻煩。這里看到我們目前系統(tǒng)的處理結(jié)果，結(jié)合Lidar & Camera的數(shù)據(jù)，對(duì)水花有很高的識(shí)別率。

長尾的問題


這個(gè)是我們?cè)诼窚y時(shí)，遇到的兩種灑水車。左邊是向上噴的霧炮，右邊是向兩側(cè)噴的灑水車。人類司機(jī)可以很容易超過灑水車，但是對(duì)于感知系統(tǒng)來說，需要花很多的時(shí)間去處理和識(shí)別這類場景和車輛，最后讓自動(dòng)駕駛車輛在遇到類似場景獲得更好的體感。

小物體的檢測


意想不到的事件，路測時(shí)比如流浪的小貓小狗的突然出現(xiàn)，我們期望感知系統(tǒng)能夠?qū)π∥矬w能夠有準(zhǔn)確的召回。


對(duì)紅綠燈來說會(huì)更有挑戰(zhàn)。會(huì)一直遇到新的場景。因?yàn)樵诓煌某鞘谢驀視?huì)遇到各種各樣的紅綠燈。


逆光的問題，或者突然從橋洞下邊出來相機(jī)曝光的問題。通過動(dòng)態(tài)的去調(diào)整相機(jī)曝光等方式去解決。


這個(gè)也是紅綠燈的場景，紅綠燈上有倒計(jì)時(shí)，我們需要識(shí)別出倒計(jì)時(shí)，能夠讓自動(dòng)駕駛車輛遇到黃燈時(shí)，乘車體驗(yàn)更好。


雨天攝像頭的防水問題，也是處理極端氣候條件下所必須具備的。


紅綠燈進(jìn)進(jìn)度條的識(shí)別，綠等快變黃要減速。

圖中部分圖片來自互聯(lián)網(wǎng)，只用做交流學(xué)習(xí)，若涉及侵權(quán)，請(qǐng)聯(lián)系我們刪除。
?  
分享到：
 
反對(duì) 0 舉報(bào) 0 收藏 0 評(píng)論 0
滬ICP備11026917號(hào)-25