3月20-21日，由佐思產(chǎn)研、佐智汽車主辦，地平線、TTTech、魔視智能、海信網(wǎng)絡(luò)科技、晶眾股份、芯侖光電、PLK、中科慧眼等單位支持的2018第三屆ADAS與自動(dòng)駕駛國際論壇在上海銀星皇冠假日酒店舉辦。超過400多位嘉賓參加了本次論壇， 海信集團(tuán)技術(shù)研究所副所長王智慧博士發(fā)表了主題為《雙目立體車載相機(jī)-通往自動(dòng)駕駛的必經(jīng)之路》的演講。


王智慧：海信集團(tuán)技術(shù)研究所副所長

王智慧：我演講的題目是雙目立體車載相機(jī)，通往自動(dòng)駕駛的必經(jīng)之路。

海信集團(tuán)是一家全球性的公司，我們有12家生產(chǎn)基地，12個(gè)研發(fā)中心，產(chǎn)業(yè)遍布全球。業(yè)務(wù)板塊中，家電是我們的主流業(yè)務(wù)，包括電視、冰箱、空調(diào)，市場(chǎng)占有率和銷售業(yè)績都非常好。海信集團(tuán)的業(yè)務(wù)還向多個(gè)新興產(chǎn)業(yè)擴(kuò)展，包括光通信、智能交通、智能商用等，都有很大的市場(chǎng)份額。

青島海信網(wǎng)絡(luò)科技股份有限公司，業(yè)務(wù)覆蓋城市交通、交通運(yùn)輸、軌道交通、運(yùn)維服務(wù)、智慧建筑、公共安全、智慧城市。我們的業(yè)務(wù)還涉及到主動(dòng)安全、智能駕駛等前沿方向。

首先，我們?yōu)槭裁催x擇了雙目立體視覺？在前向智能駕駛輔助系統(tǒng)中主要有四種傳感器，包括毫米波雷達(dá)、激光雷達(dá)、單目攝像頭、雙目攝像頭。這四個(gè)傳感器各有優(yōu)劣，比如探測(cè)距離方面，毫米波雷達(dá)弊端是測(cè)距較近。譬如在高速上行駛時(shí)車速很快，毫米波雷達(dá)基本探測(cè)不到100米以外的物體，很難做到對(duì)前向障礙物的分析和實(shí)時(shí)預(yù)警。

在測(cè)距精度方面，單目攝像頭方案又稍微差一些。在抗干擾方面，毫米波雷達(dá)抵抗性非常強(qiáng)，激光雷達(dá)在極端天氣下效果不太好。對(duì)于視覺方案，單目、雙目都有弊端，在夜晚光線不太好的情況下，它的檢測(cè)識(shí)別效果就會(huì)變差。

穿透性方面，毫米波雷達(dá)有很強(qiáng)的穿透性，單目、雙目的視覺方案，基本上就和眼睛差不多。在障礙物識(shí)別方面，基于深度學(xué)習(xí)做的單目分析，需要龐大的訓(xùn)練庫來訓(xùn)練。

在成本方面，基于視覺的單目和雙目則成本比較低。而激光雷達(dá)昂貴很多。

不管是單目方案還是雙目方案，還是雷達(dá)方案，都不能從根本上解決所有問題，我們要走的路線就必須是多傳感器融合。

單目和雙目的區(qū)別在哪里？單目方案運(yùn)用圖像分析的技術(shù)，對(duì)訓(xùn)練樣本里面的障礙物逐個(gè)識(shí)別。針對(duì)識(shí)別出的結(jié)果，再依據(jù)近大遠(yuǎn)小的原理進(jìn)行距離估算。如果樣本量足夠龐大，訓(xùn)練的數(shù)據(jù)足夠多，檢測(cè)效果就很好。雙目測(cè)距不是通過這種樣本訓(xùn)練方式來檢測(cè)的，而是通過一個(gè)幾何三角測(cè)量原理進(jìn)行，雙目不是兩個(gè)簡單攝像頭的拼接，而是通過平行定位的信息進(jìn)行計(jì)算，不管前方是什么障礙物和外形輪廓，只要在視覺上看得比較清晰，這樣就可以通過三角測(cè)量原理得到它的精確距離，通過景深的分析找到障礙物進(jìn)行預(yù)警。它的優(yōu)點(diǎn)是無需海量數(shù)據(jù)進(jìn)行訓(xùn)練，也不受障礙物屬性的限制，精度非常高。通過景深信息和路面分析，可以獲得前面是否有危險(xiǎn)。

舉一個(gè)非常有代表性的例子，如果人只有一只眼睛是不允許考駕照的，因?yàn)槿说膬芍谎劬Σ粌H可以通過后天學(xué)習(xí)隊(duì)人車和各種障礙物進(jìn)行識(shí)別，還要通過雙眼對(duì)前方進(jìn)行測(cè)距，對(duì)各種各樣的情況進(jìn)行分析，得到最后的預(yù)警方案。

單張圖像分析技術(shù)我們也要用，不管是車道線檢測(cè)、固定障礙物屬性分析，都要運(yùn)用各種圖象分析技術(shù)，包括機(jī)器學(xué)習(xí)、深度學(xué)習(xí)對(duì)它進(jìn)行分類預(yù)估。

稠密視差圖和稀疏視差圖有一個(gè)明顯的區(qū)別，稠密信息可以對(duì)路上細(xì)節(jié)進(jìn)行精確的歸類分析，比如前方道路上有溝坎的情況，有可能看不到，如果用稠密視差對(duì)道路進(jìn)行分析，就可以很明顯地發(fā)現(xiàn)前方的障礙和溝坎，可以通過預(yù)警的方式提醒駕駛員，讓他降速或者其他操作規(guī)避顛簸風(fēng)險(xiǎn)。

中國地大物博，各種各樣的道路情況，各種各樣的車輛，多種多樣的不規(guī)范物體都可能出現(xiàn)在路上，我們可以通過雙目立體視覺，通過三角測(cè)量原理找到它的位置，在必要的情況下進(jìn)行預(yù)警。

雙目立體視覺安在汽車前擋風(fēng)玻璃上方，通過對(duì)前方三車道信息進(jìn)行精確提取然后判斷識(shí)別。比如寬視野狀態(tài)，通過52度的測(cè)量角可以清晰地看到前方三車道信息。測(cè)距范圍是2米到100米，這個(gè)范圍內(nèi)測(cè)距精確度非常高，能通過相對(duì)速度和距離之間的分析進(jìn)行精確預(yù)警，在提高預(yù)警精度的同時(shí)降低誤報(bào)。

在精度上，我們做到了60米時(shí)誤差在正負(fù)5%，也就是說60米的時(shí)候只有3米上下的誤差，可精確的知道前方物體體積。

由于要掛在前方擋風(fēng)玻璃，如果雙目做的體積太大，就會(huì)影響駕駛員前方的視野以及產(chǎn)品的美觀程度，我們做到了基線長12厘米。

在分辨率上，我們用了超高精度的1280×960。在數(shù)據(jù)處理上做到了30fps。

為了實(shí)現(xiàn)高精度的障礙物檢測(cè)功能，雙目立體視覺技術(shù)還有很多難點(diǎn)要攻克，總結(jié)為三點(diǎn)：第一是三維標(biāo)定和圖像校正方面，第二是高精度方面，第三是高實(shí)時(shí)的嵌入技術(shù)方面，都是雙目立體視覺技術(shù)的難點(diǎn)。用攝像頭獲取的圖像存在畸變，需要進(jìn)行圖像校正。要保證兩個(gè)攝像頭平行等位，對(duì)于安裝精度要求非常高，我們通過自主研發(fā)的技術(shù)做到了在外方向上達(dá)到0.5個(gè)像素的誤差。

為什么能夠做到60米的時(shí)候誤差非常小，主要原因是采用了高精度的亞像素匹配算法。雙目立體視覺，在越遠(yuǎn)的時(shí)候視差越小，如果亞像素做的不好，有可能直接從50米跳到80米，這樣會(huì)使得測(cè)距非常差。我們通過自己的技術(shù)手段彌補(bǔ)了這一弊端，使它達(dá)到高測(cè)距精度。

高實(shí)時(shí)的嵌入式技術(shù)方面，我們以30FPS的速度處理、立體匹配，然后利用景深圖像，分析障礙物的距離和尺寸等信息，先測(cè)距再識(shí)別。

白天的光照條件下，我們對(duì)三車道車輛進(jìn)行了精確分析，同時(shí)對(duì)車道線分析，這樣就能做到兩個(gè)功能：第一是前向障礙物分析預(yù)警；第二是車道偏離預(yù)警。

我們的產(chǎn)品會(huì)在2018年和大家見面，期待有機(jī)會(huì)跟大家一塊交流、合作。非常感謝大家！

主持人：謝謝王博士，整個(gè)演講我就濃縮成一句話，考駕照時(shí)一個(gè)眼睛是不行的，必須兩只眼睛。我問你一個(gè)問題，未來汽車會(huì)不會(huì)用三只眼？

王智慧：我們將來會(huì)有多傳感器的融合。在前向，我們采用雙目立體視覺，高精度，52度。這對(duì)于真正的自動(dòng)駕駛還不夠，信息量不夠多。我們可能會(huì)采用一個(gè)雙目來進(jìn)行測(cè)距，也有可能再加一個(gè)更大視角的單目，這樣既能感知到正前方小視角的信息，也能感知車輛前面大視角的信息，這樣就可能出現(xiàn)您說的第三只眼。