作者 | 不愛吃香菜的攻城獅

小編 | 不吃豬頭肉

01  簡介

在自動駕駛發(fā)展如火如荼的今天，L4和L5級 的自動駕駛功能依舊處于算法開發(fā)和驗(yàn)證的階段，就無可避免的需要極其龐大的路試數(shù)據(jù)用以支撐算法的開發(fā)和訓(xùn)練，為此，北匯信息為客戶提供整套的數(shù)采平臺解決方案。值得一提的是，在數(shù)采平臺搭建后，到數(shù)據(jù)的消費(fèi)端之前，必須要完成數(shù)采平臺中傳感器的標(biāo)定，才能夠使得數(shù)據(jù)用于感知算法的開發(fā)、數(shù)據(jù)回灌等，所以本文給大家介紹的也是在數(shù)采平臺搭建之后的傳感器標(biāo)定的相關(guān)內(nèi)容。由于多傳感器的融合能夠顯著的提高智駕系統(tǒng)的容錯性以及冗余度，保證了規(guī)控決策的快速性和準(zhǔn)確性，已成為自動駕駛的主流趨勢。如今的自動駕駛車輛上的傳感器都包括如下：

激光雷達(dá)：測距精度、范圍及對溫度和光照的適應(yīng)性都很強(qiáng)，但是相對較昂貴；

攝像頭：相機(jī)對環(huán)境的細(xì)節(jié)信息的提取能力強(qiáng)，但是光照適應(yīng)性弱；

毫米波雷達(dá)：探測角度大，抗干擾也強(qiáng)，但是分辨率和精度不足；

超聲波雷達(dá)：成本低廉，但是精度較差；

GPS+IMU: GPS更新頻率低，但每次更新不存在誤差累積，IMU更新頻率高，但更新過程存在誤差累積，所以聯(lián)合互補(bǔ)使用。

針對這幾種傳感器，通常都需要完成它們之間的聯(lián)合標(biāo)定，如lidar2cam、lidar2imu、radar2lidar、lidar2lidar、radar2cam等等，才能夠滿足算法開發(fā)的使用要求。

02  傳感器標(biāo)定的原因

傳感器標(biāo)定是自動駕駛感知系統(tǒng)中的重要環(huán)節(jié)，是后續(xù)傳感器融合的必要步驟和先決條件，其目的是將兩個或者多個傳感器變換到統(tǒng)一的時空坐標(biāo)系，使得傳感器融合具有意義，是感知決策的關(guān)鍵前提。

原因一：由于傳感器的種類以及數(shù)量眾多以及位置不同，每一個傳感器都有自身的坐標(biāo)系。比如，毫米波雷達(dá)通常會以天線面板中心為坐標(biāo)原點(diǎn)，垂直坐標(biāo)原點(diǎn)為X軸建立空間直角坐標(biāo)系，而攝像頭同時也存在一個不同于雷達(dá)的坐標(biāo)系，如下圖。

通常情況下，我們是在以車輛為坐標(biāo)原點(diǎn)的空間直角坐標(biāo)系下開發(fā)諸如ACC、AEB等智駕功能的，此時就需要將傳感器的目標(biāo)映射到車輛坐標(biāo)系下，才能夠基于數(shù)據(jù)進(jìn)行感知融合規(guī)控算法的開發(fā)；

原因二：由于安裝誤差的存在，以及車輛在使用過程中的振動等，可能會導(dǎo)致傳感器的預(yù)定安裝角度和位置發(fā)生偏移，此時就需要通過標(biāo)定來確定傳感器的實(shí)際位姿和坐標(biāo)轉(zhuǎn)換關(guān)系，例如改制車輛在使用一段時間后可能需要重新進(jìn)行標(biāo)定以及汽車的售后標(biāo)定等。

03  傳感器的標(biāo)定過程

標(biāo)定工作通常分為外參標(biāo)定和內(nèi)參標(biāo)定，內(nèi)參是決定傳感器內(nèi)部的映射關(guān)系，如攝像頭的內(nèi)參包括焦距、畸變系數(shù)等，而外參則是傳感器和外部坐標(biāo)系的轉(zhuǎn)換關(guān)系，即位姿參數(shù)。

1.傳感器的內(nèi)參標(biāo)定

一般來說，高階智駕的傳感器的內(nèi)參通常是由各個供應(yīng)商廠家標(biāo)定完成后給到用戶的，如攝像頭的焦距和畸變系數(shù)等；但是有時也會遇到出廠后需要標(biāo)定的場景，也可以自己完成內(nèi)參的標(biāo)定。比如激光雷達(dá)可以通過供應(yīng)商提供的軟件完成內(nèi)參的重新標(biāo)定（下圖為固態(tài)激光雷達(dá)通道拼接斷層示例）。

另外，通過標(biāo)定板也可以完成攝像頭的內(nèi)參標(biāo)定，標(biāo)定的方法如下圖：

第一步，準(zhǔn)備一個標(biāo)定板，可以是圓點(diǎn)標(biāo)定板，也可以是棋盤格標(biāo)定板；

第二步，在不同的位置和角度下拍攝多張包含標(biāo)定盤的圖片，需要注意的是，標(biāo)定的圖片要做到盡可能覆蓋相機(jī)的視場，并且確保在不同的位置和角度下都能看到完整的標(biāo)定板。

第三步，提取標(biāo)定板的特征點(diǎn)，并且使用圖像處理算法或者視覺庫從圖片中提取標(biāo)定板的特征點(diǎn)。

第四步，將不同的圖像中的特征點(diǎn)進(jìn)行匹配，確定其在三維標(biāo)定系中的對應(yīng)關(guān)系。

第五步，利用已知的標(biāo)定板的三維世界坐標(biāo)和其在圖像中的對應(yīng)二維像素坐標(biāo)，通過相機(jī)模型的數(shù)學(xué)計算，估計相機(jī)的內(nèi)參參數(shù)，包括焦距、畸變等。

第六步，通過最小化標(biāo)定板特征點(diǎn)的重投影誤差，來優(yōu)化估計得到的內(nèi)參參數(shù)。

2.傳感器的外參標(biāo)定

值得一提的是，標(biāo)定方法通常還分為targetless和target兩種，第一種一般可以在任意環(huán)境中進(jìn)行標(biāo)定，約束條件少，不需要用專門的target；第二種則需要專門的控制場，在特定的標(biāo)定環(huán)境下進(jìn)行，比如典型的棋盤格平面板標(biāo)定間。本文基于targetless以及離線標(biāo)定的方式來對外參標(biāo)定進(jìn)行舉例。

lidar2cam的標(biāo)定：

第一步，在任意的環(huán)境中錄制lidar數(shù)據(jù)和拍攝相機(jī)圖片，通常最好選擇有較明顯的垂直相交特征（如垂直于地面的電線桿）以及平整地面的環(huán)境會使得標(biāo)定過程更加簡單和結(jié)果更加準(zhǔn)確。

第二步，導(dǎo)入標(biāo)定源數(shù)據(jù)后，對lidar特征點(diǎn)云進(jìn)行提取。

第三步，通過可視化界面，手動調(diào)整lidar點(diǎn)云的位姿，使得其和相機(jī)的特征相匹配，自動標(biāo)定則是自動提取特征點(diǎn)云之后進(jìn)行匹配，沒有手動過程。

第四步，點(diǎn)云匹配之后即可得到坐標(biāo)轉(zhuǎn)換關(guān)系，也即位姿矩陣[R,t]，常見的是.yaml或者.txt的文件格式，打開的內(nèi)容如下圖所示。

lidar2lidar的外參標(biāo)定：

也是先錄制離線數(shù)據(jù)包，環(huán)境里面最好包含有垂直相交點(diǎn)云特征的物體，對點(diǎn)云數(shù)據(jù)進(jìn)行提取，通過手動標(biāo)定板調(diào)整點(diǎn)云姿態(tài)，匹配之后輸出位姿矩陣[R,t]。如下圖所示，左邊是沒有標(biāo)定之前的點(diǎn)云， 右邊是標(biāo)定完成之后的點(diǎn)云：

除了lidar2cam和lidar2lidar之外， 其他的外參標(biāo)定如lidar2radar、radar2cam等標(biāo)定原理基本上是相似的，所以標(biāo)定的步驟基本也是類似的，這里就不一一敘述了。有了眾多傳感器的坐標(biāo)轉(zhuǎn)換關(guān)系，就可以完成坐標(biāo)系的統(tǒng)一，比如統(tǒng)一到車輛后軸中心，從而進(jìn)行智駕功能的開發(fā)了。

04  傳感器精度驗(yàn)證

標(biāo)定完成之后如何進(jìn)行精度的驗(yàn)證呢？有如下方法可以使用：

直接測量：通過傳感器之間的位移，通過測量值來判斷標(biāo)定的位移量和測量之間差別是否過大；

下游評估：通常下游在使用標(biāo)定參數(shù)時能夠通過其自己的算法判斷標(biāo)定是否準(zhǔn)確，如通過測距是否準(zhǔn)確來判斷相機(jī)內(nèi)外參是否標(biāo)定準(zhǔn)確；通過融合確定不同傳感器感知融合的誤差是否過大來判斷外參標(biāo)定是否準(zhǔn)確；通過規(guī)控判斷車輛行駛是否正常，標(biāo)定參數(shù)不對導(dǎo)致的規(guī)控異常。

設(shè)計標(biāo)準(zhǔn)：有些主機(jī)廠會通過設(shè)計標(biāo)定的預(yù)期效果來設(shè)計定量評估標(biāo)準(zhǔn)。比如相機(jī)畸變標(biāo)定之后的 “直線特征”。又或者舉個例子，可以規(guī)定在所有的攝像頭內(nèi)參標(biāo)定重投影誤差（pixel）<=1從而來定量進(jìn)行判斷。比如下面兩張圖張圖展示了兩個攝像頭的標(biāo)定結(jié)果報告的部分內(nèi)容，如重投影誤差以及誤差的標(biāo)準(zhǔn)差變化范圍（如[-0.000910, -0.001823]，表示在水平和垂直方向上的誤差，而后面的標(biāo)準(zhǔn)差部分 [1.044060, 0.498987] 表示這個誤差的不確定性，即誤差的變化范圍。）。

可視化判斷：許多時候都是通過可視化直接查看標(biāo)定精度是否達(dá)到預(yù)期。如雷達(dá)和相機(jī)的標(biāo)定可以查看圖像和點(diǎn)云是否對齊來進(jìn)行判斷；雷達(dá)和雷達(dá)的標(biāo)定可以通過看雷達(dá)和雷達(dá)之間的配準(zhǔn)來進(jìn)行判斷；相機(jī)和相機(jī)的標(biāo)定可以通過看環(huán)視拼接效果進(jìn)行判斷。

05  總結(jié)

本文給大家介紹了ADAS傳感器標(biāo)定的原因，描述了標(biāo)定的類型以及舉例介紹了相關(guān)的標(biāo)定原理或者說標(biāo)定過程，最后在簡要介紹了標(biāo)定精度的驗(yàn)證。