2022年5月30日上傳arXiv的論文“OpenCalib: A Multi-sensor Calibration Toolbox for Autonomous Driving“，作者來自商湯科技和上海AI實(shí)驗(yàn)室。

準(zhǔn)確的傳感器標(biāo)定是實(shí)現(xiàn)智能車輛多傳感器感知和定位系統(tǒng)的先決條件。傳感器的內(nèi)參標(biāo)定是獲取傳感器內(nèi)部的映射關(guān)系，外參標(biāo)定是將兩個(gè)或多個(gè)傳感器轉(zhuǎn)換為一個(gè)統(tǒng)一的空間坐標(biāo)系。大多數(shù)傳感器在安裝后需要進(jìn)行標(biāo)定，以確保傳感器測(cè)量的準(zhǔn)確性。

為此，OpenCalib，一個(gè)calibration toolbox，其中包含一組豐富的各種傳感器標(biāo)定方法。OpenCalib涵蓋手動(dòng)標(biāo)定工具、自動(dòng)標(biāo)定工具、工廠標(biāo)定工具以及針對(duì)不同應(yīng)用場(chǎng)景的在線標(biāo)定工具。同時(shí)，為了評(píng)估標(biāo)定精度，進(jìn)而提高提高算法精度，發(fā)布了相應(yīng)的基準(zhǔn)數(shù)據(jù)集。

本文介紹該toolbox的各種特點(diǎn)和標(biāo)定方法。估計(jì)這是第一個(gè)開源的自動(dòng)駕駛標(biāo)定代碼庫(kù)，其中包含相關(guān)的全套標(biāo)定方法。GitHub上公開代碼：https://github.com/PJLab-ADG/SensorsCalibration。

自動(dòng)駕駛作為一個(gè)復(fù)雜的系統(tǒng)，它需要許多模塊協(xié)同工作。由于不同傳感器各有優(yōu)缺點(diǎn)，融合多個(gè)異構(gòu)傳感器成為實(shí)現(xiàn)魯棒、準(zhǔn)確感知和定位能力的關(guān)鍵。IMU（慣性測(cè)量單元）、GNSS（全球?qū)Ш叫l(wèi)星系統(tǒng)）、激光雷達(dá)（光檢測(cè)和測(cè)距）、攝像頭、毫米波雷達(dá)和輪速計(jì)是自動(dòng)駕駛系統(tǒng)最常用的傳感器。

IMU是一種慣導(dǎo)傳感器，可以在短時(shí)間內(nèi)提供高置信度的相對(duì)位移和航向角變化。眾所周知，GNSS可以為車輛提供米級(jí)精度的絕對(duì)定位。然而，GNSS信號(hào)的質(zhì)量不能始終得到保證。因此，在自動(dòng)駕駛領(lǐng)域，GNSS的輸出通常與IMU和汽車傳感器（如輪速計(jì)、方向盤角傳感器等）融合。

攝像頭具有提取環(huán)境詳細(xì)信息的強(qiáng)大能力。除了顏色，還可以提供紋理和對(duì)比度數(shù)據(jù)，可靠地識(shí)別道路標(biāo)記或交通標(biāo)志，準(zhǔn)確檢測(cè)和識(shí)別靜止和移動(dòng)目標(biāo)。因此，無論使用哪種傳感器方案，通常都會(huì)使用攝像頭。依靠功能強(qiáng)大的處理器、算法和神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像處理的技術(shù)相對(duì)成熟。盡管有這么多優(yōu)勢(shì)，但攝像頭無法在自動(dòng)駕駛感知系統(tǒng)中“做老大”。

不僅是照明環(huán)境限制，即在惡劣的環(huán)境條件下，如大雪、大霧和黑暗中，攝像頭的可靠性受到限制；而且獲得的數(shù)據(jù)或圖像是2D，沒有直接的深度信息。圖像算法獲得的信息深度不夠準(zhǔn)確。

激光雷達(dá)具有精度高、測(cè)距遠(yuǎn)（相比深度傳感器）、實(shí)時(shí)性好、信息收集豐富等突出優(yōu)點(diǎn)。同時(shí)，具有較好的環(huán)境適應(yīng)性，不受光照的影響。然而，激光雷達(dá)的成本相對(duì)較高，而且通常很昂貴。另一方面，缺乏顏色信息，并且對(duì)于可能產(chǎn)生反射或透明度的目標(biāo)無法準(zhǔn)確檢測(cè)。采集的數(shù)據(jù)需要極高的算力，掃描速度相對(duì)較慢。

毫米波雷達(dá)也是一類技術(shù)相對(duì)成熟的環(huán)境傳感器。由于其已經(jīng)大規(guī)模生產(chǎn)，相對(duì)便宜，對(duì)周圍車輛的檢測(cè)精度高，并且對(duì)某些材料敏感。同時(shí)，它反應(yīng)迅速，操作方便，能適應(yīng)惡劣天氣。然而，雷達(dá)的分辨率相對(duì)較低。它不能判斷被識(shí)別目標(biāo)的大小（特別是高度），也不能很好感知行人。毫米波雷達(dá)無法精確做到對(duì)所有周圍的障礙物建模。

由于單個(gè)傳感器的優(yōu)缺點(diǎn)，多傳感器融合系統(tǒng)的目的是提高信息冗余度和信息互補(bǔ)性，從而充分保證自主駕駛的安全性。

一輛車會(huì)安裝多個(gè)傳感器，需要通過傳感器標(biāo)定來確定相互之間的坐標(biāo)關(guān)系。因此，傳感器標(biāo)定是自動(dòng)駕駛的基本要求。傳感器標(biāo)定可分為兩部分：內(nèi)參標(biāo)定和外參標(biāo)定。內(nèi)參決定傳感器的內(nèi)部映射關(guān)系。例如，攝像頭標(biāo)定內(nèi)參是焦距和鏡頭畸變；利用陀螺儀（gyroscope）和加速度計(jì)（accelerometer）的零偏、尺度因子和安裝誤差對(duì)IMU內(nèi)參進(jìn)行標(biāo)定；激光雷達(dá)內(nèi)參是內(nèi)部激光發(fā)射器坐標(biāo)與激光雷達(dá)坐標(biāo)裝置之間的轉(zhuǎn)換關(guān)系。外參確定傳感器與外部坐標(biāo)系之間的轉(zhuǎn)換關(guān)系，包括用于旋轉(zhuǎn)和平移的6自由度參數(shù)。

在自動(dòng)駕駛的研究和開發(fā)中，傳感器之間外參標(biāo)定是常見的。因?yàn)楂@得的數(shù)據(jù)類型不同，不同傳感器之間標(biāo)定的最大問題是如何測(cè)量最佳值。傳感器對(duì)的不同，標(biāo)定誤差最小化的目標(biāo)函數(shù)也會(huì)不同。外參標(biāo)定方法通?？煞譃闊o目標(biāo)（targetless）標(biāo)定和基于目標(biāo)（target-based）標(biāo)定。前者是在自然環(huán)境中進(jìn)行的，幾乎沒有限制，不需要特殊目標(biāo)；后者需要一個(gè)特殊的控制場(chǎng)，并有一個(gè)真實(shí)值（GT）目標(biāo)。

目前，有一些與傳感器標(biāo)定相關(guān)的開源項(xiàng)目，如Kalibr、Autoware等，還有更多特定標(biāo)定類型的開源項(xiàng)目，如激光雷達(dá)之間和激光雷達(dá)-IMU的標(biāo)定。OpenCV還提供了一些標(biāo)定工具。然而，目前還沒有針對(duì)自動(dòng)駕駛不同應(yīng)用場(chǎng)景的完整calibration toolbox。

基于目標(biāo)的標(biāo)定方法廣泛應(yīng)用于傳感器標(biāo)定過程中?；谀繕?biāo)的方法通常需要手動(dòng)標(biāo)定目標(biāo)，如棋盤、多邊形棋盤，這兩種模式傳感器都可以輕松檢測(cè)。此外，基于目標(biāo)的方法可以使用有關(guān)目標(biāo)的先驗(yàn)知識(shí)，增強(qiáng)標(biāo)定結(jié)果。目標(biāo)方法比無目標(biāo)方法更精確。

傳感器的內(nèi)參標(biāo)定通常采用目標(biāo)法。常用的攝像頭內(nèi)參標(biāo)定方法是Zhang的棋盤法。除了棋盤格圖案外，還有一個(gè)常見的圓網(wǎng)格，用于標(biāo)定攝像頭內(nèi)參。一些激光雷達(dá)內(nèi)參標(biāo)定方法是通過框或面墻執(zhí)行的。多個(gè)傳感器之間的外參標(biāo)定必定常通過基于目標(biāo)的方法進(jìn)行，如工廠標(biāo)定、標(biāo)定屋。

在某些情況下，基于目標(biāo)的標(biāo)定方法是不切實(shí)際的，這導(dǎo)致了無目標(biāo)標(biāo)定方法的發(fā)展。無目標(biāo)方法比基于目標(biāo)方法更方便，因?yàn)椴恍枰O(shè)定特定目標(biāo)。這些方法使用環(huán)境特征來完成傳感器數(shù)據(jù)的對(duì)應(yīng)。根據(jù)信息提取方法的不同，多傳感器在線標(biāo)定的研究方向可分為三種方法：邊緣配準(zhǔn)法、互信息法（mutual information）和分割法。一些方法利用道路特征對(duì)多個(gè)傳感器進(jìn)行自動(dòng)標(biāo)定。

基于運(yùn)動(dòng)的標(biāo)定方法將傳感器外參標(biāo)定視為手眼校定（hand-eye calibration）問題。該方法不需要傳感器之間的視場(chǎng)重疊，通常對(duì)初始值具有較好的魯棒性，但精度較低。只要傳感器有里程計(jì)信息，這個(gè)問題就可以轉(zhuǎn)化為求解齊次線性方程組問題。

這個(gè)問題有不同形式的解決方案，如四元數(shù)形式、對(duì)偶四元數(shù)（dual quaternion）形式以及螺旋（helical）運(yùn)動(dòng)和螺旋軸（helical axis）形式。不同形式解對(duì)應(yīng)相同的方法，但與只能獲得旋轉(zhuǎn)標(biāo)定的其他形式解相比，對(duì)偶四元數(shù)形式可以額外獲得平移標(biāo)定。然而，這些方法沒有充分考慮測(cè)量的不確定性，導(dǎo)致標(biāo)定精度容易受到傳感器噪聲的影響。

時(shí)域標(biāo)定也是基于運(yùn)動(dòng)標(biāo)定方法的一個(gè)重要組成部分。一般來說，時(shí)域標(biāo)定有三種方法，包括硬件同步、雙向通信軟件同步和單向通信軟件同步。第三種方法，通過兩種方式完成，即使用每個(gè)傳感器的里程計(jì)數(shù)據(jù)，通過優(yōu)化的解決方案獲得時(shí)域標(biāo)定，或通過數(shù)據(jù)關(guān)聯(lián)獲得標(biāo)定結(jié)果。

近年來，深度學(xué)習(xí)在處理2D和3D計(jì)算機(jī)視覺任務(wù)（如定位、目標(biāo)檢測(cè)和分割）方面顯示出了高效性。一些工作將深度學(xué)習(xí)應(yīng)用于傳感器標(biāo)定任務(wù)，特別是適應(yīng)攝像頭-激光雷達(dá)的標(biāo)定問題。第一個(gè)用于激光雷達(dá)-攝像頭標(biāo)定的深卷積神經(jīng)網(wǎng)絡(luò)叫RegNet，基于一個(gè)監(jiān)督網(wǎng)絡(luò)回歸標(biāo)定參數(shù)，該網(wǎng)絡(luò)直接推斷外參。

為進(jìn)一步考慮空域信息并消除內(nèi)參的影響，一種幾何監(jiān)督網(wǎng)絡(luò)Calibnet，通過減少密集光度誤差和密集點(diǎn)云距離誤差來進(jìn)行激光雷達(dá)-攝像頭標(biāo)定。RGGNet則考慮黎曼（Riemannian）幾何，并利用深度生成模型學(xué)習(xí)用于激光雷達(dá)-攝像頭標(biāo)定的隱式容差（tolerance）模型。

相比之下，針對(duì)內(nèi)參標(biāo)定問題，基于學(xué)習(xí)的方法要少得多。DeepCalib提出一種基于CNN的方法，利用自動(dòng)生成的大規(guī)模內(nèi)參數(shù)據(jù)集對(duì)寬視野攝像機(jī)進(jìn)行內(nèi)參標(biāo)定。由于攝像機(jī)內(nèi)參標(biāo)定問題和高精度需求之間缺乏直觀的空間關(guān)系，基于學(xué)習(xí)的方法顯示出較少的優(yōu)勢(shì)。

除了用于傳感器標(biāo)定的端到端深度學(xué)習(xí)網(wǎng)絡(luò)外，相關(guān)視覺任務(wù)的一些工作可以調(diào)整為標(biāo)定過程的關(guān)鍵部分，例如消失點(diǎn)檢測(cè)、車輛航向預(yù)測(cè)和相機(jī)姿態(tài)估計(jì)。雖然基于學(xué)習(xí)的方法利用深度學(xué)習(xí)的優(yōu)勢(shì)，在模型訓(xùn)練后無需人機(jī)交互即可更有效地進(jìn)行空間特征提取和匹配，但這些方法僅限于某些傳感器的標(biāo)定，尤其是攝像頭和激光雷達(dá)。

與非學(xué)習(xí)方法相比，大多數(shù)基于學(xué)習(xí)的方法穩(wěn)定性較差，精度較低，而精度在標(biāo)定任務(wù)中至關(guān)重要。因此，一般來說，深度網(wǎng)絡(luò)通常不用于多傳感器標(biāo)定問題。

• 手工無目標(biāo)標(biāo)定工具

手動(dòng)標(biāo)定是自動(dòng)駕駛車輛最簡(jiǎn)單的標(biāo)定方法。雖然與其他方法相比，其原理和實(shí)現(xiàn)過程相當(dāng)簡(jiǎn)單，但如果在這些方法上花費(fèi)足夠的時(shí)間，則可以獲得高精度和可靠性的標(biāo)定結(jié)果。早期的手動(dòng)標(biāo)定方法依賴于棋盤格或普通邊框等目標(biāo)，校準(zhǔn)過程通常在定制的標(biāo)定屋中進(jìn)行。然而，這種復(fù)雜的設(shè)置對(duì)于小型自動(dòng)駕駛公司和個(gè)體來說成本顯得高昂。

這個(gè)標(biāo)定toolbox在無目標(biāo)和任意道路場(chǎng)景中的自動(dòng)駕駛車輛提供了四種手動(dòng)標(biāo)定工具。顯然，具有強(qiáng)烈且公認(rèn)特征（如樹木和交通標(biāo)志）的道路場(chǎng)景將產(chǎn)生更好的標(biāo)定結(jié)果。外參可以在用戶友好的控制面板中進(jìn)行調(diào)整，或者可以將鍵盤作為控制輸入來實(shí)現(xiàn)標(biāo)定。

1）激光雷達(dá)-攝像頭標(biāo)定

標(biāo)定良好的場(chǎng)景示例如圖所示（附外參、內(nèi)參調(diào)整的鍵盤控制鍵表1-2）：左邊是外參控制板，手動(dòng)完成攝像頭-激光雷達(dá)標(biāo)定

值得一提的是，IntensityColor按鈕可以將顯示模式更改為ntensity map顯示模式，OverlappFilter按鈕用于消除0.4m深度內(nèi)的重疊激光雷達(dá)點(diǎn)。

2）激光雷達(dá)-激光雷達(dá)標(biāo)定

3）雷達(dá)-激光雷達(dá)標(biāo)定

4）雷達(dá)-攝像頭標(biāo)定

雷達(dá)是一種2D設(shè)備，在安裝過程中盡量使其與地面平行。對(duì)于攝像頭，需要找到與地面對(duì)應(yīng)的單應(yīng)矩陣。然后，在圖像和鳥瞰圖對(duì)其可視化，當(dāng)對(duì)齊顯示在兩幅圖像上時(shí)，認(rèn)為校準(zhǔn)完成。上圖顯示如何計(jì)算攝像頭到地面的單應(yīng)矩陣，在左車道和右車道各選擇兩個(gè)點(diǎn)。下圖顯示了雷達(dá)在圖像和鳥瞰圖中的投影結(jié)果。鳥瞰圖中的平行線，表示車道線的方向。

• 基于目標(biāo)的自動(dòng)標(biāo)定

1）攝像頭標(biāo)定

Zhang的方法放置不同姿勢(shì)的校準(zhǔn)板提取棋盤格的角點(diǎn)，并計(jì)算攝像頭的內(nèi)參和畸變參數(shù)。針孔模型通常用于標(biāo)定攝像頭的內(nèi)參，但只是攝像頭投影過程的簡(jiǎn)化模型。實(shí)際的攝像頭鏡頭組更為復(fù)雜，沒有絕對(duì)的光學(xué)中心。由于攝像機(jī)內(nèi)部結(jié)構(gòu)復(fù)雜，缺乏一種有效的攝像頭內(nèi)參標(biāo)定的定量評(píng)價(jià)方法。

由于每個(gè)攝像頭鏡頭的畸變程度不同，因此可以通過攝像頭標(biāo)定來校正鏡頭畸變，以生成校正的圖像。校正的圖像對(duì)于后續(xù)感知或與其他傳感器的聯(lián)合標(biāo)定至關(guān)重要。因此，有必要開發(fā)一種失真的定量評(píng)估方法，以確保失真標(biāo)定的準(zhǔn)確性。提供一個(gè)定量評(píng)估攝像頭失真的程序（參考論文“High-precision camera distortion measurements with a “calibration harp“），易于實(shí)現(xiàn)，自動(dòng)化，用于執(zhí)行攝像頭畸變?cè)u(píng)估。

失真評(píng)估的目標(biāo)由釣魚線和半透明紙組成。畸變參數(shù)評(píng)估流程圖如圖所示：首先，攝像頭用于捕獲目標(biāo)的圖像，目標(biāo)填充整個(gè)圖像。接著基于攝像頭標(biāo)定參數(shù)對(duì)該圖像進(jìn)行去失真，以獲得校正的圖像。然后，直線段檢測(cè)算法使用Canny描述符在校正的圖像中提取直線段。由于用NMS的原因，線段是不連續(xù)的，線性插值用于獲得連續(xù)直線。高斯采樣后，得到多個(gè)線性采樣點(diǎn)。最后，用LS法得到擬合直線。

根據(jù)如下公式，得到采樣點(diǎn)到擬合直線的均方根距離和最大誤差距離，即評(píng)價(jià)畸變參數(shù)質(zhì)量的度量指標(biāo)?；貧w線可以表示為α?x+β?y?γ = 0，這里假設(shè)給定L條直線。

2）激光雷達(dá)-攝像頭標(biāo)定

基于目標(biāo)的激光雷達(dá)和攝像頭標(biāo)定方法依賴于觀測(cè)放置在傳感器系統(tǒng)前面的人工標(biāo)定目標(biāo)，同時(shí)由兩個(gè)傳感器獲取特征點(diǎn)的位置。對(duì)于激光雷達(dá)和攝像頭的標(biāo)定，現(xiàn)有的方法一般是先標(biāo)定攝像頭的內(nèi)參，然后標(biāo)定激光雷達(dá)和攝像頭的外參。

如果在第一階段沒有正確校準(zhǔn)攝像頭的內(nèi)參，則很難精確校準(zhǔn)激光雷達(dá)-攝像頭的外參。為了解決現(xiàn)有方法中攝像機(jī)內(nèi)參標(biāo)定不準(zhǔn)確對(duì)激光雷達(dá)到攝像機(jī)外稟參數(shù)的影響，提出一種聯(lián)合標(biāo)定方法，細(xì)節(jié)見論文“Joint camera intrinsic and lidar-camera extrinsic calibration”，arXiv 2202.13708，F(xiàn)eb，2022，開源代碼位于https://github.com/OpenCalib/JointCalib.

設(shè)計(jì)了一種新的標(biāo)定板圖案，如圖所示：其中包含一個(gè)用于標(biāo)定內(nèi)參的棋盤和幾個(gè)用于定位激光雷達(dá)點(diǎn)云的圓孔。

首先用Zhang的方法校準(zhǔn)攝像頭初始內(nèi)參和攝像頭初始外參；然后，根據(jù)這些參數(shù)和標(biāo)定板尺寸計(jì)算圖像的2D圓中心點(diǎn)。通過提取圓心在激光雷達(dá)的位置，利用激光雷達(dá)-攝像頭的標(biāo)定參數(shù)將圓心3D點(diǎn)投影到圖像平面上。計(jì)算的2D點(diǎn)和投影的2D點(diǎn)形成多個(gè)2D點(diǎn)對(duì)。用這些點(diǎn)對(duì)之間的歐氏距離來細(xì)化標(biāo)定參數(shù)。同時(shí)，在優(yōu)化過程中加入棋盤角點(diǎn)的3D-2D點(diǎn)重投影約束條件。

其目標(biāo)函數(shù)定義如下：

• 無目標(biāo)的自動(dòng)標(biāo)定

1）IMU 航向標(biāo)定

IMU航向標(biāo)定旨在糾正IMU與車輛之間的前向安裝誤差。因此，我們僅標(biāo)定IMU的偏航角補(bǔ)償以對(duì)齊方向，表示為γoffset。從每個(gè)時(shí)間戳的行駛路線導(dǎo)出車輛的方向，即γgd。估計(jì)的駕駛方向和測(cè)量的IMU偏航角γIMU之間的偏移量就是標(biāo)定結(jié)果。

基于傳感器定位數(shù)據(jù)，采用b-spline方法對(duì)駕駛路線進(jìn)行平滑處理。此外，并非使用一次行駛行程的所有數(shù)據(jù)，僅選擇直線行駛路線進(jìn)行以下標(biāo)定。刪除快速改變駕駛方向（如U形轉(zhuǎn)彎）的數(shù)據(jù)，可以獲得實(shí)時(shí)真實(shí)偏航角的精確近似值。

標(biāo)定公式即

建議如圖所示錄取直線駕駛數(shù)據(jù)做標(biāo)定：

2）激光雷達(dá)-攝像頭標(biāo)定

激光雷達(dá)和攝像頭的精確標(biāo)定是自動(dòng)駕駛中最常見的標(biāo)定之一。基于單目視覺的感知系統(tǒng)以較低的成本獲得令人滿意的性能，但不能提供可靠的3D幾何信息。攝像頭-激光雷達(dá)融合感知是為了提高性能和可靠性。攝像頭與激光雷達(dá)融合的前提和假設(shè)是攝像頭與激光雷達(dá)之間的精確標(biāo)定，包括攝像頭內(nèi)參和攝像頭與激光雷達(dá)的外參。

激光雷達(dá)和攝像頭精確標(biāo)定后，由于車輛的長(zhǎng)期運(yùn)動(dòng)以及溫度等其他因素的影響，標(biāo)定參數(shù)將逐漸變得不準(zhǔn)確。由于感知融合算法對(duì)標(biāo)定參數(shù)的準(zhǔn)確性非常敏感，會(huì)嚴(yán)重降低感知融合算法的性能和可靠性。在這一點(diǎn)上，通過標(biāo)定室或手動(dòng)進(jìn)行重新標(biāo)定既麻煩又不切實(shí)際，因此開發(fā)一種工具來自動(dòng)標(biāo)定道路場(chǎng)景中的激光雷達(dá)和攝像頭，這種方法的具體細(xì)節(jié)見論文“CRLF: Automatic Calibration and Refinement based on Line Feature for LiDAR and Camera in Road Scenes”，arXiv 2103.04558，Mar，2021。

文章提出一種在常見道路場(chǎng)景中對(duì)激光雷達(dá)和攝像頭進(jìn)行外參標(biāo)定的方法。該方法完全自動(dòng)化，效率和準(zhǔn)確度也相對(duì)較高。首先，利用激光雷達(dá)和攝像機(jī)采集一組道路場(chǎng)景數(shù)據(jù)，然后分別從圖像和點(diǎn)云中提取車道線和路標(biāo)等線性特征。如圖所示：通過BiSeNet-V2從圖像中提取車道線和道路標(biāo)桿，這些同時(shí)通過灰度圖和幾何方法從點(diǎn)云中提取。

隨后，設(shè)計(jì)一個(gè)成本函數(shù)來優(yōu)化初始標(biāo)定外參，并確保誤差在可接受的范圍內(nèi)。可以直接從類別標(biāo)簽“pole”和“road lane”獲取來自桿子Qpole和道路車道線 Qlane的像素。結(jié)合分割結(jié)果，可以得到在像素坐標(biāo)上兩個(gè)二值掩碼Mline，定義如下：

從圖像和點(diǎn)云中提取線特征后，給出幾個(gè)成本函數(shù)，在給定外部參數(shù)（r，t）的情況下，衡量圖像和點(diǎn)云的相關(guān)性。對(duì)掩模Mline應(yīng)用距離逆變換（IDT，inverse distance transformation），避免在后續(xù)優(yōu)化過程中重復(fù)的局部極大值。生成的高度圖Hline如下：

投影成本函數(shù)如下：

該成本函數(shù)越大，兩個(gè)數(shù)據(jù)域的語義特征匹配越好。如圖示出掩模和圖像的標(biāo)定投影結(jié)果：

3）激光雷達(dá)- IMU標(biāo)定

激光雷達(dá)和IMU的標(biāo)定也是自動(dòng)駕駛常用的標(biāo)定方法之一，其標(biāo)定精度對(duì)激光雷達(dá)測(cè)繪和定位模塊有很大影響。通常，激光雷達(dá)的外參標(biāo)定到IMU時(shí)，通過判斷激光雷達(dá)的局部地圖是否良好來判斷校準(zhǔn)精度。標(biāo)定過程是通過滑動(dòng)窗構(gòu)造的局部地圖，求解從激光雷達(dá)到IMU的外參。

該標(biāo)定工具的開發(fā)是根據(jù)論文“Balm: Bundle adjustment for lidar mapping,” IEEE RAL, 2021。通過最小化協(xié)方差矩陣特征值，特征點(diǎn)分布在局部地圖的同一條邊或平面。該方法通過最小化協(xié)方差矩陣的特征值來最小化特征點(diǎn)到特征平面或邊線的距離和，并進(jìn)行優(yōu)化達(dá)到從激光雷達(dá)到IMU的外參標(biāo)定目的。BA算法最小化每個(gè)平面特征點(diǎn)到平面的距離，其公式如下：

優(yōu)化后的特征點(diǎn)位置和特征法向量（方向向量）可以寫為姿態(tài)T的函數(shù)，因此只有姿態(tài)T需要優(yōu)化。adaptive voxelization可以加速搜索特征對(duì)應(yīng)。假設(shè)不同掃描的粗略初始姿態(tài)可用（例如，從LOAM里程計(jì)得到），從默認(rèn)大?。ɡ?m）重復(fù)對(duì)3D空間進(jìn)行體素化：如果當(dāng)前體素的所有特征點(diǎn)（來自所有掃描）位于平面或邊上（例如，通過檢查點(diǎn)協(xié)方差矩陣的特征值），則當(dāng)前體素將與包含的特征點(diǎn)一起保存在內(nèi)存中；否則，當(dāng)前體素將分成八份，并繼續(xù)檢查每個(gè)八分之一，直到達(dá)到最小尺寸（例如，0.125m）。adaptive voxelization生成體素圖，其中不同的體素可能具有適應(yīng)環(huán)境的不同大小。

該方法可以獲得激光雷達(dá)在世界坐標(biāo)系中任何時(shí)間t的姿態(tài)，并且可以通過以下公式獲得所需的粗略初始外參：

由于偏移量對(duì)系統(tǒng)的影響隨時(shí)間而逐漸增大，因此局部制圖（local mapping）優(yōu)化進(jìn)一步校正偏移量。滑動(dòng)窗的第一個(gè)幀表示為P幀，當(dāng)前幀表示為O幀。根據(jù)坐標(biāo)鏈規(guī)則，激光雷達(dá)坐標(biāo)之間的轉(zhuǎn)換關(guān)系為

據(jù)此構(gòu)建局部地圖。建立局部地圖后，進(jìn)一步搜索，每個(gè)激光點(diǎn)云幀與當(dāng)前幀到后續(xù)幀局部地圖之間的對(duì)應(yīng)關(guān)系。

建議根據(jù)下圖收集數(shù)據(jù)：標(biāo)定的自動(dòng)駕駛車，按照8字軌跡駕駛

標(biāo)定場(chǎng)景有幾個(gè)要求：a）確保地面足夠平坦；b） 確保周圍有足夠的特征，如墻壁、車道線、電線桿、靜止車輛等；c） 標(biāo)定的車輛按圖所示軌跡循環(huán)三次，車速保持在10km/h；d） 盡量不要周圍有動(dòng)態(tài)目標(biāo)，如車輛等。

如圖顯示了激光雷達(dá)到IMU映射的特征提取結(jié)果：

4）激光雷達(dá)-激光雷達(dá)標(biāo)定

在自動(dòng)駕駛中，激光雷達(dá)扮演著重要的角色。激光雷達(dá)可以實(shí)時(shí)獲取周圍環(huán)境的3D結(jié)構(gòu)信息。它一般可以構(gòu)建自動(dòng)駕駛的高精度地圖，定位、障礙物檢測(cè)、跟蹤和預(yù)測(cè)。在自動(dòng)駕駛汽車上安裝單個(gè)激光雷達(dá)有時(shí)無法覆蓋汽車周圍區(qū)域，或者無法滿足盲點(diǎn)監(jiān)控的需要。

因此，有必要適當(dāng)增加激光雷達(dá)的數(shù)量以增加可視范圍（FOV）。多個(gè)激光雷達(dá)的數(shù)據(jù)融合，需要對(duì)多個(gè)激光雷達(dá)的坐標(biāo)系進(jìn)行外參標(biāo)定，獲得每個(gè)坐標(biāo)的精確旋轉(zhuǎn)和平移參數(shù)，以便后續(xù)數(shù)據(jù)處理。

這里給出一個(gè)多激光雷達(dá)標(biāo)定工具。兩臺(tái)激光雷達(dá)之間的外參標(biāo)定分兩步實(shí)現(xiàn)，即地平面配準(zhǔn)和非地面特征點(diǎn)的校準(zhǔn)。首先，從地面和非地面點(diǎn)云中提取并分割點(diǎn)云。利用地面法線進(jìn)行地面配準(zhǔn)，得到轉(zhuǎn)角（roll）、俯仰角（pitch）和z軸平移作為初始外參。

然后遍歷變換后非地面點(diǎn)云的偏航角（yaw），計(jì)算兩個(gè)激光雷達(dá)的最近點(diǎn)距離，得到最小距離的偏航角。隨后，通過常規(guī)ICP（NICP）算法和基于八叉樹（octree）的優(yōu)化，繼續(xù)提高標(biāo)定精度。

在粗略標(biāo)定中，激光雷達(dá)很容易在道路上采集大量的地平面信息。因此，算法的第一步是利用該特征進(jìn)行粗配準(zhǔn)。假設(shè)包含最多點(diǎn)的最大平面被視為地平面GP：{a，b，c，d}：

地平面用于將從屬（slave）激光雷達(dá)地平面GPs與主（master）激光雷達(dá)地平面GPm對(duì)齊：

變換矩陣可用羅德里格斯公式計(jì)算。值得注意的是，當(dāng)估計(jì)俯仰/橫滾（pitch/roll）與實(shí)際俯仰/橫滾之間的差值為±π時(shí)，可能會(huì)出現(xiàn)極端情況。因此，該方法需要在標(biāo)定后檢查平面PCs的大多數(shù)點(diǎn)是否在地平面上。通過上述措施，可以粗略估計(jì)pitch、roll和z。下一步是標(biāo)定yaw、x和y。這樣，成本函數(shù)可以簡(jiǎn)化為：

參數(shù)數(shù)量從6個(gè)減少到3個(gè)。更重要的是，可以忽略地面點(diǎn)。

在細(xì)化標(biāo)定中，采用NICP，ICP的一種變型，可以獲得更好的性能。假設(shè)由于點(diǎn)云的稀疏性，點(diǎn)云特征不明確，難以提取。NICP包含每個(gè)點(diǎn)的法線和擴(kuò)展每個(gè)點(diǎn)的感受野，可以豐富點(diǎn)特征。此外，繼續(xù)使用基于八叉樹的優(yōu)化來最小化姿態(tài)誤差，如圖所示：無點(diǎn)的立方體標(biāo)記為綠色，反復(fù)切割立方體，藍(lán)色/綠色立方體的體積可以測(cè)量標(biāo)定的質(zhì)量。

開始時(shí)，有兩個(gè)點(diǎn)云平面PC包在一個(gè)立方體oC中。然后，用基于八叉樹的方法將立方體迭代地等分為八個(gè)小立方體

立方體oC的體積計(jì)算為：

當(dāng)小立方體的邊長(zhǎng)足夠短時(shí)，可以近似地將點(diǎn)云占據(jù)的空間體積表示為藍(lán)色立方體體積。當(dāng)兩個(gè)點(diǎn)云精確對(duì)齊時(shí)，點(diǎn)云占用的空間體積達(dá)到最小，藍(lán)色立方體的體積同時(shí)達(dá)到最小。因此，問題可以轉(zhuǎn)化為：

• 工廠標(biāo)定

工廠標(biāo)定通常是車輛生產(chǎn)的最后一道工序。標(biāo)定設(shè)備主要由多個(gè)標(biāo)定板和四輪定位組成。車輛四輪定位完成后，標(biāo)定開始，并通過標(biāo)定板計(jì)算傳感器之間的姿態(tài)關(guān)系。這里提供了六種類型的標(biāo)定板，標(biāo)定板識(shí)別程序消除了OpenCV庫(kù)的依賴性。不同的環(huán)境下的識(shí)別性能非常高。

1）標(biāo)定板的設(shè)定工具

標(biāo)定板的姿態(tài)與車輛傳感器安裝的位置和角度有關(guān)，因此開發(fā)一種工具，可以自動(dòng)生成標(biāo)定板放置的最佳位置和角度。同時(shí)，該工具還可以根據(jù)車輛的傳感器方案生成標(biāo)定板有效的放置姿態(tài)范圍。此外，如果已確定生產(chǎn)線環(huán)境，該工具還可以自動(dòng)確定車輛的傳感器方案是否適合當(dāng)前標(biāo)定設(shè)置。

下圖顯示了該工具的操作界面：

2）標(biāo)定板檢測(cè)

主要介紹可用于生產(chǎn)線的五種標(biāo)定板的角點(diǎn)檢測(cè)過程。五種標(biāo)定板是棋盤、圓板、豎板、aruco標(biāo)記板和圓孔板。

對(duì)于生產(chǎn)線上的（水平校準(zhǔn)板）棋盤（通常2.5米寬），角點(diǎn)檢測(cè)過程首先選擇初始閾值對(duì)圖像進(jìn)行自適應(yīng)二值化。然后執(zhí)行擴(kuò)張操作，分離每個(gè)黑色四邊形（quadrilateral）的連接。由于圖像邊緣沒有棋盤轉(zhuǎn)角，因此圖像的邊緣設(shè)置為白色。遍歷圖像，黑點(diǎn)設(shè)置為0，白色為255，如果八個(gè)區(qū)域的點(diǎn)為黑色，將獲得黑色塊的邊線。

然后將多邊形擬合到黑色邊界。通過面積約束、矩形判斷、正方形判斷等一系列過濾條件過濾出候選棋盤區(qū)域，對(duì)候選正方形進(jìn)行聚類得到粗糙的角點(diǎn)，最后對(duì)檢測(cè)的角點(diǎn)進(jìn)行結(jié)構(gòu)化判斷。例如，是否形成面積相同的等腰（isosceles）直角三角形，判斷兩點(diǎn)的斜率等，并輸出最終的角點(diǎn)檢測(cè)結(jié)果。下面兩個(gè)圖顯示了棋盤標(biāo)定板的檢測(cè)過程和檢測(cè)結(jié)果：

圓形標(biāo)定板可以非常精確，因?yàn)榭梢允褂脠A上的所有像素，減少圖像噪聲的影響。在多個(gè)角點(diǎn)漏檢的情況下，冗余角點(diǎn)信息可用于補(bǔ)全不完整的角點(diǎn)，不影響標(biāo)定過程。

標(biāo)定過程：首先對(duì)標(biāo)定圖像執(zhí)行自適應(yīng)閾值二值化，然后檢測(cè)校準(zhǔn)二值圖像的輪廓，從圖像輪廓集中提取圓，并獲得一組多個(gè)圓。通過判斷輪廓像素到輪廓中心的距離，如果最大距離和最小距離之間的差值滿足閾值，則認(rèn)為輪廓是一個(gè)圓。圓中心點(diǎn)的顏色記錄檢測(cè)圓是黑還是白。通過Ransac提取所有圓心的線段，提取垂直線，并根據(jù)斜率范圍獲得垂直線。根據(jù)四個(gè)約束過濾條件，得到黑色圓的線段去確定標(biāo)定板中心的位置。

• 1、兩條線段應(yīng)平行；

• 2、對(duì)應(yīng)的黑色圓半徑相似；

• 3、對(duì)應(yīng)黑色圓到對(duì)面直線的投影是重合的；

• 4、兩條線段間距和黑色圓半徑大小的約束。

平行的黑色線很好地確定了模式的位置。根據(jù)黑色圓的半徑，預(yù)測(cè)白色圓的半徑和線段的圓間距，最后得到標(biāo)定板上所有圓的中心。

垂直板對(duì)多個(gè)角點(diǎn)未命中也具有魯棒性。首先對(duì)標(biāo)定圖像進(jìn)行灰度化，然后檢測(cè)圖像中的所有角點(diǎn)，并通過隨機(jī)選擇點(diǎn)建立包含角點(diǎn)的線模型。根據(jù)點(diǎn)的密度對(duì)每個(gè)線模型進(jìn)行聚類和分割。然后找到三條平行且間距相等的線組合。對(duì)于每條線組合，將左右線的角點(diǎn)投影到中間線上，并通過投影線的角點(diǎn)位置與標(biāo)定板的模式特征之間的距離進(jìn)行篩選和分割，獲得正確的角點(diǎn)。

ArUco標(biāo)記板的角點(diǎn)檢測(cè)過程：首先對(duì)RGB圖像進(jìn)行灰度化，然后使用局部自適應(yīng)閾值的方法對(duì)圖像進(jìn)行二值化。然后，通過連通域搜索找到候選輪廓，并根據(jù)邊緣數(shù)限制的過濾條件對(duì)輪廓進(jìn)行篩選。然后，完成基于輪廓點(diǎn)集的多邊形擬合。擬合后的多邊形符合凸四邊形，與圖像邊緣有一定距離，輪廓不重復(fù)。

在此篩選之后，對(duì)凸四邊形的角點(diǎn)進(jìn)行排序可以防止交叉順序（cross-order）的發(fā)生。過濾距離過近的四邊形。然后，通過徑向變換（radial transformation）從四邊形中提取外矩形，用灰度127的閾值對(duì)圖像進(jìn)行去二值化，切割圖像以獲得QR碼區(qū)域，并用6*6網(wǎng)格劃分QR碼。最后，對(duì)相應(yīng)的QR碼區(qū)域進(jìn)行編碼，匹配基礎(chǔ)庫(kù)的QR碼碼本，識(shí)別相應(yīng)的QR碼 ID，并在標(biāo)定板上獲取角坐標(biāo)。

圓孔板的角點(diǎn)檢測(cè)過程主要依靠標(biāo)定板上的模式匹配來提取圓。首先，根據(jù)標(biāo)定板的尺寸，設(shè)計(jì)了圓孔的幾何匹配掩模。然后進(jìn)行二維搜索和匹配，最終得到孔內(nèi)點(diǎn)云數(shù)最少的圓和圓心。根據(jù)標(biāo)定板的位置對(duì)點(diǎn)云進(jìn)行ROI濾波，得到標(biāo)定板附近的點(diǎn)云。

利用有方向約束的RANSAC算法提取標(biāo)定板平面。根據(jù)標(biāo)定板的大小預(yù)設(shè)標(biāo)定板邊框，然后提取2D邊框并擬合到點(diǎn)云中。孔掩碼的初始位置是從掩碼相對(duì)于邊框的大小獲得。在初始位置附近執(zhí)行掩碼2D搜索。最后，獲得掩碼上點(diǎn)數(shù)最少的圓心坐標(biāo)。

AprilTag是一個(gè)視覺參照系統(tǒng)，可用于各種任務(wù)，包括增強(qiáng)現(xiàn)實(shí)、機(jī)器人和攝像頭標(biāo)定。AprilTag檢測(cè)可以計(jì)算標(biāo)定板相對(duì)于攝像頭的精確3D位置、方向和ID。AprilTag庫(kù)是用C編程語言實(shí)現(xiàn)的，無外部依賴關(guān)系。該庫(kù)可以輕松地包含在其他應(yīng)用程序中，或移植到嵌入式設(shè)備。

3）攝像頭標(biāo)定

在汽車生產(chǎn)線上批量標(biāo)定的方法稱為工廠標(biāo)定。當(dāng)車輛售出后，ADAS設(shè)備因其他原因無法正常工作時(shí)，需要對(duì)攝像頭進(jìn)行售后標(biāo)定。通常，攝像頭標(biāo)定包括攝像頭的消失點(diǎn)標(biāo)定和攝像頭相對(duì)地面的單應(yīng)矩陣標(biāo)定，以及攝像頭外參標(biāo)定。

標(biāo)定消失點(diǎn)是與車身對(duì)齊的平行線視覺交點(diǎn)。在工廠標(biāo)定中，標(biāo)定板和攝像頭位置是固定的。工廠標(biāo)定前，需要標(biāo)定的車輛與四個(gè)車輪對(duì)齊。四輪定位后，標(biāo)定板相對(duì)于車身中心的坐標(biāo)固定，然后用攝像頭識(shí)別標(biāo)定板并進(jìn)行標(biāo)定。然后，可以獲得攝像頭相對(duì)于車身坐標(biāo)的姿態(tài)，這通常由PnP算法解決。

下面主要介紹消失點(diǎn)和攝像頭對(duì)地單應(yīng)矩陣的標(biāo)定方法。由于尋找的消失點(diǎn)是平行于車身坐標(biāo)的平行線交點(diǎn)，因此消失點(diǎn)的計(jì)算方法是攝像頭通過標(biāo)定板的直線，該直線保持與車身平行，如圖所示。

根據(jù)標(biāo)定板的單應(yīng)矩陣，以及攝像頭相對(duì)于標(biāo)定板中心的水平偏移和垂直偏移，可以通過以下公式計(jì)算消失點(diǎn)的像素坐標(biāo)

如圖所示：根據(jù)標(biāo)定板的實(shí)際尺寸和檢測(cè)的角點(diǎn)，獲得標(biāo)定板到攝像機(jī)的單應(yīng)矩陣，然后根據(jù)標(biāo)定板到地面的距離獲得點(diǎn)A和B。

下一步連接AB點(diǎn)和消失點(diǎn)，因?yàn)锳-VP和B-VP是平行線，所以橫坐標(biāo)是相同的，縱坐標(biāo)可以通過測(cè)距公式得到，然后根據(jù)4個(gè)點(diǎn)的像素坐標(biāo)和世界物理坐標(biāo)，求解地面相對(duì)于攝像頭的H矩陣。

假設(shè)（px，py）是隨機(jī)車道點(diǎn)p的投影像素坐標(biāo)。根據(jù)透視原理，點(diǎn)p的縱向和橫向攝像頭測(cè)距可分別定義如下：

由于知道A點(diǎn)和B點(diǎn)之間的實(shí)際距離，可以通過上述測(cè)距公式優(yōu)化焦距fx和fy，然后計(jì)算C和D的縱向坐標(biāo)。最后，得到四個(gè)地面點(diǎn)的像素點(diǎn)和實(shí)際物理距離，就可以計(jì)算攝像頭到地面的單應(yīng)矩陣。

4）激光雷達(dá)標(biāo)定

檢測(cè)激光雷達(dá)圓心的3D坐標(biāo)，同時(shí)知道標(biāo)定板相對(duì)于車身坐標(biāo)的位置。因此，可以通過三組非共線點(diǎn)對(duì)獲得激光雷達(dá)相對(duì)于車身坐標(biāo)的姿態(tài)。所以在求解時(shí)對(duì)位移參數(shù)進(jìn)行約束，然后通過優(yōu)化方法獲得多對(duì)點(diǎn)。

由于激光雷達(dá)相對(duì)于車體的坐標(biāo)位置相對(duì)準(zhǔn)確，可以添加以下約束

5）售后標(biāo)定

售后標(biāo)定可以像生產(chǎn)線標(biāo)定一樣放置標(biāo)定板，但更復(fù)雜。另一種是使用一些環(huán)境特征進(jìn)行標(biāo)定。首先需要兩個(gè)平行于車身的參考目標(biāo)，例如車道線或其他參考目標(biāo)。另一種方法是放置4個(gè)參考點(diǎn)來模擬兩條平行線。然后在平行線上有4個(gè)點(diǎn)（兩個(gè)在左邊，兩個(gè)在右邊）。根據(jù)這四個(gè)選擇點(diǎn)，可以擬合出兩條直線，然后計(jì)算出這兩條直線交點(diǎn)作為消失點(diǎn)。單應(yīng)矩陣的計(jì)算，可以通過攝像頭測(cè)距模型計(jì)算實(shí)際物理坐標(biāo)，然后進(jìn)行計(jì)算。

然而，這種方法有一個(gè)缺點(diǎn)，因?yàn)閞oll angle的影響將導(dǎo)致橫向物理距離的計(jì)算錯(cuò)誤。為了糾正這一錯(cuò)誤，引入了roll angle評(píng)估線。用戶拖動(dòng)兩個(gè)點(diǎn)使直線比地面短?？赏ㄟ^平行于具有相同垂直距離的直線來確定roll angle?？梢酝ㄟ^roll angle來修正攝像頭模型的誤差，最后計(jì)算出所選4個(gè)像素的實(shí)際物理距離，計(jì)算攝像頭到地面的單應(yīng)矩陣。

如圖所示是標(biāo)定工具的操作界面和需要輸入的信息：

如果要驗(yàn)證標(biāo)定的準(zhǔn)確性，可以將選定點(diǎn)的實(shí)際測(cè)量距離與測(cè)量結(jié)果進(jìn)行比較。如果差值很小，則認(rèn)為標(biāo)定合格。

• 在線標(biāo)定

傳統(tǒng)的標(biāo)定方法往往是離線的，需要用手持標(biāo)定板進(jìn)行一系列的操作，耗時(shí)費(fèi)力。在線標(biāo)定方法是指在系統(tǒng)運(yùn)行開始時(shí)或系統(tǒng)運(yùn)行期間完成標(biāo)定。該方法不需要手持式標(biāo)定板，也可以確保足夠的精度。

因此，calibration toolbox為用戶提供了三種在線標(biāo)定工具，用于在駕駛過程中自動(dòng)標(biāo)定車輛。同樣，具有強(qiáng)烈且易于識(shí)別的特征（如樹木和交通標(biāo)志）的道路場(chǎng)景將產(chǎn)生更好的校準(zhǔn)結(jié)果。

1）攝像頭-IMU標(biāo)定

攝像機(jī)和IMU之間的在線標(biāo)定包括時(shí)域標(biāo)定和外參標(biāo)定。在線標(biāo)定過程中，需要一組車輛行駛過程中的圖像幀數(shù)據(jù)和IMU測(cè)量數(shù)據(jù)。在第一組幀，用跟蹤相關(guān)方法執(zhí)行時(shí)域標(biāo)定。然后，攝像機(jī)和IMU之間的時(shí)域標(biāo)定可以表示為：

在獲得時(shí)域標(biāo)定結(jié)果后，進(jìn)行數(shù)據(jù)對(duì)齊。下一步是旋轉(zhuǎn)標(biāo)定，攝像頭從i幀到i+1幀的旋轉(zhuǎn)表示為RCi+1，IMU從i幀到i+1幀的旋轉(zhuǎn)表示為RIi+1，攝像頭和IMU之間的旋轉(zhuǎn)表示為RIC。然后，旋轉(zhuǎn)標(biāo)定可以表示為：

最后一步是平移標(biāo)定。將攝像頭從i幀到i+1幀的平移表示為tci+1，將IMU從i幀到i+1幀的平移表示為tii+1，而攝像頭和IMU之間的平移表示為tic。那么平移標(biāo)定可以表示為：

2）激光雷達(dá)- IMU標(biāo)定

激光雷達(dá)對(duì)IMU的在線標(biāo)定類似于攝像頭機(jī)對(duì)IMU的標(biāo)定，用LOAM的前端作為激光雷達(dá)里程計(jì)，然后將激光雷達(dá)數(shù)據(jù)與IMU數(shù)據(jù)對(duì)齊，最后，使用類似的方法得到激光雷達(dá)對(duì)IMU的在線標(biāo)定結(jié)果。激光雷達(dá)從i幀到i+1幀的旋轉(zhuǎn)表示為RLi+1，IMU從i幀到i+1幀的旋轉(zhuǎn)表示為RIi+1，攝像頭和IMU之間的i旋轉(zhuǎn)表示為RIL。然后，旋轉(zhuǎn)標(biāo)定可以表示為：

最后一步是平移標(biāo)定。將攝像頭從i幀到i+1幀的平移表示為tli+1，將IMU從i幀到i+1幀的平移表示為tii+1，而攝像頭和IMU之間的平移表示為til。那么平移標(biāo)定可以表示為：

3）雷達(dá)-車中心標(biāo)定

主要是對(duì)雷達(dá)的偏航角進(jìn)行標(biāo)定。該問題分為三個(gè)步驟：粗略標(biāo)定、靜態(tài)目標(biāo)識(shí)別和曲線擬合。在第一步中。將雷達(dá)測(cè)量數(shù)據(jù)表示為{Vi，anglei，distancei}，其中Vi表示目標(biāo)相對(duì)于多普勒原理測(cè)量的雷達(dá)徑向速度，anglei表示目標(biāo)與雷達(dá)坐標(biāo)系之間的角度，distancei表示目標(biāo)與汽車之間的距離。

直接在車輛前方找到目標(biāo)進(jìn)行粗略標(biāo)定，然后雷達(dá)測(cè)量角度i就是偏航的結(jié)果。下一步是檢測(cè)靜態(tài)目標(biāo)，因?yàn)殪o態(tài)目標(biāo)滿足以下等式

在找到所有幀的靜態(tài)目標(biāo)后，最后一步是擬合cos函數(shù)曲線，這樣可以得到更精確的標(biāo)定結(jié)果。

• 標(biāo)定基準(zhǔn)數(shù)據(jù)集

在對(duì)當(dāng)前主流型號(hào)的激光雷達(dá)、攝像頭等傳感器進(jìn)行大量評(píng)估實(shí)驗(yàn)和研究的基礎(chǔ)上，建立傳感器特征集，包括自動(dòng)駕駛傳感器不同技術(shù)路線和型號(hào)的檢測(cè)性能和特征表達(dá)。

已經(jīng)完成基于Carla平臺(tái)（Carla platform）傳感器仿真庫(kù)的傳感器特征集開發(fā)，Carla平臺(tái)是一個(gè)用于自動(dòng)駕駛的開源仿真框架。以激光雷達(dá)為例，根據(jù)評(píng)價(jià)實(shí)驗(yàn)的結(jié)果，按照實(shí)際數(shù)據(jù)總結(jié)出的規(guī)律，模擬不同場(chǎng)景中傳感器的檢測(cè)性能、定時(shí)特性和harness分布。此外，天氣條件也會(huì)對(duì)不同的激光雷達(dá)模型產(chǎn)生不同的點(diǎn)損失和噪聲影響，這也會(huì)反映在模擬生成的點(diǎn)云數(shù)據(jù)中。

基于建立的傳感器仿真庫(kù)，完成不同標(biāo)定場(chǎng)景下的多傳感器數(shù)據(jù)仿真，并最終生成標(biāo)定基準(zhǔn)數(shù)據(jù)集。在仿真框架中，控制自車在具有明顯周邊參考物（如車道線、路燈、墻和汽車）的環(huán)境中沿特定軌跡行駛，同時(shí)記錄特定標(biāo)定所需的數(shù)據(jù)。不同傳感器的數(shù)據(jù)生成頻率也不同，如下表所示。

為保證數(shù)據(jù)的正常記錄，仿真平臺(tái)的系統(tǒng)頻率應(yīng)高于任何傳感器的記錄頻率。

多標(biāo)定場(chǎng)景仿真圖如下圖所示：（a）攝像機(jī)內(nèi)參標(biāo)定仿真場(chǎng)景，圖（b）在線標(biāo)定仿真場(chǎng)景，圖（c）為雷達(dá)外參標(biāo)定仿真場(chǎng)景。

仿真數(shù)據(jù)集的優(yōu)點(diǎn)是，可以以很低的成本獲得復(fù)雜場(chǎng)景的多傳感器數(shù)據(jù)，并可以提供高精度真值來驗(yàn)證標(biāo)定算法的準(zhǔn)確性。

實(shí)驗(yàn)結(jié)果

攝像頭-激光雷達(dá)標(biāo)定

激光雷達(dá)-IMU標(biāo)定

激光雷達(dá)-激光雷達(dá)標(biāo)定