日本无码免费高清在线|成人日本在线观看高清|A级片免费视频操逼欧美|全裸美女搞黄色大片网站|免费成人a片视频|久久无码福利成人激情久久|国产视频一二国产在线v|av女主播在线观看|五月激情影音先锋|亚洲一区天堂av

  • 手機(jī)站
  • 小程序

    汽車(chē)測(cè)試網(wǎng)

  • 公眾號(hào)

    • 汽車(chē)測(cè)試網(wǎng)

    • 在線課堂

    • 電車(chē)測(cè)試

基于雙目視覺(jué)的目標(biāo)檢測(cè)與追蹤方案詳解

2021-12-27 09:29:47·  來(lái)源：焉知  作者：Aimme  
　
一直想通過(guò)計(jì)算機(jī)視覺(jué)的角度好好地把其在自動(dòng)駕駛視覺(jué)檢測(cè)、追蹤及融合上的原理進(jìn)行詳細(xì)闡述，對(duì)于下一代自動(dòng)駕駛系統(tǒng)來(lái)說(shuō)，會(huì)采用集中式方案進(jìn)行攝像頭的原始感
一直想通過(guò)計(jì)算機(jī)視覺(jué)的角度好好地把其在自動(dòng)駕駛視覺(jué)檢測(cè)、追蹤及融合上的原理進(jìn)行詳細(xì)闡述，對(duì)于下一代自動(dòng)駕駛系統(tǒng)來(lái)說(shuō)，會(huì)采用集中式方案進(jìn)行攝像頭的原始感知信息輸入和原始雷達(dá)目標(biāo)的輸入。對(duì)于純攝像頭的感知方案通常采用針孔相機(jī)模型進(jìn)行相機(jī)標(biāo)定，在本文中，將研究相機(jī)配準(zhǔn)和雷達(dá)傳感器融合的整體過(guò)程。了解其對(duì)于掌握后續(xù)關(guān)于測(cè)量提取和傳感器校準(zhǔn)的討論是必要的。
單/雙目相機(jī)標(biāo)定基本原理
將相機(jī)信息與物理世界相關(guān)聯(lián)，需要描述 3D 世界坐標(biāo)和圖像坐標(biāo)之間數(shù)學(xué)關(guān)系的模型，計(jì)算機(jī)視覺(jué)中最簡(jiǎn)單的此類(lèi)模型是針孔相機(jī)模型（如下圖）。

圖1 相機(jī)模型模型的投影
針孔模型中的圖像形成是通過(guò)假設(shè)一個(gè)無(wú)限小的孔徑來(lái)解釋的，因此用了針孔這個(gè)術(shù)語(yǔ)?？紤]上圖中所有光線會(huì)聚在光學(xué)中心上，該中心與相機(jī)參考系的原點(diǎn)重合，光心到像面上主點(diǎn)c的距離等于焦距f，來(lái)自點(diǎn) p = [x,y,z] 的光線穿過(guò)光學(xué)中心，從而投影到位于圖像平面上的點(diǎn) p’ = [x’ ,y’ ,z’] 。相似三角形的原理規(guī)定，點(diǎn) [x,y,z] 被映射到圖像平面上的點(diǎn) p’ = [fx/z, fy/z, f] 。忽略深度，該投影由 R3 （三維）到 R2（二維）映射給出，即
（1）
引入齊次坐標(biāo)，如上圖像點(diǎn)信息可以改寫(xiě)為矩陣形式，其中K表示相機(jī)校準(zhǔn)矩陣。
（2）
方程 (2) 提供了將 3D 空間中的點(diǎn)轉(zhuǎn)換為圖像坐標(biāo)的框架。通常，圖像平面上的點(diǎn) p’ 將根據(jù)像素坐標(biāo)來(lái)尋找?？梢赃m當(dāng)縮放相機(jī)校準(zhǔn)矩陣中的焦距條目，以將 R3 （三維）度量轉(zhuǎn)換為 R2 （二維）像素。在實(shí)踐中，相機(jī)校準(zhǔn)矩陣默認(rèn)為以像素為單位的焦距，并且它包括考慮非理想情況的參數(shù)，例如偏移主點(diǎn)或各個(gè)維度中每單位長(zhǎng)度的像素?cái)?shù)量不相等。
相機(jī)標(biāo)定方法旨在估計(jì)構(gòu)成相機(jī)標(biāo)定矩陣的參數(shù)，這些量被稱(chēng)為內(nèi)在參數(shù)，校準(zhǔn)一般采用張正友的九宮格標(biāo)定技術(shù)，校準(zhǔn)過(guò)程主要是通過(guò)采集不同的九宮格點(diǎn)構(gòu)造如上方程的多個(gè)子式并進(jìn)行6參數(shù)求解。本文討論將不會(huì)深入研究關(guān)于相機(jī)校準(zhǔn)的細(xì)節(jié)，而是重點(diǎn)討論關(guān)于雙目攝像頭的感知過(guò)程。
當(dāng)多個(gè)攝像機(jī)查看同一場(chǎng)景時(shí)，可以從圖像中提取深度信息。要使用單個(gè)攝像機(jī)實(shí)現(xiàn)相同的目標(biāo)，需要了解正在記錄的場(chǎng)景。考慮下圖所示的理想化水平立體聲配置，在這種情況下，各個(gè)相機(jī)的光學(xué)中心和圖像平面共面。

圖2 簡(jiǎn)單的相機(jī)視差模型
光學(xué)中心也相距一定距離 b，這被稱(chēng)為立體基線，則視差計(jì)算方法如下：
（4）
計(jì)算水平和垂直坐標(biāo) x 和 y 依賴(lài)于與以前相同的原則。然而，深度信息具有唯一確定性，其過(guò)程就是求解環(huán)境檢測(cè)點(diǎn) p 的 z 坐標(biāo)。其中 uL 和uR 是點(diǎn) p 投影到相應(yīng)圖像平面上的左右水平坐標(biāo)。假設(shè)坐標(biāo)系的原點(diǎn)與左相機(jī)中心重合，則
（5）
等式 (5) 給出了理想水平立體配置中校準(zhǔn)相機(jī)的視差和范圍之間的關(guān)系，深度計(jì)算所需的關(guān)鍵量是視差，確定視差依賴(lài)于找到相應(yīng)的像素在相應(yīng)的圖像中的位置點(diǎn)，對(duì)應(yīng)的方法一般是依靠紋理信息進(jìn)行幀間匹配。
實(shí)際上，通過(guò)物理排列來(lái)實(shí)現(xiàn)完美的相機(jī)對(duì)準(zhǔn)是不可能的。兩個(gè)相機(jī)之間的一般對(duì)齊方式如下圖所示。點(diǎn) p 投影到左側(cè)相機(jī)圖像平面上的點(diǎn) p’。這個(gè)點(diǎn)在右圖像平面上的對(duì)應(yīng)關(guān)系被限制在平面上繪制的水平基線上。事實(shí)上，任何投影到左相機(jī)平面繪制線上的點(diǎn)都被限制為與右圖像平面上的相應(yīng)線重合。這些線被稱(chēng)為共軛極線，兩幅圖像中各自的圖像點(diǎn)在該極線上應(yīng)該滿(mǎn)足對(duì)極約束條件，它們用于指導(dǎo)立體圖像點(diǎn)對(duì)應(yīng)的搜索過(guò)程范圍。

圖3 立體視覺(jué)測(cè)量提取算法示意圖
對(duì)極約束的數(shù)學(xué)形式簡(jiǎn)單明了，我們可以看出，只要我們能夠找出兩幅圖像之間的多組特征點(diǎn)關(guān)系，就可以根據(jù)對(duì)極約束求出兩幅圖像之間的運(yùn)動(dòng)關(guān)系。

接下來(lái)從數(shù)學(xué)角度描述一下對(duì)極約束。
根據(jù)針孔相機(jī)模型,我們知道空間位置點(diǎn)P 在相機(jī)中的像素位置為p1，p2 。這里 K 為相機(jī)內(nèi)參矩陣,R, t 為兩個(gè)坐標(biāo)系的相機(jī)運(yùn)動(dòng)(如果我們?cè)敢?也可以寫(xiě)成代數(shù)形式)。如果使用齊次坐標(biāo),我們也可以把上式寫(xiě)成在乘以非零常數(shù)下成立的等式：
現(xiàn)在，取:

這里的 x1 , x2 是兩個(gè)像素點(diǎn)的歸一化平面上的坐標(biāo)。代入上式，得:

兩邊同時(shí)乘以t的轉(zhuǎn)置矩陣t^，相當(dāng)于兩側(cè)同時(shí)對(duì)t做外積：

然后，兩側(cè)同時(shí)乘以
，那么

如上等式左側(cè)，t^x2是一個(gè)與t和x2都垂直的向量（相當(dāng)于對(duì)t和x2形成的平面做一條法線），把它再和x2做內(nèi)積時(shí)，將得到0，因此，我們得到一個(gè)簡(jiǎn)潔的對(duì)極約束式子：

重新帶入p1，p2，得到另外一種表示形式

我們把對(duì)極約束數(shù)學(xué)表達(dá)式中的中間部分記為兩個(gè)矩陣：基礎(chǔ)矩陣(Fun-damental Matrix)F 和本質(zhì)矩陣(Essential Matrix)E，可以進(jìn)一步簡(jiǎn)化對(duì)極約束:

這里需要說(shuō)明一下，對(duì)于多目攝像頭對(duì)環(huán)境信息的探測(cè)來(lái)說(shuō)，一般需要考慮兩個(gè)攝像頭必須保持一致的內(nèi)參信息。其中包括焦距、主點(diǎn)、畸變量等。自動(dòng)駕駛系統(tǒng)感知過(guò)程中，經(jīng)常會(huì)遇到一個(gè)比較經(jīng)典的問(wèn)題，那就是如果采用兩顆單目攝像頭，且該兩顆攝像頭并不是完全相同的，甚至該兩顆攝像頭一個(gè)近焦廣角，一個(gè)遠(yuǎn)郊窄角，是否可能在保證單目探測(cè)性能的同時(shí)實(shí)現(xiàn)更多的雙目深度探測(cè)功能？
這里我們需要注意如果依賴(lài)對(duì)極約束，實(shí)際上是將兩個(gè)相機(jī)的投影矩陣相對(duì)于圖像點(diǎn)進(jìn)行了相應(yīng)的位置約束，而投影矩陣是內(nèi)參與外參的乘積歸一化，所以從理論上講，無(wú)論兩個(gè)相機(jī)內(nèi)參和外參如何變化都應(yīng)該滿(mǎn)足對(duì)極約束。也就是說(shuō)在其中一個(gè)相機(jī)中投影點(diǎn)一定能夠在另一個(gè)相機(jī)中找到相應(yīng)的投影位置，這就使得兩個(gè)點(diǎn)加上環(huán)境點(diǎn)所確定的三角形可以約束整個(gè)相機(jī)平面點(diǎn)的搜索范圍，從而通過(guò)三維重建可以完全確定環(huán)境點(diǎn)坐標(biāo)位置。
然而，事實(shí)是在自動(dòng)駕駛動(dòng)態(tài)場(chǎng)景和高精度場(chǎng)景下，該方案無(wú)法實(shí)現(xiàn)很好的探測(cè)能力，因?yàn)橥叫院鸵恢滦圆惶?。比如曝光起止時(shí)間無(wú)法做到很好的同步，同時(shí)曝光區(qū)域也無(wú)法做到很好的同步，這就會(huì)造成成像尺寸、清晰度、時(shí)間不一致。在后期，可以通過(guò)微調(diào)來(lái)大致同步起始曝光時(shí)間，但針對(duì)多種場(chǎng)景無(wú)法保證都可用。比如在通過(guò)對(duì)極約束解方程時(shí)，對(duì)大目標(biāo)（如大貨車(chē)、大巴車(chē)、大卡車(chē)等）可以有一定量的深度測(cè)量，而對(duì)小目標(biāo)的精細(xì)測(cè)量卻是不可行的。
傳感器外參標(biāo)定
傳感器融合的第一步是將來(lái)自各個(gè)子系統(tǒng)的測(cè)量值注冊(cè)到一個(gè)共同的參考框架，傳感器之間幾何偏移的不準(zhǔn)確估計(jì)將導(dǎo)致錯(cuò)誤配準(zhǔn)，從而影響感知性能。一般的，描述傳感器之間的對(duì)齊參數(shù)稱(chēng)為外部參數(shù)。本節(jié)將描述用于確定傳感器外部參數(shù)的標(biāo)定方法。
理想的幾何形狀意味著獨(dú)特的對(duì)極線對(duì)是平行的，并且共軛對(duì)不會(huì)做垂直偏移，這使得能夠在立體圖像對(duì)的適用行上簡(jiǎn)單地執(zhí)行對(duì)應(yīng)搜索。具有這些理想特性的立體圖像稱(chēng)為校正。立體校正的過(guò)程涉及通過(guò)圖像處理程序?qū)蓚€(gè)圖像進(jìn)行變換，校正還需要了解兩個(gè)相機(jī)之間的物理排列，即外在參數(shù)。與內(nèi)在相機(jī)校準(zhǔn)一樣，用于計(jì)算立體視覺(jué)設(shè)置的外在參數(shù)的標(biāo)準(zhǔn)方法可以參照當(dāng)前一些文獻(xiàn)獲得。
首先關(guān)鍵的問(wèn)題是估計(jì)兩個(gè)攝像頭傳感器參考系之間的剛體變換，獲取描述這種變換的外在參數(shù)的最簡(jiǎn)單方法是通過(guò)物理測(cè)量幾何排列。然而，由于難以準(zhǔn)確地確定各個(gè)傳感器的實(shí)際起源，這樣的過(guò)程可能會(huì)導(dǎo)致較差的估計(jì)。改進(jìn)的估計(jì)應(yīng)該來(lái)自自動(dòng)校準(zhǔn)方法，其中傳感器需要測(cè)量相同的目標(biāo)。然后可以將校準(zhǔn)轉(zhuǎn)化為參數(shù)優(yōu)化問(wèn)題，以求解外部參數(shù)。優(yōu)化過(guò)程可通過(guò)將攝像頭結(jié)合雷達(dá)探測(cè)目標(biāo)的參數(shù)融合校準(zhǔn)過(guò)程進(jìn)行。
假設(shè)相機(jī)對(duì)攝像頭參考幀CRF中的點(diǎn)p 進(jìn)行了測(cè)量。同樣在攝像頭參考幀中的測(cè)量值由給
出。此外，結(jié)合使用雷達(dá)的相位單脈沖，雷達(dá)參考幀RRF中相同對(duì)象的測(cè)量結(jié)果表示如下：
（7）
其中 α 是與視軸的逆時(shí)針角度，即方位角。符號(hào)用于描述雷達(dá)參考幀中的測(cè)量深度信息。而攝像頭參考幀中相同測(cè)量的坐標(biāo)由下式給出：
（8）
其中RCR、tR分別表示是雷達(dá)參考幀相對(duì)于攝像頭參考幀的旋轉(zhuǎn)矩陣及平移坐標(biāo)向量。方程 (8) 描述的三維旋轉(zhuǎn)和平移遵循約定，其中旋轉(zhuǎn)被分解為圍繞攝像頭參考幀的 z、y 和 x 軸的旋轉(zhuǎn)序列，相應(yīng)的旋轉(zhuǎn)角分別由角度ψ、θ和φ給出。三維變換的歐拉參數(shù)化完全由這些角度和平移向量tR = [tx, ty, tz]的元素定義。因此，外部參數(shù)的確定簡(jiǎn)化為ψ、θ、φ、tx、ty和 tz 的求解。
上面的討論假設(shè)影響相應(yīng)測(cè)量值和形成的內(nèi)在參數(shù)是已知的。無(wú)需調(diào)整現(xiàn)有的用于立體相機(jī)內(nèi)部和外部參數(shù)的校準(zhǔn)方法。因此，演示將繼續(xù)假設(shè)立體視覺(jué)相機(jī)經(jīng)過(guò)校準(zhǔn)以產(chǎn)生校正圖像。對(duì)于雷達(dá)，天線基線可以被視為一個(gè)內(nèi)在參數(shù)。如果基線指定不正確，優(yōu)化產(chǎn)生的外部雷達(dá)到相機(jī)參數(shù)將是不正確的。因?yàn)楫?dāng)不作為測(cè)量基線時(shí)，而是作為額外的自由參數(shù)包括在校準(zhǔn)程序中進(jìn)行估計(jì)。
目標(biāo)參數(shù)測(cè)量、匹配及提取
對(duì)于攝像頭和雷達(dá)融合的校準(zhǔn)過(guò)程需要一個(gè)對(duì)兩個(gè)傳感器子系統(tǒng)都可見(jiàn)的校準(zhǔn)目標(biāo)。為此，通過(guò)在面向傳感器的三個(gè)反射面上應(yīng)用棋盤(pán)格紙圖案來(lái)增強(qiáng)簡(jiǎn)單的角反射器。由此產(chǎn)生的校準(zhǔn)目標(biāo)既具有高反射性（高 RCS），又包含尖角，可以在立體圖像對(duì)中找到精確的對(duì)應(yīng)關(guān)系。

圖(a)立體圖像對(duì)中的引導(dǎo)角選擇
圖(b)雷達(dá)范圍頻譜中的引導(dǎo)局部峰值
確保參數(shù)估計(jì)所考慮的任何測(cè)量都源自校準(zhǔn)目標(biāo)是至關(guān)重要的。出于這個(gè)原因，原始傳感器數(shù)據(jù)被手動(dòng)標(biāo)記。標(biāo)記雷達(dá)數(shù)據(jù)就像識(shí)別距離譜中與校準(zhǔn)目標(biāo)相對(duì)應(yīng)的峰值一樣簡(jiǎn)單。只需要對(duì)目標(biāo)范圍的粗略估計(jì)，選擇加上角反射器極高的雷達(dá)截面。提取的數(shù)據(jù)包括到目標(biāo)的距離以及兩個(gè)接收器的信號(hào)相位，這些相位用于隨后的角度計(jì)算。為了提高精度，需要進(jìn)行24 次掃描，并取得平均距離和角度構(gòu)成單個(gè)雷達(dá)校準(zhǔn)樣本，其結(jié)果可以描述在各個(gè)脈沖范圍譜中發(fā)現(xiàn)的局部峰值。
圖像測(cè)量提取是利用棋盤(pán)圖案的強(qiáng)梯度來(lái)計(jì)算視差，角檢測(cè)算法是被手動(dòng)引導(dǎo)到其中一幅圖像中，并校準(zhǔn)目標(biāo)上的任何角，同時(shí)，對(duì)另一幅圖像中的相同角來(lái)重復(fù)此操作。上圖a中顯示了一對(duì)角的示例，該信息隨后被投影到公制相機(jī)框架中。
對(duì)于測(cè)量
和
的過(guò)程中，前面提到校準(zhǔn)問(wèn)題被轉(zhuǎn)換為優(yōu)化問(wèn)題，優(yōu)化程序的任務(wù)是通過(guò)改變構(gòu)成外部校準(zhǔn)的參數(shù)來(lái)最小化誤差函數(shù)。從稀疏特征跟蹤框架中獲取的時(shí)空信息用于識(shí)別運(yùn)動(dòng)圖像區(qū)域。外觀信息被完全忽略，因此不會(huì)產(chǎn)生特定于對(duì)象的結(jié)果。如下圖顯示了測(cè)量提取算法的基本工作流程，可以概括如下：稀疏特征檢測(cè)器識(shí)別隨后跟蹤的強(qiáng)候選特征。跟蹤器的過(guò)濾需要引入平滑策略，實(shí)現(xiàn)基本的異常值去除，并為軌跡存儲(chǔ)和分析提供框架?？捎眯畔⒆罱K在聚類(lèi)例程中進(jìn)行處理，該例程需要對(duì)相似的特征軌跡進(jìn)行分組。

立體視覺(jué)測(cè)量提取算法示意圖
1）特征提取
特征檢測(cè)通常是使用加速段測(cè)試 (FAST) 算法中的特征檢測(cè)進(jìn)行的，該檢測(cè)器在計(jì)算復(fù)雜性方面明顯優(yōu)于其他替代方案，并且專(zhuān)為一致性高的多視圖特征提取而量身定制，這些屬性有利于將 FAST 角點(diǎn)檢測(cè)器用于在實(shí)時(shí)立體視覺(jué)中的應(yīng)用。
使用稀疏特征檢測(cè)有一些固有的缺點(diǎn)，其中最值得注意的是無(wú)法從低紋理圖像區(qū)域收集信息，這可能會(huì)阻礙最終準(zhǔn)確估計(jì)目標(biāo)范圍的能力。范圍信息應(yīng)主要從視覺(jué)子系統(tǒng)中提取，因?yàn)樗峁┍壤走_(dá)更高的分辨率。為了減輕可能的負(fù)面影響，設(shè)置特征檢測(cè)閾值以產(chǎn)生半密集信息，即分布在視野中的數(shù)千個(gè)特征被識(shí)別為跟蹤候選。通過(guò)這種方法，可以獲得相當(dāng)準(zhǔn)確的范圍信息，而計(jì)算需求仍然比密集檢測(cè)方法低得多。
2）特征追蹤
算法運(yùn)行所需的時(shí)間數(shù)據(jù)可通過(guò)狀態(tài)估計(jì)器獲得，該估計(jì)器隨時(shí)間跟蹤檢測(cè)到相應(yīng)的特征，由此產(chǎn)生的運(yùn)動(dòng)信息對(duì)于運(yùn)動(dòng)物體分割具有重要價(jià)值。本文將詳細(xì)介紹實(shí)現(xiàn)的特征跟蹤框架。
①卡爾曼濾波器
檢測(cè)目標(biāo)的半密集性要求對(duì)后續(xù)處理進(jìn)行仔細(xì)考慮，可能數(shù)以千計(jì)的跟蹤特征需要非常有效的狀態(tài)估計(jì)器。為此，引入了卡爾曼濾波器。卡爾曼濾波器是貝葉斯濾波器遞歸方程的可實(shí)現(xiàn)公式，要素不是傳播完整的目標(biāo)狀態(tài)密度，而是采用高斯分布進(jìn)行近似，即
（9）
其中 N (x; m, P) 表示在具有均值 m 和協(xié)方差 P 的向量 x 上定義的高斯分布?？柭鼮V波器遞歸方程的一個(gè)重要約束是它必須保留狀態(tài)分布的高斯結(jié)構(gòu)。這意味著動(dòng)態(tài)和測(cè)量模型必須是線性高斯變換。請(qǐng)注意，在傳統(tǒng)控制系統(tǒng)中發(fā)現(xiàn)的控制輸入不包括在預(yù)測(cè)更新中，因?yàn)樵摂?shù)量在目標(biāo)跟蹤中是未知的。對(duì)于線性模型，以下方程定義了卡爾曼濾波器的預(yù)測(cè)正確遞歸：

其中 Fk 是狀態(tài)轉(zhuǎn)移矩陣，Qk 是過(guò)程噪聲協(xié)方差，Hk 是觀測(cè)矩陣，Rk 是測(cè)量噪聲協(xié)方差。等式（11）和（12）定義了預(yù)測(cè)更新，而等式（13）到（15）使用相關(guān)聯(lián)的測(cè)量zk定義了測(cè)量更新日期。預(yù)測(cè)更新本質(zhì)上是通過(guò) Fk 和 Qk 描述的線性動(dòng)態(tài)模型對(duì)狀態(tài)分布的變換。轉(zhuǎn)移矩陣描述了 k -1 時(shí)刻的狀態(tài)均值與 k 時(shí)刻的先驗(yàn)之間的確定性關(guān)系，而過(guò)程噪聲協(xié)方差矩陣則對(duì)轉(zhuǎn)移中的不確定性進(jìn)行建模。在目標(biāo)跟蹤中，這些矩陣來(lái)源于目標(biāo)的運(yùn)動(dòng)模型，測(cè)量更新結(jié)合了觀察來(lái)改進(jìn)狀態(tài)估計(jì)，這里的關(guān)鍵量是測(cè)量預(yù)期測(cè)量更新值Hkmk|k-1與實(shí)際測(cè)量值Zk的差值，更新協(xié)方差由矩陣 Sk|k?1 給出。該創(chuàng)新及其協(xié)方差通過(guò)卡爾曼增益 Kk|k-1 影響方程（15）中的結(jié)果更新。
對(duì)于小狀態(tài)向量維數(shù)，卡爾曼濾波器為貝葉斯?fàn)顟B(tài)估計(jì)提供了一個(gè)非常有效的框架，因?yàn)樗倪f歸方程僅依賴(lài)于簡(jiǎn)單的矩陣乘法。非線性動(dòng)態(tài)和測(cè)量模型可以通過(guò)將非線性變換近似為高斯來(lái)合并。泰勒級(jí)數(shù)展開(kāi)和無(wú)跡變換分別表征擴(kuò)展卡爾曼濾波器和無(wú)跡卡爾曼濾波器，其中兩個(gè)是卡爾曼濾波器最常見(jiàn)的非線性擴(kuò)展。
②狀態(tài)空間模型
圖像特征的測(cè)量在圖像坐標(biāo)中可用，但在慣性坐標(biāo)中需要 DATMO 上下文中的目標(biāo)軌跡。使用圖像平面測(cè)量在慣性空間中進(jìn)行跟蹤將需要非線性近似技術(shù)，然而，非線性估計(jì)方法的實(shí)現(xiàn)將顯著增加跟蹤器的計(jì)算需求。在最優(yōu)性和速度之間的權(quán)衡中，后者被選擇用于稀疏特征跟蹤，即在圖像坐標(biāo)中跟蹤特征，這使得能夠使用標(biāo)準(zhǔn)線性卡爾曼濾波器。由于加速坐標(biāo)系，實(shí)際上圖像坐標(biāo)不是慣性坐標(biāo)可能會(huì)導(dǎo)致奇怪的非線性效應(yīng)，因此線性卡爾曼濾波器是一個(gè)近似值。
接下來(lái)，布局特征跟蹤器的動(dòng)態(tài)和測(cè)量模型。每個(gè)特征點(diǎn)的運(yùn)動(dòng)是根據(jù)恒速模型使用線性動(dòng)力學(xué)和高斯噪聲建模的
（16）
其中 u 是特征的水平圖像坐標(biāo)，vu 是其速度，σw 是加速度噪聲標(biāo)準(zhǔn)偏差，ΔT 是時(shí)間步長(zhǎng)。對(duì)于構(gòu)成圖像坐標(biāo)的其余軸，即垂直坐標(biāo) v 和視差 d，實(shí)現(xiàn)了精確解耦跟蹤器。因此假設(shè)各個(gè)圖像平面尺寸是完全獨(dú)立的，由于必須反轉(zhuǎn)的矩陣的維數(shù)較小，因此解耦的低階卡爾曼濾波器更有效，可以通過(guò)使用 OpenCV 的立體塊匹配密集立體對(duì)應(yīng)算法來(lái)合并視差信息。盡管每個(gè)特征的差異搜索有望提高效率，但額外的研究工作是不必要的。在這里，差異僅需要作為概念證明。因此，僅從左側(cè)圖像中提取特征，并且可以從密集對(duì)應(yīng)算法中獲得相應(yīng)的視差。
特征跟蹤測(cè)量模型也是線性的，形式為
（17）
其中 σu 是水平維度中測(cè)量噪聲的標(biāo)準(zhǔn)偏差，相同的更新矩陣適用于其他維度，基于創(chuàng)新的異常值拒絕策略被納入特征跟蹤框架，如果創(chuàng)新大于創(chuàng)新協(xié)方差平方根的常數(shù)因子標(biāo)準(zhǔn)偏差，即
（18）
其中 c 是一個(gè)常數(shù)，然后刪除軌道。此規(guī)則在所有三個(gè)跟蹤維度中都實(shí)施，如果有任何未通過(guò)測(cè)試，則刪除該跟蹤。請(qǐng)注意，如上方程中的數(shù)量減少為長(zhǎng)度為 1 的向量和 1 × 1 矩陣，即它們是標(biāo)量。在除了基于異常值的軌道刪除，M/N 邏輯規(guī)則也可用于軌道管理。
選擇線性圖像平面狀態(tài)空間模型的結(jié)果是，由于底層特征的框架和跟蹤框架不同，可能會(huì)導(dǎo)致加速效應(yīng)。雖然并不理想，但跟蹤器會(huì)產(chǎn)生軌道平滑效果并允許簡(jiǎn)單的異常值去除，同時(shí)將計(jì)算開(kāi)銷(xiāo)降至最低。
③數(shù)據(jù)關(guān)聯(lián)
考慮到測(cè)量與跟蹤的關(guān)聯(lián)性，由于要跟蹤的特征數(shù)量龐大，實(shí)施復(fù)雜的數(shù)據(jù)關(guān)聯(lián)方法（例如多假設(shè)跟蹤）肯定是不可行的，需要采用不同于傳統(tǒng)跟蹤方法的跟蹤策略。新檢測(cè)不是將特征檢測(cè)器的輸出視為與現(xiàn)有跟蹤實(shí)體相關(guān)聯(lián)的測(cè)量值，而是簡(jiǎn)單地將特征標(biāo)記為跟蹤候選。通過(guò)使用光流原理主動(dòng)搜索其對(duì)應(yīng)關(guān)系，可以找到任何現(xiàn)有特征軌跡的適當(dāng)測(cè)量。
④聚類(lèi)
為了從視覺(jué)子系統(tǒng)中提取最終測(cè)量值，在特征軌跡數(shù)據(jù)上實(shí)施了一個(gè)聚類(lèi)程序。聚類(lèi)的目的是識(shí)別源自同一環(huán)境監(jiān)測(cè)對(duì)象的特征軌跡。理想情況下，要成功地對(duì)特征軌跡進(jìn)行分組，應(yīng)該需要有關(guān)數(shù)據(jù)的最少先驗(yàn)知識(shí)。例如，任何給定掃描中存在的目標(biāo)數(shù)量是一個(gè)未知參數(shù)，應(yīng)由 DATMO 算法使用各車(chē)載傳感器數(shù)據(jù)確定。許多流行的聚類(lèi)算法（例如 k-means 和期望最大化）不適合這種特定應(yīng)用，因?yàn)樗鼈儗?duì)聚類(lèi)的確切數(shù)量的依賴(lài)性和敏感性。在這個(gè)項(xiàng)目中，可以選擇具有最少先驗(yàn)知識(shí)的特征軌跡聚類(lèi)解決方案是基于密度的噪聲應(yīng)用空間聚類(lèi)（DBSCAN）算法。DBSCAN 識(shí)別和分組空間數(shù)據(jù)集中的密集區(qū)域，同時(shí)還提供異常值標(biāo)記。DBSCAN 只需要兩個(gè)參數(shù)，即一個(gè)集群可能適用的最小樣本數(shù)和一個(gè)特殊的距離閾值。
⑤匹配庫(kù)數(shù)據(jù)掃描
在 DBSCAN 算法中構(gòu)成集群的形式化依賴(lài)于一些定義。首先，點(diǎn) p 的鄰域 N(p) 是距離 p 小于或等于 p 的所有點(diǎn)的集合。如果點(diǎn)的鄰域包含至少最少數(shù)量的點(diǎn)，則點(diǎn)被標(biāo)記為核心點(diǎn)。核心點(diǎn) q 的鄰域中的任何點(diǎn) p 都被稱(chēng)為從核心點(diǎn)直接密度可達(dá)。如果存在一系列點(diǎn) p1，則任何點(diǎn) p 都是從核心點(diǎn) q 密度可達(dá)的. . , pn, p1 = q, pn = p 使得 pi+1 可直接從 pi 密度可達(dá)。密度可達(dá)條件的對(duì)稱(chēng)變體是密度連通的，兩個(gè)點(diǎn) p 和 q 是密度連通的，如果它們存在一個(gè)點(diǎn) o，那么這兩個(gè)點(diǎn)都是密度可達(dá)的。一個(gè)簇被定義為所有密度連接的點(diǎn)，從集群內(nèi)的任何點(diǎn)密度可達(dá)的點(diǎn)也包括在內(nèi)，而無(wú)法到達(dá)的點(diǎn)被標(biāo)記為異常值。
下圖以圖形方式顯示了不同的可達(dá)性定義：

最小樣本參數(shù)等于 4 點(diǎn)的 DBSCAN 可達(dá)性說(shuō)明：上圖中藍(lán)色圓圈是核心點(diǎn)，因?yàn)樗鼈兊泥徲蛑辽侔钌贁?shù)量的點(diǎn)。圖(a)中點(diǎn) p1 是從 q 密度可達(dá)的，圖(b) 中 p1 和 p2 通過(guò)核心點(diǎn) q 彼此密度連接，黑點(diǎn)被標(biāo)記為異常值。
DBSCAN 聚類(lèi)呈現(xiàn)出有利的特征，因?yàn)樗鼛缀醪恍枰獙?duì)數(shù)據(jù)集進(jìn)行假設(shè)。不必指定簇的數(shù)量，可以找到任意形狀的簇。此外，異常值是固有地檢測(cè)到的。該算法的一個(gè)缺點(diǎn)是它無(wú)法對(duì)密度不同的數(shù)據(jù)集進(jìn)行聚類(lèi)。
為了在跟蹤點(diǎn)上應(yīng)用 DBSCAN 聚類(lèi)算法，數(shù)據(jù)被組織成一個(gè)
聚類(lèi)矩陣 C，其中 Nf,k 是在時(shí)間 k 跟蹤的特征點(diǎn)的數(shù)量，d是包含在聚類(lèi)中的維數(shù)。預(yù)計(jì)源自單個(gè)物體的軌跡將表現(xiàn)出類(lèi)似的時(shí)間行為，同時(shí)以歐幾里德距離緊密間隔。鑒于此，聚類(lèi)矩陣的每一行都是一個(gè)形式為
的表達(dá)式。其中 pi 表示世界參考系中跟蹤點(diǎn) pi 的平均值,vi 是該點(diǎn)在過(guò)去有限數(shù)量的時(shí)間步長(zhǎng)內(nèi)的平均速度。常數(shù) c 是衡量速度分量貢獻(xiàn)的加權(quán)因子。該實(shí)現(xiàn)有利于速度維度的比例為 3:1，即 c = 3。在聚類(lèi)過(guò)程中，普通歐幾里得距離用作相異度量。由如上方程的特征向量產(chǎn)生的集群預(yù)測(cè)會(huì)包含表象中的相似空間和時(shí)間行為的點(diǎn)。
一個(gè)標(biāo)簽，表明 DBSCAN 程序產(chǎn)生的集群和異常值的組成，離群點(diǎn)被立即丟棄。為了從視覺(jué)系統(tǒng)獲得最終的測(cè)量結(jié)果，內(nèi)部集群對(duì)其平均速度進(jìn)行了閾值處理。
每個(gè)輸出集群都應(yīng)包含源自同一移動(dòng)對(duì)象的點(diǎn)。在數(shù)學(xué)方面，集群測(cè)量可以寫(xiě)成一組點(diǎn)，即
，其中 Nc 是特定點(diǎn)的數(shù)量簇?？梢栽谌魏谓o定的時(shí)間步長(zhǎng)提取大量集群，建議從視覺(jué)系統(tǒng)中提取的測(cè)量值的一組表示，即
，其中 Ncam,k 是數(shù)字在時(shí)間 k 的集群測(cè)量。請(qǐng)注意，如上方程的聚類(lèi)特征向量的形式導(dǎo)致世界坐標(biāo)系下參考幀的輸出測(cè)量。
特別是，使用了特征跟蹤器的金字塔式實(shí)現(xiàn)，其輸出被視為特征的“測(cè)量”。隨后使用卡爾曼濾波器的測(cè)量更新方程處理該測(cè)量，視差是通過(guò)查詢(xún)密集深度圖像獲得的，生成的特征軌跡為具有足夠紋理的圖像區(qū)域并提供了相應(yīng)的速度信息，而這些速度的術(shù)語(yǔ)是一種場(chǎng)景流，它是具有深度信息的二維光流的擴(kuò)展。
分享到：
 
反對(duì) 0 舉報(bào) 0 收藏 0 評(píng)論 0
滬ICP備11026917號(hào)-25