(1)一種使用高階條件隨機(jī)場（CRF）通過將圖像分割成超像素并添加連接這些超像素的路徑來對(duì)道路網(wǎng)絡(luò)的結(jié)構(gòu)進(jìn)行建模。從航空圖像中提取城市道路并對(duì)其進(jìn)行網(wǎng)絡(luò)結(jié)構(gòu)的概率表示。道路看起來像一個(gè)細(xì)長的、部分彎曲的結(jié)構(gòu)，形成的一個(gè)環(huán)狀的圖形，如下圖21所示，這種復(fù)雜的布局需要一個(gè)超越標(biāo)準(zhǔn)平滑度和共現(xiàn)假設(shè)的先驗(yàn)。在所提出的模型中，網(wǎng)絡(luò)被表示為連接遠(yuǎn)距離（超）像素的一維路徑的并集。通過在前景（道路）可能性中搜索最小成本路徑，構(gòu)建一大組假定的候選路徑，使其盡可能包含真實(shí)網(wǎng)絡(luò)。選擇候選路徑的最優(yōu)子集被提出為高階條件隨機(jī)場中的MAP推斷。該方法還導(dǎo)出了一個(gè)魯棒的PN-Potts模型，對(duì)于該模型，可以通過圖切割有效地找到全局MAP解。用兩個(gè)道路數(shù)據(jù)集進(jìn)行的實(shí)驗(yàn)表明，所提出的模型相對(duì)于多個(gè)基線顯著提高了每像素精度以及總體拓?fù)渚W(wǎng)絡(luò)質(zhì)量。

圖21  道路建模

(2)一種使用卷積神經(jīng)網(wǎng)絡(luò)（CNN）來獲得路段。道路分割的補(bǔ)充任務(wù)是從頂視圖或前向圖像檢測車道。使用具有數(shù)百萬可訓(xùn)練權(quán)重的神經(jīng)網(wǎng)絡(luò)來檢測道路，該網(wǎng)絡(luò)查看的上下文比之前學(xué)習(xí)任務(wù)時(shí)使用的上下文大得多。該網(wǎng)絡(luò)使用消費(fèi)級(jí)GPU對(duì)大量數(shù)據(jù)進(jìn)行訓(xùn)練。并且通過使用最近開發(fā)的無監(jiān)督學(xué)習(xí)方法初始化特征檢測器以及利用輸出標(biāo)簽的局部空間相關(guān)性，可以顯著提高預(yù)測性能。

(3)一種使用地面柵格地圖的方法，結(jié)合車輛里程計(jì)、GPS和基于傳感器的道路模型識(shí)別，可獲得的位置的精確度可以達(dá)到厘米級(jí)，如下圖22所示。一旦定位在地圖中，包含在地圖中的先驗(yàn)信息使駕駛策略能夠做出關(guān)于變道機(jī)動(dòng)和導(dǎo)航的決策，其中一些僅使用基于傳感器的道路模型識(shí)別方法是不可能的。此外，基于地圖的方法增加了魯棒性和前瞻性，這兩個(gè)都是考慮到HAD的需求所必需的，因?yàn)镠AD的驅(qū)動(dòng)程序可能不在循環(huán)中。

圖22  多傳感器融合的地圖描述方法

地圖主要由兩層組成：語義層、幾何層和定位層。語義或幾何層包含車道模型幾何結(jié)構(gòu)和高級(jí)語義信息，如車道連通性，這是路徑規(guī)劃和決策所需的。定位層包含在地圖內(nèi)定位車輛所需的數(shù)據(jù)。在本項(xiàng)目中，定位層主要由車道標(biāo)記和道路邊界數(shù)據(jù)組成，這些數(shù)據(jù)可由傳感器檢測，然后與GPS和車輛里程計(jì)一起用于將車輛匹配到地圖上。

使用先驗(yàn)地圖，并且用卡爾曼濾波器估計(jì)地圖中車輛的位置。使用GPS數(shù)據(jù)和檢測到的地標(biāo)（例如車道標(biāo)記）更新過濾器，以便持續(xù)更新定位假設(shè)。車輛的位置也可以使用車輛控制所需的較高速率的里程計(jì)數(shù)據(jù)進(jìn)行預(yù)測。

(4)一種使用LIDAR數(shù)據(jù)來檢測車道標(biāo)記和相機(jī)圖像，方法中對(duì)LiDAR的每個(gè)垂直層分別應(yīng)用了二次擬合。由于車道傾向于平緩的曲線，因此在道路橫截面中使用二次方程進(jìn)行曲線擬合。檢測車道時(shí)，用于車道標(biāo)記的獨(dú)特油漆比路面反射激光的效果要好得多。因此該過程通過僅在視覺系統(tǒng)的脆弱情況下（例如，背光、低光）運(yùn)行基于攝像頭的車道檢測技術(shù)來減少誤報(bào)。然后將確認(rèn)的基于攝像機(jī)的車道再次投影到地面上并轉(zhuǎn)換為3D坐標(biāo)系。車道檢測過程的結(jié)果如圖23所示。

圖23  車道檢測

(5)一種使用深度神經(jīng)網(wǎng)絡(luò)（DNN）來推斷自動(dòng)車輛IARA水平信號(hào)差或缺乏的車道的位置和相關(guān)屬性，如下圖24所示。DNN執(zhí)行將LIDAR的remission柵格地圖分段到道路柵格地圖，將代碼（從1到16）分配到屬于車道的地圖單元格。這些代碼用來表示單元內(nèi)車道中心的相對(duì)距離以及車道標(biāo)記的類型。通過使用數(shù)十公里標(biāo)記道路車道的數(shù)據(jù)集來訓(xùn)練DNN，使其達(dá)到足以實(shí)現(xiàn)IARA實(shí)際自動(dòng)駕駛的準(zhǔn)確性。道路分割不直接提供道路地圖，但是道路分割定義地圖單元是否是道路的一部分。

圖24  深度神經(jīng)網(wǎng)絡(luò)建圖

（6）一種從航空圖像自動(dòng)構(gòu)建精確道路網(wǎng)絡(luò)地圖的新方法。RoadTracer（航空影像自動(dòng)生成路網(wǎng)）使用基于CNN的決策函數(shù)指導(dǎo)的迭代搜索過程，直接從CNN的輸出，導(dǎo)出道路網(wǎng)絡(luò)圖。該方法試圖直接從CNN產(chǎn)生路線圖，而不是依賴于中間圖像表示。并且該方法使用迭代得到的圖構(gòu)建過程，一次添加一個(gè)單獨(dú)的路段，并使用CNN決定要添加的下一個(gè)段。

1.4移動(dòng)障礙物檢測與跟蹤

移動(dòng)物體跟蹤（MOT）子系統(tǒng)（也稱為檢測和跟蹤多個(gè)物體）負(fù)責(zé)檢測和跟蹤自動(dòng)駕駛汽車周圍環(huán)境中移動(dòng)障礙物的姿態(tài)。該子系統(tǒng)對(duì)于自動(dòng)駕駛車輛做出決策并避免與潛在移動(dòng)物體（例如，其他車輛和行人）碰撞至關(guān)重要。移動(dòng)障礙物隨時(shí)間的位置通常是根據(jù)測距傳感器（如激光雷達(dá)和雷達(dá)）或立體相機(jī)捕獲的數(shù)據(jù)來估計(jì)的。來自單眼相機(jī)的圖像有助于提供豐富的外觀信息，以確定移動(dòng)障礙物類型。為了應(yīng)對(duì)傳感器測量的不確定性，采用貝葉斯濾波器（例如卡爾曼濾波器和粒子濾波器）進(jìn)行狀態(tài)預(yù)測，下面是各種移動(dòng)障礙物的檢測與跟蹤方法：

1.4.1基于物理的運(yùn)動(dòng)模型（Physics-based motion models）：

基于物理的運(yùn)動(dòng)預(yù)測模型認(rèn)為車輛的運(yùn)動(dòng)只取決于物理定律，將車輛表示為受物理定律支配的動(dòng)態(tài)實(shí)體。使用一些控制輸入（例如轉(zhuǎn)向、加速度）、汽車特性（例如重量）和外部條件（例如路面的摩擦系數(shù)）與車輛狀態(tài)的演變（例如位置、航向、速度）之間的關(guān)系，對(duì)車輛運(yùn)動(dòng)軌跡進(jìn)行預(yù)測。在這種基于物理的車輛運(yùn)動(dòng)模型方面已經(jīng)做了大量的工作，它們?nèi)匀皇堑缆钒踩尘跋掠糜谲壽E預(yù)測和碰撞風(fēng)險(xiǎn)估計(jì)的最常用的運(yùn)動(dòng)模型。這些模型或多或少復(fù)雜，取決于車輛動(dòng)力學(xué)和運(yùn)動(dòng)學(xué)的表示的精細(xì)程度、如何處理不確定性、是否考慮了道路的幾何形狀等。

1）預(yù)測車輛未來軌跡的一種簡單方法是將車輛動(dòng)力學(xué)模型（車輛二，三自由度動(dòng)力學(xué)模型等）或運(yùn)動(dòng)學(xué)模型（CV，CA，CTRV，CTRA等）應(yīng)用于車輛的當(dāng)前狀態(tài)，假設(shè)當(dāng)前狀態(tài)完全已知，且選擇的動(dòng)力學(xué)模型或運(yùn)動(dòng)學(xué)模型可以將車輛的運(yùn)動(dòng)表示出來，然后得到預(yù)測的運(yùn)動(dòng)，如下圖25所示。

圖25  軌跡預(yù)測

2）基于貝葉斯濾波器的車輛未來軌跡預(yù)測最流行的是基于卡爾曼濾波器的車輛軌跡預(yù)測，如下圖26所示，在預(yù)測步驟中，將時(shí)間t處的估計(jì)狀態(tài)饋送到車輛動(dòng)力學(xué)模型或運(yùn)動(dòng)學(xué)模型，從而得到時(shí)間t+1的預(yù)測狀態(tài)，該預(yù)測狀態(tài)采用高斯分布的形式。在更新步驟中，將時(shí)間t+1處的傳感器測量值與預(yù)測狀態(tài)組合形成時(shí)間t+1的估計(jì)狀態(tài)，該狀態(tài)的估計(jì)也服從高斯分布的。循環(huán)預(yù)測和更新，可以得到每個(gè)未來的時(shí)間步的車輛狀態(tài)的平均值和協(xié)方差矩陣，該矩陣可以轉(zhuǎn)換為具有相關(guān)不確定性的平均軌跡。而該預(yù)測方式因模型的不準(zhǔn)確，造成軌跡預(yù)測較大的誤差，因此出現(xiàn)了切換卡爾曼濾波器（SKF），他們依靠一組卡爾曼濾波器來表示車輛的可能演化的動(dòng)力學(xué)模型或 運(yùn)動(dòng)學(xué)模型，并在它們之間切換。SKF的另一種選擇是根據(jù)具體情況使用啟發(fā)式在不同的運(yùn)動(dòng)學(xué)模型之間切換。

圖26  基于貝葉斯濾波器的軌跡預(yù)測

3）基于蒙特卡洛的車輛未來軌跡預(yù)測在一般情況下，即當(dāng)沒有對(duì)模型的線性或不確定性的高斯性做出假設(shè)時(shí)，預(yù)測狀態(tài)分布的解析表達(dá)式通常是未知的，而蒙特卡羅方法提供了近似這種分布的工具。從模型的輸入變量中隨機(jī)采樣，以生成潛在的未來軌跡。為了考慮道路拓?fù)?，?/span>權(quán)重應(yīng)用于基于卡爾曼濾波生成的軌跡預(yù)測中，然后得到預(yù)測的軌跡，如下圖27所示。

圖27  基于蒙特卡洛的軌跡預(yù)測

局限性：由于它們僅依賴于運(yùn)動(dòng)的低級(jí)別屬性（動(dòng)力學(xué)和運(yùn)動(dòng)學(xué)屬性），基于物理的運(yùn)動(dòng)模型僅限于短期（小于一秒）運(yùn)動(dòng)預(yù)測。通常，他們無法預(yù)測由執(zhí)行特定功能（例如減速、勻速轉(zhuǎn)彎，然后加速以在交叉路口轉(zhuǎn)彎）引起的汽車運(yùn)動(dòng)變化，或由外部因素引起的變化（例如由于前方車輛減速）。

1.4.2基于動(dòng)機(jī)的運(yùn)動(dòng)模型（Maneuver-based motion models）：

基于機(jī)動(dòng)的運(yùn)動(dòng)模型將車輛表示為獨(dú)立的機(jī)動(dòng)實(shí)體，即它們假設(shè)車輛在道路網(wǎng)絡(luò)上的運(yùn)動(dòng)對(duì)應(yīng)于獨(dú)立于其他車輛執(zhí)行的一系列機(jī)動(dòng)。車輛的未來運(yùn)動(dòng)取決于駕駛員的意圖。將車輛表示為獨(dú)立的機(jī)動(dòng)實(shí)體，即它們假設(shè)車輛在路網(wǎng)上的運(yùn)動(dòng)對(duì)應(yīng)于獨(dú)立于其他車輛執(zhí)行的一系列駕駛員打算執(zhí)行的操作。如果能夠識(shí)別駕駛員的機(jī)動(dòng)意圖，則可以假設(shè)車輛的未來運(yùn)動(dòng)將與該機(jī)動(dòng)相匹配。

1.4.2.1基于原型軌跡的運(yùn)動(dòng)模型

基于原型軌跡的運(yùn)動(dòng)模型的主要思想是將道路網(wǎng)絡(luò)上車輛的軌跡可以被分組為有限的一組簇，每簇對(duì)應(yīng)于一種典型的運(yùn)動(dòng)模式，如下圖28所示。運(yùn)動(dòng)模式使用原型軌跡表示，原型軌跡是在訓(xùn)練階段從數(shù)據(jù)中學(xué)習(xí)的。之后，通過找到最可能的運(yùn)動(dòng)模式并將原型軌跡用作未來運(yùn)動(dòng)的模型，可以在給定部分軌跡的情況下在線進(jìn)行預(yù)測。因?yàn)榈缆肪W(wǎng)絡(luò)是一個(gè)結(jié)構(gòu)化的環(huán)境，通常假設(shè)可以預(yù)先識(shí)別運(yùn)動(dòng)模式（例如，可以通過識(shí)別給定位置處的所有可能機(jī)動(dòng)，從數(shù)字地圖中提取運(yùn)動(dòng)模式）。

圖28  軌跡簇示意圖

可以通過計(jì)算樣本軌跡的平均值和標(biāo)準(zhǔn)偏差來導(dǎo)出運(yùn)動(dòng)模式的隨機(jī)表示。

（1）一種新的基于聚類的技術(shù)，該技術(shù)使用成對(duì)聚類來學(xué)習(xí)典型的運(yùn)動(dòng)模式。文中引入了一個(gè)相異性度量，以允許使用任何可以在相異度矩陣上操作的聚類算法。因此，我們獲得了對(duì)應(yīng)于不同運(yùn)動(dòng)模式的多個(gè)簇。然后，我們計(jì)算每個(gè)簇的平均值，我們將其進(jìn)一步用于預(yù)測部分觀測軌跡的運(yùn)動(dòng)。

（2）一種基于組合軌跡分類和粒子濾波框架的長期預(yù)測方法。軌跡由徑向基函數(shù)（RBF）分類器進(jìn)行分類，該分類器具有能夠處理任意非均勻長度的軌跡的結(jié)構(gòu)。作為軌跡之間相似性的度量，我們引入了基于四元數(shù)的旋轉(zhuǎn)不變最長公共子序列（QRLCS）度量。粒子過濾器框架同時(shí)跟蹤和評(píng)估大量運(yùn)動(dòng)假設(shè)，其中RBF分類器估計(jì)的類特定概率用作粒子過濾器假設(shè)的先驗(yàn)概率。假設(shè)用均值移位技術(shù)進(jìn)行聚類，并分配一個(gè)似然值。

（3）一種可以增量學(xué)習(xí)運(yùn)動(dòng)模式并與預(yù)測并行的方法?；趯?duì)隱馬爾可夫模型的一種新擴(kuò)展——稱為增長隱馬爾可夫模型。

高斯過程（GP）非常適合于表示道路交通背景下的運(yùn)動(dòng)模式。GP可以看作是高斯概率分布的推廣。他們將過程建模為函數(shù)上的高斯分布。當(dāng)將其應(yīng)用于車輛軌跡時(shí)，假設(shè)學(xué)習(xí)數(shù)據(jù)集中的軌跡是高斯過程的樣本函數(shù)。因此，學(xué)習(xí)包括在這些函數(shù)上擬合高斯分布。GP的主要優(yōu)點(diǎn)是其對(duì)觀測軌跡中的噪聲的魯棒性（與上述方法相比），和其以一致和概率的方式表示運(yùn)動(dòng)模式執(zhí)行中的變化的能力。

總結(jié)：

首先，先得到原型軌跡，從車輛執(zhí)行的部分軌跡開始，通過將其與學(xué)習(xí)到的運(yùn)動(dòng)模式進(jìn)行比較，選擇最可能的運(yùn)動(dòng)模式，并使用原型軌跡作為模型進(jìn)行預(yù)測。然后需要定義度量來測量部分軌跡到運(yùn)動(dòng)模式的距離。

當(dāng)運(yùn)動(dòng)模式由高斯過程表示時(shí)，通過對(duì)軌跡的可能未來進(jìn)行積分，將距離計(jì)算為部分軌跡對(duì)應(yīng)于GP的概率。

當(dāng)運(yùn)動(dòng)模式由有限組原型軌跡表示時(shí)，部分軌跡到運(yùn)動(dòng)模式的距離通過其與原型軌跡的相似性來測量。已經(jīng)定義了許多度量來測量兩條軌跡之間的相似性，包括軌跡點(diǎn)之間的平均歐幾里得距離、修正的豪斯多夫（the modified Hausdorff）、最長公共子序列（LCS）及其平移和旋轉(zhuǎn)不變版本——基于四元數(shù)的旋轉(zhuǎn)不變LCS。計(jì)算到每個(gè)運(yùn)動(dòng)模式的距離后預(yù)測未來運(yùn)動(dòng)的最簡單解決方案是選擇最可能的運(yùn)動(dòng)模式，并將其用作唯一模型。

考慮運(yùn)動(dòng)模式的混合：計(jì)算不同運(yùn)動(dòng)模式上的概率分布，然后將不同運(yùn)動(dòng)模型組合（加權(quán)）為一個(gè)，或者生成一組具有相關(guān)權(quán)重的潛在未來軌跡。最近提出的另一種解決方案是使用專家分層混合（HME），其優(yōu)點(diǎn)是可以處理分類變量（例如轉(zhuǎn)向燈、道路布局類別）

局限性：在很長一段時(shí)間里，原型軌跡的主要限制是它們對(duì)時(shí)間的嚴(yán)格確定性表示。事實(shí)上，當(dāng)使用一組有限的軌跡來表示運(yùn)動(dòng)模式時(shí)，需要大量的原型來模擬運(yùn)動(dòng)模式執(zhí)行過程中的巨大變化。例如，為了識(shí)別涉及停車線等待時(shí)間的機(jī)動(dòng)，必須使用硬閾值來識(shí)別等待間隔，并在計(jì)算兩條軌跡之間的距離時(shí)忽略它們。對(duì)于此類模型來說，處理更細(xì)微的速度變化，如交通擁擠引起的速度變化仍然是一個(gè)問題。在一定程度上，高斯過程的引入通過允許運(yùn)動(dòng)模式的時(shí)間無關(guān)表示來解決了這個(gè)問題。然而，其也有其他限制。除了繁重的計(jì)算負(fù)擔(dān)外，它們還缺乏考慮車輛物理限制的能力，因此可能生成不現(xiàn)實(shí)的樣本軌跡。使用原型軌跡時(shí)的另一個(gè)困難是它們不適應(yīng)不同的道路布局，特別是適用于道路交叉口時(shí)。因?yàn)槊總€(gè)運(yùn)動(dòng)模型都是針對(duì)特定的交叉幾何和進(jìn)行訓(xùn)練的，因此它只適用于和其類似的交叉口。

1.4.2.2基于機(jī)動(dòng)意圖估計(jì)的運(yùn)動(dòng)模型

匹配駕駛員的機(jī)動(dòng)意圖（例如，在停車線等待、跟隨另一輛車、執(zhí)行左轉(zhuǎn)），然后預(yù)測連續(xù)的物理狀態(tài)，以便它們對(duì)應(yīng)于所識(shí)別機(jī)動(dòng)的可能執(zhí)行。與軌跡原型相比，一個(gè)主要優(yōu)點(diǎn)是不需要將部分軌跡與先前觀察到的軌跡相匹配。相反，提取更高級(jí)別的特征并用于識(shí)別機(jī)動(dòng)，這使得將學(xué)習(xí)的模型推廣到任意布局更容易.

許多狀態(tài)可用于對(duì)駕駛員的機(jī)動(dòng)意圖的估計(jì)，例如車輛的物理狀態(tài)（位置、速度、航向、加速度、橫擺率、轉(zhuǎn)向信號(hào)等）、關(guān)于道路網(wǎng)絡(luò)的信息（道路的幾何結(jié)構(gòu)和拓?fù)浣Y(jié)構(gòu)、速度限制、交通規(guī)則等）、駕駛員行為（頭部移動(dòng)、駕駛風(fēng)格等）。機(jī)動(dòng)意圖估計(jì)已經(jīng)被許多工作所研究。本調(diào)查側(cè)重于道路交叉口的機(jī)動(dòng)意圖估計(jì)，但本文介紹的大多數(shù)方法可應(yīng)用于其他交通情況。

環(huán)境和試探法可用于確定在一段時(shí)間后可能以確定性的方式執(zhí)行哪些功能。對(duì)于在更復(fù)雜的場景中對(duì)機(jī)動(dòng)進(jìn)行分類，判別式的學(xué)習(xí)算法非常流行，例如多層感知機(jī)（MLP）、Logistic回歸、關(guān)聯(lián)向量機(jī)（RVM）或支持向量機(jī)（SVM）。同樣流行的替代方法是將每個(gè)動(dòng)作分解為一系列連續(xù)的事件，并使用隱馬爾可夫模型（HMM）表示這一系列事件。不同事件之間的轉(zhuǎn)移概率可以從數(shù)據(jù)以及觀測模型（即不可觀測事件和可用觀測之間的關(guān)系）中獲知。對(duì)于新的觀測序列，通過比較每個(gè)HMM的觀測可能性來估計(jì)機(jī)動(dòng)意圖。

圖29  道路交叉口交互行為意圖識(shí)別常用方法的對(duì)比