Valet Charge項目為適應(yīng)室外和室內(nèi)停車場設(shè)計了一個三層分級拓?fù)?尺度地圖，主要用來定位和做動作規(guī)劃。



上圖為Valet Charge的導(dǎo)航框架圖。停車場的服務(wù)器為每輛進(jìn)出的車提供一個針對性的全局導(dǎo)航，為車輛指定停車位。服務(wù)器上包含一個提前制作好的停車場的路網(wǎng)地圖。



機(jī)器人學(xué)中地圖的表示方法有四種：幾何特征地圖、拓?fù)涞貓D、柵格地圖以及直接表征法（Appearance based Methods）。特征地圖用有關(guān)的幾何特征（如點、直線、面）表示環(huán)境。它一般通過如GPS、UWB以及攝像頭配合稀疏（Sparse）方式的vSLAM算法產(chǎn)生，優(yōu)點是相對數(shù)據(jù)存儲量和運算量比較小，多見于最早的SLAM算法中。拓?fù)涞貓D把室內(nèi)環(huán)境表示為帶結(jié)點和相關(guān)連接線的拓?fù)浣Y(jié)構(gòu)圖，其中結(jié)點表示環(huán)境中的重要位置點（拐角、門、電梯、樓梯等），邊表示結(jié)點間的連接關(guān)系，如走廊等。柵格地圖則是把環(huán)境劃分成一系列柵格，其中每一柵格給定一個可能值，表示該柵格被占據(jù)的概率。直接表征法省去了特征或柵格表示這一中間環(huán)節(jié)，直接用傳感器讀取的數(shù)據(jù)來構(gòu)造機(jī)器人的位姿空間。每種方法各有自己的特點和適用范圍，其中特征地圖和柵格地圖應(yīng)用最普遍。

三層分級拓?fù)?尺度地圖最上層為稀疏（Sparse）地圖，可以看做幾何特征和直接表征法的融合。是帶3D路標(biāo)（Landmark）車輛姿態(tài)圖，用直接表征和幾何特征編碼。稀疏地圖為下一步做圖定義坐標(biāo)系，同時也包括定位所需要的幾何特征和直接表征。中間層為稠密（Dense）地圖，是一個單層的靜態(tài)場景結(jié)構(gòu)的高度地圖。這兩層都是為車輛視覺定位而設(shè)計的。最底層是路網(wǎng)地圖，這是抽象的用于全局規(guī)劃和語義的地圖?；疑€條代表邊界，黃色線條是推薦的行駛軌跡，黑色矩陣框是停車位。

稀疏地圖采用離線方式用vSLAM管線制造，這是一種基于拓?fù)?尺度地圖的定位方法。從四個魚眼相機(jī)搜集的圖像序列，利用GPU運行SURF算法抽出每張圖像的關(guān)鍵點和descriptors，這里的Descriptor，其實我們可以把它當(dāng)做大家傳統(tǒng)上理解的特征。Descriptor更接近局部特征或部分特征的意思。Speeded Up Robust Features（SURF，加速穩(wěn)健特征），是一種穩(wěn)健的局部特征點檢測和描述算法。SURF要在性能和速度之間取一個平衡，既降低描述子的維度，又要保證足夠的區(qū)分度。

特征點檢測后開始進(jìn)行匹配計算，常用的有暴力匹配(BruteForceMatcher)和最近鄰匹配(FLANN)兩種匹配方法。Valet Charge使用FLANN的變種KNN算法即K最近鄰(k-Nearest Neighbor，KNN)分類算法，這是一個理論上比較成熟的方法，也是最簡單的機(jī)器學(xué)習(xí)算法之一。該方法的思路是：如果一個樣本在特征空間中的k個最相似(即特征空間中最鄰近)的樣本中的大多數(shù)屬于某一個類別，則該樣本也屬于這個類別。最后使用Bundle Adjustment，中文是光束平差法，這是機(jī)器人視覺中最頂尖的方法，也是常見的SLAM算法，有時簡稱BA。就是利用非線性最小二乘法來求取相機(jī)位姿，三維點坐標(biāo)。在僅給定相機(jī)內(nèi)部矩陣的條件下，對四周物體進(jìn)行高精度重建。

BundleAdjustment的優(yōu)化目標(biāo)是讓重復(fù)投影誤差降到最低。與利用non-linear mean square 解三角同，bundle adjustment 中所有的參數(shù)，RCX均為變量。N幅圖則有N個姿態(tài)（Pose），X個點，這就會得到非常大的jacobbian Matrix.本質(zhì)上，使用雅克比矩陣進(jìn)行梯度下降搜索，同時迭代所有的q C X ，最終可以同時得到世界點坐標(biāo)，相機(jī)姿態(tài)== SLAM。



Dense地圖仍然由魚眼相機(jī)完成，Valet Charge中蘇黎世理工學(xué)院機(jī)器視覺與幾何實驗室將多魚眼相機(jī)用到了極致。特別是多目視圖的立體重建，多目立體視覺簡稱MVS，其實現(xiàn)方法簡單分為四大類，一是基于VOXEL體素的方法，二是特征點擴(kuò)展，三是基于表面演化，四是基于深度圖像融合。第四種比較靈活，因此廣泛使用，Valet Charge也使用了第四種和第一種。

首先抽出四個魚眼相機(jī)中一個相機(jī)的圖像，即左圖，抽出其透視圖，運行平面掃描立體匹配算法(Plane Sweep Stereo Matching)獲得深度圖像，就是中間這幅圖像。其余三個魚眼相機(jī)的同期三幅圖像也用平面掃描立體匹配算法獲得深度圖像，融合后得到右圖。

這樣得到的密度圖還是兩層的，需要再處理，首先計算出深度圖將其送入一個立體柵格圖中。每一個網(wǎng)格的體素（VOXEL）存儲信息包含柵格占有的似然值。然后原始高度圖與VOXEL逐點匹配。最終得到一個全局凸面優(yōu)化的單層高度圖。



最底層的路網(wǎng)地圖是一個離線地圖，也就是先驗地圖，是語義與尺度合成的地圖，儲存在停車場的地圖服務(wù)器上，主要由牛津大學(xué)機(jī)器人實驗室完成。綠線代表車輛的行駛軌跡，還包括建議速度，藍(lán)線代表可泊車空間。地圖為無人車提供精確的導(dǎo)航。大多數(shù)離線地圖一旦生成，升級都需要重新再做一遍，牛津大學(xué)的設(shè)計可以讓地圖自動升級，這就是牛津大學(xué)機(jī)器人實驗室所推崇的Introspective Active Learning，主動內(nèi)省學(xué)習(xí)法。 簡單地說就是用稀疏高斯處理分類器加信息向量機(jī)Informative Vector Machine (IVM),進(jìn)行機(jī)器學(xué)習(xí)。這是一種端到端的學(xué)習(xí)。



車輛每一次泊車出車都是一次升級，或者說內(nèi)省學(xué)習(xí)的過程，最終泊車出車的速度都可以大大提高。



藍(lán)色代表行人出現(xiàn)較少的區(qū)域，可以高速行駛，黃色代表行人出現(xiàn)較多的區(qū)域，需要低速行駛。這是多次學(xué)習(xí)得出的成果。



車輛在第一次泊車時，為保證可靠性，仍然需要車載的魚眼相機(jī)檢測停車位，這里是同提前制作的模板來檢測停車位。左圖為魚眼相機(jī)合成的俯視圖，中間這張圖是用模板檢測出來的停車位圖，右邊則是用谷歌衛(wèi)星地圖檢測的停車位圖。停車位模板一是基于形狀，而是基于帶顏色的停車線框。