本文譯自：
《3D-LaneNet：end-to-end 3D multiple lane detection》
原作者：
Noa Garnett, Rafi Cohen, Tomer Pe'er
原文鏈接：
https://arxiv.org/pdf/1811.10203.pdf

編者按：三維車道檢測是實現(xiàn)自動駕駛的關鍵技術，它需要對主控車輛的可行駛車道的三維位置進行精確估計。這篇文章提出了一個基于CNN的端到端的3D車道線檢測網(wǎng)絡3D-LaneNet，可以直接檢測多個車道，并估計車道曲率，對三維車道檢測的相關研究具有重大的啟發(fā)與促進作用。

摘要:
這里介紹一種架構，它可以直接從一張圖像預測出道路場景中的三維車道，這項工作標志著首次嘗試通過在線感知解決這一任務，而不是依賴于預先映射的環(huán)境。我們的網(wǎng)絡架構，3d-lanenet中有兩個新的概念，1.網(wǎng)絡內部的反透視變換。2.基于anchor的車道線表示。網(wǎng)絡內反透視變換投影使得在常規(guī)圖像視圖和俯視圖中都能方便地表示信息流.一個基于anchor的列輸出表示使得我們這個端到端的方法能夠替代傳統(tǒng)的啟發(fā)式方法，比如聚類和奇異點處理。此外，我們的方法精準的解決了復雜情況，比如車道的合并以及車道的分開（比如一條車道延伸之后分叉類似這種情況）。在我們的new 3D lane synthetic dataset 上，架構表現(xiàn)出了非常好的結果。為了和現(xiàn)有的方法作對比，我們驗證了在image-only tuSimple lane detection benchmark 上的有效性，并獲得了非常具有競爭力的表現(xiàn)。

1.介紹

三維車道檢測是實現(xiàn)自動駕駛的關鍵技術，它包括對相對于主控車輛的可行駛車道的三維位置的精確估計。存在兩種互補的技術解決方案:加載離線生成的預映射車道和基于感知的實時車道檢測。離線解決方案在給定精確當前車輛定位(在地圖坐標中)的情況下具有高的幾何精度，但是部署和維護起來很復雜。最常見的基于感知的解決方案是使用單目攝像頭作為主要傳感器來解決任務?，F(xiàn)有的基于相機的方法檢測圖像中的車道，然后通過平坦地面的假設，將它們投射到三維世界，當然當?shù)孛嫫教惯@個假設不對的時候，會導致不準確的估計與檢測。

受到近年來CNN在單目深度信息預測的成功激勵，我們提出了直接檢測3D車道線的方法。更正式地說，給定從前置攝像頭拍攝的一張圖像，任務是輸出一組車道實體，每個實體在相機坐標中表示為3D曲線，描述車道分隔符（分隔符就是傳統(tǒng)意義上的車道線）或車道中心線（中心線是兩條傳統(tǒng)意義上的車道線中間的線）。我們提出了3D- lanenet，一個基于CNN的模型，可以進行3D車道檢測。該網(wǎng)絡經過端到端的訓練，輸出是在道路的每一個縱向切片上（道路被豎著分為很多的列，每一個列相當于一個切片。），這些輸出包括車道線經過這個縱向切片的置信，以及他的3D曲線坐標。我們的方法原理在圖1中做了解釋。 我們直接的單階段的方法避免了使用現(xiàn)有方法進行后處理，包括聚類，奇異點處理等。整個網(wǎng)絡的架構基于一個創(chuàng)新的雙通路（并不是并行的）結構，這個結構在網(wǎng)絡內部，對特征圖進行一些透射投影變換以生成虛擬的鳥瞰視圖。這種雙特征表示（正常視圖特征，以及鳥瞰視圖特征，原文是image view 以及 top view）提高了在道路場景下，網(wǎng)絡的推斷能力。輸出被表示為一個新的基于列的anchor編碼（即在該anchor下的各種參數(shù)信息），這使得網(wǎng)絡具有水平不變形，并且保證了端到端。每個輸出都對應一個anchor，類似于基于anchor的單階段目標檢測辦法，比如SSD[20]，YOLO[27]。

圖1.(a)端到端的方法的原理圖解，以及在俯視圖上的車道檢測結果實例。(b)結果在原圖上的投影。

為了完成這項任務，獲取帶有3D標記的地面真實數(shù)據(jù)是一項需要多傳感器和昂貴的高清地圖的工作，在我們的工作中，我們訓練和測試我們的網(wǎng)絡通過一個新的和合成數(shù)據(jù)集synthetic-3D-lanes，你可以獲得每一條車道線的所有的精確3D位置坐標。數(shù)據(jù)集目前限制在高速公路場景中，盡管有一些道路模擬器，但是他們的目的不是為了3D車道線檢測任務的。并且限制了相關場景屬性(如車道曲率)的可變性。我們在該領域的主要成就是能夠隨機生成具有可變三維形狀和車道拓撲結構的高速路段。而我們方法的主要優(yōu)勢在于估計3D車道線，還有純圖像進行車道線檢測。我們在tuSimple數(shù)據(jù)集上對我們的直接方法進行了訓練和測試，在不使用通常的后處理技術的情況下，我們獲得了與現(xiàn)有技術相媲美的結果。
總結一下我們的主要貢獻：
定義了3D車道線檢測任務的度量標準，同時也第一個提出了3D檢測任務的解決辦法
一個創(chuàng)新的雙通路帶有內部投影變換的結構.
一個新的基于anchor的車道線輸出表示，使得網(wǎng)絡支持直接的端到端的預測。這可以應用于3D車道線檢測和基于圖像的檢測
一種隨機生成具有車道拓撲變化(車道數(shù)、匯集、分叉)和三維形狀的合成樣本的方法。

2. 相關工作

傳統(tǒng)的車道檢測系統(tǒng)(將低層次的操作(如方向濾波器)與高層次的啟發(fā)式(如霍夫變換)結合起來檢測圖像中的連續(xù)車道。一個通常的流程包括4個階段:局部車道特征提取(1)、車道模型擬合(2)、圖像與世界的對應(3)，聚合(4)。近年來，局部特征提取階段是通過對圖像應用一個或多個CNNs來完成的，但總體上流程仍然非常相似，后期處理仍然存在。

具體來說，CNNs可以通過增強邊緣圖或分類候選塊來改進特征提取。Huval檢測本地車道線通過目標檢測CNN。VPGNet Lee等人遵循類似的概念，并且額外檢測其他道路標記和消失點，以改進車道檢測。KIM和park重新定義了特征提取階段，將其作為一個分割問題，這個問題有兩個分類類別，左車道線和右車道線，延伸網(wǎng)絡的范圍來執(zhí)行（extending the reach of the network to perform clustering.）但是，仍然必須為每個cluster安裝一個世界坐標車道模型，并且無法處理多車道問題。Nevenetal.[23]嘗試端到端多車道檢測，通過訓練CNN不僅創(chuàng)建一個0，1車道像素掩碼，而且還為每個像素點嵌入用于聚類車道點的特征向量。Ghafooria提出使用生成對抗網(wǎng)絡使語義分割網(wǎng)絡的工作輸出在車道檢測的背景下更加真實。一些工作(如Meyer等人的，Oliveira等人的)是基于類似的方法構建的，其中主車道和相鄰的車道是語義類(車道內部整片而不是車道線)。

與所有提出的方法相反，3D- lanenet統(tǒng)一了前三個階段的共同流程，提供了一個完整的在三維世界坐標體系的多車道表示方法，并且只通過一次前向傳播。此外，以往的方法采用平面假設進行圖像到世界的對應，而我們的方法估計了車道的整個三維形狀。

IPM通過相機視角圖像生成一個場景的虛擬的鳥瞰圖，這個的具體操作Mal-lot et al. [21]在障礙檢測中解釋了。并且第一次被Pomer-leau在車道線檢測中使用，IPM已經在車道線檢測任務中被廣泛的使用，因為在鳥瞰圖視角中，車道線相互平行，并且他們的曲率情況可以用低階多項式擬合。此外，進行透視變換后，使得他們看起來更加的想近了，（當然會有一些模糊效果）（本來遠處的車道線在相機圖像上比較小。）最近，He等人引入了一種“Dual-viewCNN”它由兩個獨立的子網(wǎng)絡組成，每個子網(wǎng)絡產生一個車道線描述(每個視圖一個車道線描述)，然后將描述符連接并應用于候選圖像位置。Li等人使用CNN直接在鳥瞰圖上檢測車道標記和幾何屬性，如局部位置和方向，在鳥瞰圖上，這些屬性保持不變。此外，他們還部署了第二個循環(huán)網(wǎng)絡，該網(wǎng)絡遍歷圖像以檢測一致的車道。Neven等人使用子網(wǎng)絡(“H-net”)預測每張圖像中的俯仰，將車道投影到俯視圖，以改進曲線擬合。與以前的工作不同，我們使用協(xié)同的單一網(wǎng)絡方法來利用這兩種觀點。

更一般地，我們提出了第一種方法，這種方法使用端到端訓練的CNN直接檢測多個車道，并估計每個車道的三維曲率。我們還展示了我們的方法既適用于中心線，也適用于通常意義下的車道線，并且具有處理匯聚和分叉的能力，無需任何進一步的后處理。

圖2.在測試集’synthetic-3D-lanes dataset’上，置信度大于0.5的車道中心線估計結果實例。在每一幅圖片中，對真值（藍色）和方法的結果（紅色）進行了展示，并配有一個3D的可視化。需要主要的是，3D可視化軸的尺度根據(jù)場景而變化。被忽略的車道被標記為藍綠色。右下角是一個失敗的例子，可能是由于阻塞，在這個例子中，這條路被錯誤地認為是右車道。

3.方法

我們的方法從安裝在車輛上的前置攝像頭獲取單個圖像作為輸入，如圖4。我們假設相機的內參矩陣κ已知（焦距，光心）我們還假設車輛相對于路面的側傾角為0。我們假設不知道高度和俯仰角，因為隨著車輛的動力學運動，他們是會改變的。道路場景中的車道線可以被表示為中心線的集合{Ci}i=1:Nc或者車道線的集合{Di}i=1:Nd（之后車道線就指代傳統(tǒng)的我們說的車道線，中心線就是兩條車道線中的線）,如圖3所示。每條車道實體(中心線或車道線)用攝像機坐標體系Ccamera下的三維曲線表示。我們將任務定義為檢測給定圖像的一組車道中心線和車道線。

圖3. 帶注釋的例子。中心線用藍色標出，車道線用黃色虛線標出


圖4.相機姿態(tài)和道路投影面


3.1俯視圖投影
我們簡要回顧 (IPM)。簡而言之，IPM是一個單應性變換，它獲取一個前視圖圖像并生成一個虛擬鳥瞰視圖圖像，如圖1(a)中的圖像所示。這相當于應用相機旋轉矩陣，然后在各個方向上進行不同尺度的縮放（放大或縮?。┨幚怼Ｔ谖覀兊膶崿F(xiàn)中，我們想要確保鳥瞰視圖圖像中的每個像素在道路上對應一個預定義位置（路面坐標系下的絕對位置），這個位置獨立于攝像機的內部特性及其相對于道路的姿態(tài)。

如圖4所示，對照此圖進行定義，相機坐標Ccamera = (´x,´y,´z) 是一個集合，´y是他的鏡頭面法線（´y是深度方向），Proad是路面的切面。我們這樣定義路面坐標系Croad=(x,y,z)，z方向是路面的法線，y是相機坐標系´y在Proad的投影，原點也是相機坐標系原點在路面切面上的投影，Tc2r是一個6自由度的變換矩陣（3個旋轉，3個平移），他描述從相機坐標系到路面坐標系的一個變換，既然我們假設了側傾角為0，那么Tc2r實際上被俯仰角θ以及高度hcam所定義。單應性矩陣（K*Tc2r-1），將路面上的每一個點映射到圖像坐標系上。最后IPM通過單應性矩陣以及一組參數(shù)被獲得，決定了俯視圖上的邊界以及從米到像素的縮放尺度，俯視圖通過雙線性差值采樣，這個過程定義Sipm。

3.2射影轉換和雙特征模塊
在我們的結構中一個主要的部分是射影變換層。它對Ui（普通圖像視圖）進行可微采樣，獲得Ut，Ut對應俯視特征圖。具體的在俯視圖投影部分講述了（就是三維的STN）。雙特征模塊，正如在圖5中所示，使用射影變換層，創(chuàng)造更高描述層級的特征圖。信息在在多通道的特征圖Ut（對應正常視圖特征）和Vt（對應俯視圖特征）之間流動，使用上述的采樣方法（類STN方法）Ui被變換為Ut，并且和Vt合并，他么分享共同的空間尺度。以上就只這個基礎模塊，他可以在網(wǎng)絡中重復使用?？紤]現(xiàn)在有一個特征圖Mt，他的獲得是通過將Vt與Ut合并為[Vt;Ut]，然后應用一個卷積層，獲得Mt，Mt組合了在車道線檢測中的兩個有用的性質。1.首先，俯視圖上的平移不變性，這十分有價值，因為在俯視圖上，車道線有著相似的樣子和空間上的幾何結構。第二，保存了在兩個視角下的信息（正常視圖與俯視圖），正常視圖編碼了一些在俯視圖上沒有的信息，比如柵欄，天際線，樹木。這對于3D空間結構至關重要。特別的，對于遠處來說，正常視圖有著更加豐富的視覺信息，相比于俯視圖，描述了一個更大的真實空間。

圖5.雙特征模塊

3.3網(wǎng)絡架構
架構總覽如圖6所示，信息在兩條通路中被處理，正常視圖通路，俯視圖通路，我們管這個叫做雙通路結構。正常視圖通路處理和保存信息，而俯視圖通路提供具有平移不變性的特征，并用于預測3D車道線輸出。正常視圖通路基于VGG16[29]，俯視圖通路類似。信息經過射影變換層后流向俯視圖通路，這樣的通路有四條。為了避免流入的特征圖的通道(C)數(shù)超過原有的通道數(shù)，通過1*1的卷積對其進行了降維，當然除了第一次流入（第一次流入沒有原來的）。

圖6.3D-LaneNet的整體結構

3.3.1道路投影預測分支
這條通路估計路面投影平面Proad，具體的，分支預測Tc2r（通過監(jiān)督方式），Tc2r決定了Hr2i，以及Sipm過程。這些是俯視圖處理通路所需要的參數(shù)。在推理時，也被用于將網(wǎng)絡的輸出，輸出是Croad坐標轉換為Ccamera坐標。正如前邊所描述過的，Tc2r使用俯仰角θ以及hcam定義的，因此道路投影預測分支預測這兩個參數(shù)。

3.3.2車道線預測頭
我們的端到端方法的核心是基于anchor的車道線結果表示，受到目標檢測方法的啟發(fā)，我們使用anchors去定義候選車道線，并且用精細的幾何表示方法來描述每個anchor的精確的3D車道線形狀。輸出所在的坐標體系是Croad，這個體系被前邊定義的hcam，和θ所定義。我們的ahcnors在這個坐標系下對應縱向線，對于每一個anchor，根據(jù)3D點，做最終3D車道線的精細化處理。正如圖7所展示的那樣。我們將anchor定義為垂直于x軸的等距縱向線，他的集合是{XiA}i=1:N，每一個XiA線對應著2K個輸出，這個輸出集合表示為(xi,zi)={(xij,zij)}j=1:K，K是預先定義的一個超參數(shù)，對應著預先定義好的K個y方向上的位置，他們一起組成一個3D點集。xi代表著相對于anchorXiA的水平偏移，這意味著(xi,zi)代表著點(xi,XiA,yi,zij)，這個坐標是在Croad這個坐標體系下的。此外對于每一個anchor i，我們還會輸出一個置信pi，這個代表著車道線與anchor的關聯(lián)程度。我們使用一個預先定義的縱坐標Yref位置來表述這種關聯(lián)，具體來說與XiA相關聯(lián)的車道線，是在y = Yref這條水平線上，x的坐標偏移最小的那條車道線（簡單看一下output的數(shù)量 2K個點加上一個置信p也就是說一個anchor對應2K+1個輸出，如果只預測一條中心線，或者只預測一條車道線的話）。

圖7.輸出表示。注意輸出的anchor的數(shù)量等于輸出層的寬（圖6中被標記為w/8）

每一個anchor，網(wǎng)絡輸出3種類型的車道分割，前兩組代表著中心線，第三組代表著分隔線，為每個anchor分配兩條可能的中心線將產生對匯聚和分叉的描述支持，這通常會導致兩條車道的中心線在Yref重合，并在不同的道路位置分開，如圖7中最右邊的例子所示。車道線的拓撲結構相比于中心線來說，通常會更加的復雜，我們現(xiàn)在的這種表示方式，還不能描述所有的情況，比如圖7中車道線沒有經過Yref。車道線預測頭被設計為輸出如我們描述的那樣的輸出，通過一系列的y方向的無padding的卷積，特征圖在H方向上逐漸減小，最終形成N×1×3×(2K+1)的輸出（按照標準pytorch描述，可以說成是batch, (3*(2K+1),1,N)，前面最后一個之所以乘3，是對每一個車道輸出三種描述，分別是中心線，中心線，和車道線）中的一個i∈{1...N}，對應著一個anchorXiA，每一個anchor，XiA，類型t∈{c1,c2,d}被輸出表示為(xti,zti,pti)，最終的輸出還會經過一個1D的非極大抑制，就如在目標檢測中的那樣，只保留局部最大置信度的車道(與左右相鄰anchor相比)，每一個被保留的車道線，都有少量的3D（K個）點，然后利用他們，利用樣條插補的方式完成光滑曲線的生成。


3.4訓練與真值關聯(lián)
給定一個圖片，和他對應的3D曲線，訓練過程如下：第一真值坐標系Croad被定義為與當前路面切面相關的，使用θ和hcam定義的，如前面所描述的那樣。接下來，每一個車道曲線，投影到Croad坐標系下的X–Y平面上，并且與他們關聯(lián)的anchor定義為在Yref處與他們最近的那個。（這里的關聯(lián)就是這個anchor負責預測哪個，與yolo里目標中心落在哪個小方格中心，哪個小方格就預測誰類似）對于每一個anchor來說，最左側的中心線，以及最左側的車道線t∈{c1,c2,d}被定義為集合中的c1和d1，如果還有額外的中心線，那門它被定義為c2。這種方式將真值定義為與輸出相同的形式，每一個anchorXiA和類型t相關的GT被標記為(xti,zti,pti)，pti是在坐標系Croad下的分配標識（我理解為有就是1，沒有就是0）。

在訓練以及評估階段，整個車道將會被忽略，如果他們在俯視圖中在y = Yref處沒有值，并且如果他們被地形所擋住，他呢也將被忽略（比如被小山丘擋?。麄€的loss函數(shù)被給出，如下，它結合了三個等權重的loss，車道線檢測（有無）（交叉熵損失）三維幾何形狀損失，以及道路平面估計損失。

4. 模仿合理行為

我們的實驗描述按如下步驟：我們先回顧一下我們生成的synthetic-3D-lanes 數(shù)據(jù)集，我們的大多數(shù)結論產生于此。接下來，我們描述下對于3D車道檢測任務的評估方法，然后，我們展示在我們制作的這個數(shù)據(jù)及上的結果，以及控制變量法檢查每一個概念（方法）對于我們整個方法的貢獻。最后，為了證明我們的方法在真實數(shù)據(jù)上的可用性，我們將我們的方法與其他單圖片車道檢測辦法在tuSimple benchmark 上進行了比較。

4.1合成的3D車道數(shù)據(jù)集
我們生成synthetic-3D-lanes 數(shù)據(jù)集使用考元的圖形引擎blender，我們的方法允許我們隨機生成模型的各個部分，從場景的3D幾何形狀，到目標的類型，如圖8所示。

圖8.隨機生成的數(shù)據(jù)集。(a)路面(b)道路拓撲結構和曲率(c)路與路面(d)渲染場景。

生成每一個場景的步驟如下：
3D地形：地形通過隨機生成參數(shù)的高斯混合分布來生成，如圖8a所示。
地形拓撲：車道的數(shù)量是被選定的，然后我們選擇是否有第二條路，和在這條路里的車道，取決于后來在場景中相機的方向，第二車道的連接被視為一個車道匯聚或者車道分叉。
車道曲率：每一個車道在俯視圖中的幾何形狀用三次多項式建模，如果存在匯聚/分叉，則選擇連接點，這個在俯視圖上的結果如圖8b所示，車道的寬度被隨機選擇為3到4米。
3D車道：俯視圖上生成的三次多項式會被映射到之前生成的地形上，第二車道也是，模仿正常道路的拓撲結構，如圖8c所示的那樣。
地形和道路表示：道路和地形的紋理是從一組紋理中選擇的。車道標記的類型和顏色也是隨機的。
目標：車輛和樹木分別擺放在場景中、道路上和道路外。它們的模型是從一組可選模型中選擇的。
場景生成：主車相機通過選擇它的車道和他相對于車道中心的橫向偏移放置在主道路上。相機的高度被隨機設置為140cm到190cm，俯仰角被隨機生成為0到5度，最終，光度被設置，并且場景從相機視角生成，每條車道中心線與車道線的3D點被轉換為相機坐標系下的坐標，來產生真值。圖8包括幾個場景的例子，展現(xiàn)了場景的多樣性與復雜性。
應用細節(jié)：正常視圖通路用預訓練的VGG16進行初始化，我們使用adam優(yōu)化方法，學習率設置為5.1*10-4，我們使用在循環(huán)學習率上的變化機制如[30]中描述的那樣，并且設置最小的學習率為10-6俯視圖上的場景在真實場景中的尺寸為80m*20m，IPM在x與y兩個方向上具有不同的縮放尺度，在第一次俯視圖特征圖上（第一次變換的）每一個像素點代表著真實世界16cm的寬度（x向）和38.4cm的長度（y向）最后一張?zhí)卣鲌D的邊長是第一張的八分之一，并且每一列代表一個anchor，所以兩個臨近的anchor之間的距離為真實世界中的128cm（16*8），我們將K設置為6，預設的y的位置為:y={5,20,40,60,80,100}和Yref=20m。

4.1.1評估方法
我們提出一種對于3D車道檢測的評估辦法，他講檢測的準確率與幾何估計準確率分割開來，檢測準確率通過標準的平均精度辦法(AP)來計算回歸曲線的精度。我們首先計算真值曲線與預測曲線的加權歐式距離，我們計算在預先設定的各個y位置上距離，每80cm的圖片距離代表實際的80m，遠處的點的距離計算給予較低的權重，然后，我們通過選擇減少相似性的配對來執(zhí)行一對一(曲線)匹配，當他們的加權距離小于一個閾值，匹配被認為是成功的，迭代這個閾值，已獲得更加精確地閾值。

對于配對的曲線，我們評估幾何估計精度通過計算他們誤差的分布，（這在計算距離的時候用到過），我們將整個數(shù)據(jù)集的車道線點分為近距離（0-30m）與遠距離（30-80m）由于他們誤差的巨大差異。然后我們計算誤差為1δ誤差的，比如百分之68這樣，還有誤差為2δ誤差的，比如百分之95類似這樣，道路中心線與車道線都各自用這種方法評估。在訓練階段被忽略的那些點，在評估的時候也被忽略。

4.1.2評估結果
在測試集上典型的網(wǎng)絡結果如圖2，用真值做標記。表1第一行為3D-LaneNet中心線檢測定量結果。一個對合成數(shù)據(jù)集有必要的擔心是，他的變換實在是太有限了，導致網(wǎng)絡記住了整個樣例空間，而不是去學習如何泛化，一個積極地結果表明這種情況沒有發(fā)生是測試集的AP(0.952)略低于訓練集AP（0.966）對于幾何誤差也是同樣的。在接下來的控制變量實驗中，我們都用訓練好的3D-LaneNet的參數(shù)做初始化，用以減少訓練時間。
表1.在synthetic-3D-lanes dataset 上的中心線檢測結果


我們首先通過與其他結構進行比較來探求雙通路結構的作用，只有正常視圖通路的版本，將網(wǎng)絡后部分直接連接到lane detection head 輸出Croad下的3D坐標，就如完整版本那樣，這個時候anchor 被最后一張?zhí)卣鲌D上的列所決定，對于每一列，我們在預定義的圖像y坐標上選取一個像素，并將其投影到俯視圖中，以確定與列對應的anchor。只有俯視圖版本，首先將圖片投影到俯視圖上，然后后面繼續(xù)進行和完整版本的俯視圖通路同樣的計算。除此之外，我們還測試了兩個版本，它們包含雙通路結構，但是這個機構的個數(shù)和位置不同。Early IPM版本包含一個雙特征模塊（dual context module），并且是第一個，late IPM同樣只包含一個，不過包含的的是最后那個。結果在被總結在表格1中，結果表示了，帶有完全體雙特征模塊的相對于其他變體有著非常好的超級表現(xiàn)，特別的，只有正常視圖通路的有著最差的結果，這說明，俯視圖通路的處理是十分有必要的。注意late ipm版本，只包含一個雙特征模塊，表現(xiàn)出了第二高的準確率，但是卻減少了很多的計算，這使他成為一個可實時應用的候選模型。

我們嘗試了幾個版本的道路投影平面定義，這是我們架構和輸出表示的核心，我們的第一個嘗試是在沒有顯示監(jiān)督的情況下，學習每個場景的最佳道路投影平面，類似于[23]中的“H-net”地平線估計，但是這種方法沒有得到令人滿意的結果。我們認為這一方向值得進一步研究，因為這是最自然的方向。另一個自然的選擇是在擬合道路平面時考慮整個場景，而不僅僅是局部道路的發(fā)現(xiàn)。為此，我們設計了一種地面真值生成算法，該算法取最遠處可見的道路點，并將其與當前道路位置相連接以確定俯仰角。由于這種方法類似于水平估計方法，所以在表格中將其稱為水平（horizon）。顯然，它的表現(xiàn)總的來說略差，雖然我們一直觀察的情況下，場景地形有利于這一定義。我們也嘗試假設一個固定的相機位置，其中平均俯仰角為(2.5?)和相機高度(165厘米)這兩個數(shù)據(jù)被用來定義Tc2r。

表格1中的最后一行顯示了假定地面是平坦的圖像到世界轉換的結果。這通過將我們完整版的網(wǎng)絡中估計的z設置為0來實現(xiàn)。盡管這個糟糕的結果有一些繁瑣，并且有著高度的數(shù)據(jù)依賴性，但他還是告訴我們3D車道探測的重要性。帶著0.966的AP，完整版的3D車道檢測網(wǎng)絡在車道線的檢測上超過了中心線的檢測，這可能是因為在圖片中，車道線有比較明顯的顯示。在他們的位置誤差分布上也是同樣的（nearrange: 10.5cm@1σ,28cm@2σ; far range:27.3cm@1σ and 106cm@2σ）

既然輸出從路面坐標系通過Tc2r轉換到了相機坐標系，我們也評估了這種估計的質量以及他對最終結果的影響。俯仰角和相機高度誤差的中位數(shù)為0.09°和2.4cm，為了消除這兩個誤差對最終結果所造成的影響，我們評估了Croad下的坐標，方法是通過直接拿到網(wǎng)絡的原始輸出。

5. 總結及未來工作

我們提出了一個單幀單次cnn前向傳播，不需要其他后續(xù)處理工作的車道檢測辦法。在tuSimple benchmark 上，我們展現(xiàn)了富有競爭力的結果，并且在我們合成的3D車道線數(shù)據(jù)及上，我們的方法能夠進行多車道的3D檢測。最重要的是，接下來的研究證明了這是可以應用在真是世界的數(shù)據(jù)上的。我們現(xiàn)在的表示在（在縱向上的anchor，判斷Yref存在與否）還比較粗糙，這限制了該方法對車道復雜拓撲結構的表示，比如城市內部，在接下來的工作中，我們會更新我們的表示方法使用端到端的機制來來處理這些情況。