日本无码免费高清在线|成人日本在线观看高清|A级片免费视频操逼欧美|全裸美女搞黄色大片网站|免费成人a片视频|久久无码福利成人激情久久|国产视频一二国产在线v|av女主播在线观看|五月激情影音先锋|亚洲一区天堂av

  • 手機站
  • 小程序

    汽車測試網(wǎng)

  • 公眾號

    • 汽車測試網(wǎng)

    • 在線課堂

    • 電車測試

基于機動LSTM的周圍車輛多模態(tài)軌跡預測

2018-12-02 17:15:44·  來源：智車科技  作者：Nachiket Deo  
　
摘要：為了安全有效地通過復雜的交通場景，自動駕駛車輛需要有能力預測周圍車輛的未來運動。多個相互作用的智能體、駕駛員行為的多模性以及任務(wù)中固有的不確定性
摘要：為了安全有效地通過復雜的交通場景，自動駕駛車輛需要有能力預測周圍車輛的未來運動。多個相互作用的智能體、駕駛員行為的多模性以及任務(wù)中固有的不確定性使得周圍車輛的運動預測成為一個具有挑戰(zhàn)性的問題。

本文提出了一種基于LSTM模型的高速公路周邊車輛交互感知運動預測模型。我們的模型為車輛進行機動分配置信值，并在此基礎(chǔ)上輸出未來運動的多模態(tài)分布。我們比較了我們的方法與現(xiàn)有技術(shù)的車輛運動預測的公開有用的NGSIM US-101和I-80數(shù)據(jù)集。我們的結(jié)果表明，在預測誤差的均方根值方面有了改進。我們還對所提出的模型的組成部分進行了分析，并分析了該模型在復雜交通場景中所作的預測。

作者：Nachiket Deo and Mohan M. Trivedi
原文題目：Multi-Modal Trajectory Prediction of Surrounding Vehicles with Maneuver based LSTMs

Ⅰ介紹
在復雜交通中部署的自動駕駛車輛需要平衡兩個因素：車內(nèi)乘客和周圍人的安全，以及在不阻礙交通的情況下高效運行。車輛需要有自我決策的能力，例如，決定何時改變車道，通過沒有信號的交叉口，或超過另一輛車，這就要求自動駕駛系統(tǒng)對周圍車輛的未來運動有一定的推理能力。這可以在現(xiàn)有的戰(zhàn)術(shù)路徑規(guī)劃算法[30]-[32]中看到，所有這些算法都依賴于對周圍車輛未來軌跡的可靠估計。
 
許多方法使用運動模型來預測車輛軌跡[26]-[29]。然而，對于更長的預測范圍，運動模型可能是不可靠的，因為由于駕駛員所作的決定，車輛的軌跡往往是高度非線性的。這可以通過數(shù)據(jù)驅(qū)動的軌道預測方法[5]、[10]-[12]來解決。這些方法通過最小化訓練數(shù)據(jù)集中預測軌跡與真實軌跡之間的誤差，將軌跡預測問題轉(zhuǎn)化為一個回歸問題。基于回歸的方法的一個陷阱是駕駛員行為固有的多形態(tài)。在相同的交通環(huán)境下，人類司機可以做出許多決定之一。例如，一個司機以更快的速度接近他們的領(lǐng)頭車輛，或者減速，或者改變車道、加速超車?；诨貧w的方法傾向于輸出這些多重可能性的平均值，因為平均預測可以最小化回歸誤差。然而，平均預測可能不是一個好的預測。例如，在上面描述的示例場景中，平均預測將保持在沒有減速的車道上。因此，我們需要彈道預測模型，以解決預測的多模態(tài)性質(zhì)。
圖1.在復雜交通中部署的自動駕駛車輛(如圖中所示)，需要有能力預測周圍車輛的未來運動。我們提出的LSTM模型允許基于機動類對周圍車輛軌跡進行非線性和多模態(tài)預測。它還為每個模式分配了相應概率，并在每個模式周圍輸出了預測的不確定性。
本文將機動用于多模態(tài)軌跡預測，通過學習一個為不同機動類分配概率的模型，并為每個機動類輸出機動的具體預測。隨著長時記憶(LSTM)網(wǎng)絡(luò)在序列學習和生成任務(wù)中非線性時間依賴性建模的成功[5]、[23]、[24]，我們提出了一種適用于高速公路交通情況下車輛機動和軌跡預測的LSTM模型。它使用車輛及其周圍車輛的軌跡歷史以及高速公路的車道結(jié)構(gòu)作為輸入。它給出了六個機動類的置信度值，并在此基礎(chǔ)上預測了未來運動的多模態(tài)分布。我們使用NGSIM US-101[2]和I-80[3]在加利福尼亞多車道高速公路上收集的真實車輛軌跡數(shù)據(jù)集來訓練和評估我們的模型。
Ⅱ.相關(guān)研究
機動模型：在先進的駕駛輔助系統(tǒng)和自然駕駛研究[7]-[9]，[19]，[20]中，車輛運動被廣泛地分為機動類。在[1]，[6]中對基于機動的模型進行了全面的綜述。特別令人感興趣的是使用公認的機動來更好地預測未來的軌道[10]、[11]、[13]-[16]。這些方法通常包含一個機動識別模塊，用于對機動和機動特定軌跡預測模塊進行分類。機動識別模塊是一種典型的分類器，它利用車輛過去的位置和運動狀態(tài)以及背景線索作為特征。采用啟發(fā)式分類器[13]、貝葉斯網(wǎng)絡(luò)[14]、隱馬爾可夫模型[10]、[11]、隨機森林分類器[16]和遞歸神經(jīng)網(wǎng)絡(luò)進行機動識別。
彈道預測模塊在給定機動級的情況下輸出車輛的未來位置。將多項式擬合[13]、機動運動模型[14]、高斯過程[11]、[15]、高斯混合模型[10]用于彈道預測。許多方法[10]、[16]-[18]也考慮到車輛之間的相互作用，以分配機動類別和預測軌跡。在[10]，[18]中使用了基于車輛相對配置的手工設(shè)計成本函數(shù)來對周圍的所有車輛進行最優(yōu)機動分配。然而，這些方法可以受到成本函數(shù)設(shè)計得有多好的限制。其他工作[16]，[17]隱式學習車輛相互作用的軌道數(shù)據(jù)的實際交通。在這里，我們采用了第二種方法，因為有大量的實際高速公路交通數(shù)據(jù)集[2]，[3]。
 
運動預測的遞歸網(wǎng)絡(luò)：由于運動預測可以看作是一種序列分類或序列生成任務(wù)，近年來提出了許多基于LSTM的機動分類和軌跡預測方法。Khosroshahi等人[19]和Phillips等人[20]使用LSTM對交叉路口的車輛機動進行分類。Kim等人[21]提出了一種LSTM，用于預測車輛在未來使用網(wǎng)格中的間隔為0.5s、1s和2s的位置。與此方法相反，我們的模型輸出車輛未來位置的連續(xù)、多模態(tài)概率分布，預測范圍為5s。Alahi等人[5]提出了社交LSTM，它通過使用社會集合層來聯(lián)合建模和預測密集人群中行人的運動。然而，高速公路上的車輛運動比人群中的行人有更多的結(jié)構(gòu)，可以利用這些結(jié)構(gòu)來做出更好的預測。具體而言，車輛的相對位置可以用車道結(jié)構(gòu)和行駛方向簡潔地描述，車輛的運動可以被合并為機動類，其知識可以改善運動預測。Lee等人[22]使用基于RNN編解碼器的條件變分自動編碼器(CVAE)進行軌跡預測。采樣的CVAE允許多模態(tài)預測。相反，我們的模型輸出多模態(tài)分布本身。最后，Kuefler等人[4]使用基于門控遞歸單元(GRU)的策略，利用行為克隆和生成對抗性模仿學習范式，生成車輛運動模型的加速度和偏航率值。我們將我們的彈道預測結(jié)果與文獻[4]中的結(jié)果進行了比較。
III.問題的制定
我們用運動預測來估計車輛未來位置的概率分布，這種概率分布取決于車輛的軌跡歷史和周圍車輛在每一時刻的行駛軌跡。
圖2.頂部：用于軌跡預測的協(xié)調(diào)系統(tǒng)。被預測的車輛以黑色顯示，而考慮到的相鄰車輛則以藍色表示。底部：橫向和縱向機動等級
A.參考框架
我們使用一個固定的參照系，將原點固定在時間t上，如圖2所示。y軸指向高速公路的運動方向，x軸是垂直于它的方向。這使得我們的模型獨立于車輛軌跡的獲取，特別是可以應用于自動車輛上的車載傳感器。這也使得模型不依賴于道路的曲率，只要有可用的車載車道估計算法，就可以在高速公路上的任何地方應用。
  
B.投入和產(chǎn)出
我們模型的輸入是軌道歷史的張量
其中
如圖2所示，x和y在被預測車輛的時間t和圍繞著它的六輛車之間是協(xié)調(diào)的。我們選擇這六輛車，因為它們對車輛的運動影響最大。
模型的輸出是概率分布
其中
是預測車輛的未來坐標。
圖3.提出的模型：軌跡編碼器LSTM在上下文向量中對被預測車輛及其相鄰車輛的航跡和相對位置進行編碼。上下文向量附加了橫向和縱向機動類的機動編碼。解碼器lstm在每個時間步長生成車輛位置的機動特定未來分布，機動分類分支分配機動概率。
        
C.概率運動預測
我們的模型估計了條件分布P(Y | X)。為了使模型產(chǎn)生多模態(tài)分布，我們將其擴展為機動mi，并給出：
其中
是未來每個時間步長的二元高斯分布的參數(shù)，對應于未來位置的均值和方差。
D.機動類別
我們考慮三個橫向和兩個縱向機動類別，如圖2所示。橫向機動包括左、右車道的改變和保持車道的機動。由于車道變換涉及準備和穩(wěn)定，我們將車輛定義為車道變換狀態(tài)，在實際交叉時間內(nèi)保持±4s，縱向機動分為正常駕駛和制動。當車輛在預測時的平均速度小于其速度的0.8倍時，我們將其定義為執(zhí)行制動機動。我們用這種方式來定義我們的機動，因為這些機動類是由車輛通過轉(zhuǎn)彎信號和剎車燈相互傳遞的，這將成為今后工作中的一個線索。
IV.模型
A.LSTM編碼器-解碼器
我們提出的模型如圖3所示。我們使用編解碼框架[23]。軌跡編碼器LSTM以預測車輛及其六輛相鄰車輛的過去位置的幀為輸入。編碼器LSTM的隱藏狀態(tài)向量在每個時間步驟中根據(jù)隱藏狀態(tài)更新。我們提出的模型如圖3所示。我們使用編解碼框架[23]。軌跡編碼器LSTM以預測車輛及其六輛相鄰車輛的過去位置的幀為輸入。編碼器LSTM的隱藏狀態(tài)向量在每個時間步驟根據(jù)前一時間步驟的隱藏狀態(tài)和當前時間步驟中車輛位置的輸入幀進行更新。軌道編碼器LSTM的最終狀態(tài)可以用來編碼關(guān)于這7輛車的軌道歷史和相對位置的信息。然后，解碼器LSTM使用該上下文向量作為輸入。在每一時間步驟中，對于未來的 tf 幀，基于編碼的上下文向量和LSTM狀態(tài)在前一時刻更新解碼器LSTM狀態(tài)。解碼器在每一時間步輸出，一個5-D矢量Θ(t)對應于二元高斯分布的參數(shù)，給出預測車輛的未來位置在當時瞬間的分布，取決于軌跡歷史。

B.機動相關(guān)預測
上一節(jié)描述的編解碼模型輸出單模態(tài)機動無關(guān)的軌跡分布.為了使解碼器產(chǎn)生一個基于六個機動類的多模態(tài)軌跡分布，我們在編碼器上下文向量中附加了對應于橫向機動類的一個熱向量和對應于縱向機動類的一個熱向量。增加的機動上下文允許解碼器LSTM生成方程（1）中給出的機動比概率分布。為了得到每個機動類給定軌跡歷史的條件概率，我們對圖3所示模型的機動分類分支進行了訓練。  機動分類LSTM與軌跡編碼器LSTM具有相同的輸入。它有兩個輸出的Softmax層來預測橫向和縱向機動類的概率。在給定航跡歷史的情況下，假定橫向和縱向機動類條件獨立，則通過取相應的橫向和縱向機動概率的乘積，得到。
C.實施細節(jié)
我們使用128個單元的LSTMS作為編碼器、解碼器和機動分類分支。輸入向量X(T)在輸入到LSTM層之前，使用64個單元完全連接的層嵌入，該層具有α=0.1的泄漏關(guān)系激活。雖然彈道編解碼和機動分類模型在測試過程中是同步使用的，但我們分別對模型進行了訓練。軌跡編解碼器被訓練成最小的負對數(shù)似然損失的地面真相，未來位置的韋?？死账诡A測的軌跡分布。上下文向量為每個訓練樣本附加機動類的地面真值。對機動分類模型進行訓練，使預測和地面真實、橫向和縱向機動類別的交叉熵損失之和最小。這兩個模型都是使用ADAM[25]訓練的，學習率為0.001。這些模型是用Keras[33]實現(xiàn)的。
V.實驗評價
A.數(shù)據(jù)集
在45分鐘的時間內(nèi)以10赫茲捕捉到的真實高速公路交通軌跡。每個數(shù)據(jù)集包含15分鐘的輕度、中度和擁擠交通狀況片段。數(shù)據(jù)集提供了投射到本地協(xié)調(diào)系統(tǒng)的車輛的協(xié)調(diào)，如第IIIA節(jié)所定義的。我們將數(shù)據(jù)集分為訓練集和測試集。測試集中使用了US-101和I-80數(shù)據(jù)集的三個子集中每個子集的第四條軌跡。我們將軌跡分割成8s的段，其中我們使用了3s的軌跡歷史和一個5秒的預測視界。在數(shù)據(jù)集采樣率為10 Hz的情況下，對這8s段進行采樣。然而，為了降低模型的復雜度，我們在將每個片段放入LSTM之前，將其降至2倍。
圖4.數(shù)據(jù)集：用于收集用于評估的NGSIMUS-101[2]和NGSIMI-80[3]數(shù)據(jù)集的站點的布局和自上而下的視圖。這些數(shù)據(jù)集由多車道高速公路上的車輛在不同交通密度下的實際軌跡組成，這些高速公路上有進出坡道。
B.模型比較
我們用預測誤差的均方根值在5秒內(nèi)報告結(jié)果，就像在[4]中所做的那樣。對以下模型進行了比較：
  • 恒速(CV)：我們使用等速卡爾曼濾波器作為最簡單的基線
  • C-VGMM VIM：我們使用了基于機動的變分高斯混合模型，并以[10]中描述的基于馬爾可夫隨機場的車輛相互作用模型作為我們的第二基線。我們修改模型以使用本工作中描述的機動類，以便進行公平的比較。
  • Gail-GRU：我們考慮了[4]中描述的基于生成性對抗性模仿學習的GRU模型。由于在這兩部作品中都使用了相同的數(shù)據(jù)集，所以我們使用了作者在原始文章中報告的結(jié)果。
  • 機動-LSTM(M-LSTM)：最后考慮了本文提出的模型。由于每條基線都進行單峰預測，為了進行公平的比較，我們使用了我們所提出的模型所給出的最大概率與機動相對應的預測。
C.結(jié)果
表一顯示了被比較的模型的預測誤差的均方根值。我們注意到，文[4]提出的M-LSTM模型和Gail模型明顯優(yōu)于[10]的CV基線模型和C-VGMM vim模型，這表明了遞歸神經(jīng)網(wǎng)絡(luò)在汽車非線性運動建模中的優(yōu)越性。特別是，對于較長的預測間隔，RMS值的減少更加明顯。我們還注意到，與Gail模型相比，M-LSTM對所有預測區(qū)間的預測誤差都較小。從誤差值的趨勢來看，隨著預測層數(shù)的增加，Gail模型似乎正在趕上M-LSTM模型。然而，我們需要考慮這樣一個事實：[4]中的Gail軌跡是通過一次運行一輛車來生成的，而周圍的所有車輛都是根據(jù)NGSIM數(shù)據(jù)集的實際情況移動的。因此，該模型能夠獲得預測視界內(nèi)相鄰車輛的真實軌跡。
圖5.模型各部件的燒蝕性分析：預測誤差的均方根值表明了在軌道編碼器中對相鄰車輛的航跡進行建模和使用機動識別模型的意義。
D.燒蝕分析
我們對模型的組成進行了分析，以研究它們對運動預測的相對意義。特別是，我們試圖檢驗使用相鄰車輛的軌跡歷史和使用機動分類分支的意義。我們對下列系統(tǒng)設(shè)置的預測誤差的均方根值進行了比較：
  • Vanilla LSTM(V-LSTM)：這只是在編碼器LSTM中使用預測車輛的跟蹤歷史
  • 環(huán)繞式LSTM(S-LSTM)：這還考慮了編碼器LSTM中相鄰的車輛跟蹤歷史
  • 環(huán)繞式LSTM機動識別(M-LSTM)：這考慮了本文提出的完整模型
  • 用地面真實機動(M-LSTM(GT)包圍LSTM：最后，我們還考慮了具有機動類地面真值的M-LSTM，用改進的機動識別來衡量彈道預測中的潛在改進。
圖6.預測分析：(A)多模態(tài)預測；(B)領(lǐng)先車輛的影響；(C)相鄰車輛的影響
圖5示出所考慮的4個系統(tǒng)設(shè)置的預測誤差的rms值。我們觀察到S-LSTM模型優(yōu)于Vanilla LSTM模型，表明相鄰車輛的運動是預測車輛未來運動的重要線索。M-LSTM進一步提高了預測精度，說明機動分類在運動預測之前是有用的。隨著預測間隔的延長，這兩種效應似乎變得更加明顯。此外，我們還從M-LSTM(GT)的RMSE值中注意到，如果機動分類更準確，還可以進一步改進。
E.對預測的定性分析
在本節(jié)中，我們定性地分析了我們的模型所做的預測，以了解其在各種流量配置中的行為。圖6顯示了六種不同的流量場景。每個圖顯示了過去3秒的軌跡歷史圖，以及每個機動類在接下來的5秒內(nèi)的平均預測軌跡。預測軌跡圖的厚度與分配給每個機動類的概率成正比。另外，每個圖都顯示了完整預測分布的熱圖。
圖5(A)示出了由該模型為即將改變車道的車輛所作的多模態(tài)預測的性質(zhì)。預測的分布有一個對應于各自車道變化的模式，以及保持車道的策略。模型對車道的變化越來越有信心，進一步進入機動狀態(tài)。我們注意到，該模型預測了車輛將合并到目標車道上進行車道轉(zhuǎn)換操作，說明了LSTM能夠?qū)囕v運動的非線性特性進行建模。
                 
圖5(B)示出了領(lǐng)先車輛對模型所作預測的影響。第一個例子展示了一個自由流動交通的例子，其中預測的車輛和領(lǐng)先的車輛以大致相同的速度行駛。在第二個例子中，我們從跟蹤歷史中注意到，與預測的車輛相比，領(lǐng)先車輛正在減速。我們看到模型預測車輛剎車，盡管它的當前運動表明并非如此。相反，在第三個例子中，我們看到被預測的車輛幾乎是靜止的，而領(lǐng)先的車輛開始移動。該模型預測車輛將加速行駛，就像在停車和通行時所預期的那樣。
圖5(C)顯示了相鄰車道上的車輛對模型預測的影響。這三個例子顯示了同樣的場景，間隔0.5秒，車輛被預測在最右邊的車道上。我們注意到，在所有三種情況下，模型給出了車輛保持車道的高概率。然而，它也給車輛改變左車道的可能性很小。文諾特認為，圖中所示的圓圈車輛對左車道變化的概率有影響。當環(huán)形車輛遠遠落后時，模型給出了較高的換道概率。當車輛就在被預測的車輛旁邊時，換車道的概率就會下降。當車輛通過，車道再次打開時，改變車道的概率就會增加。
Ⅵ結(jié)論
         
本文提出了一種新的基于LSTM的車輛運動預測交互感知模型，該模型能夠基于機動類進行多模態(tài)軌跡預測。與現(xiàn)有的兩種方法相比，該模型對兩組真實高速公路車輛軌跡的預測誤差較小，證明了該方法的可行性。此外，該系統(tǒng)的燒蝕性分析表明，對相鄰車輛的運動進行建模對于預測某一給定車輛的未來運動，以及檢測和開發(fā)車輛的常見機動對未來的運動預測具有重要意義。
 
 
分享到：
 
反對 0 舉報 0 收藏 0 評論 0
滬ICP備11026917號-25