日本无码免费高清在线|成人日本在线观看高清|A级片免费视频操逼欧美|全裸美女搞黄色大片网站|免费成人a片视频|久久无码福利成人激情久久|国产视频一二国产在线v|av女主播在线观看|五月激情影音先锋|亚洲一区天堂av

  • 手機站
  • 小程序

    汽車測試網(wǎng)

  • 公眾號

    • 汽車測試網(wǎng)

    • 在線課堂

    • 電車測試

基于3D行人姿態(tài)和步態(tài)預(yù)測的神經(jīng)網(wǎng)絡(luò)模型

2020-02-01 21:59:38·  來源：智車科技  作者：趙佳  
　
在復(fù)雜環(huán)境中，了解行人的姿勢，動作，行為和意圖對于自動駕駛汽車之類的移動機器人安全高效地運行至關(guān)重要。UM福特?zé)o人駕駛汽車中心（FCAV）于2017年在美國密歇
在復(fù)雜環(huán)境中，了解行人的姿勢，動作，行為和意圖對于自動駕駛汽車之類的移動機器人安全高效地運行至關(guān)重要。UM福特?zé)o人駕駛汽車中心（FCAV）于2017年在美國密歇根州安阿伯市的市中心十字路口收集了一個大型多模態(tài)數(shù)據(jù)集PedX（十字路口的行人），并使用這個數(shù)據(jù)集完成了基于3D行人姿態(tài)和步態(tài)預(yù)測的神經(jīng)網(wǎng)絡(luò)模型。
 
相關(guān)研究論文如下。
 
基于先前幀中估計的3D姿勢和位置，研究人員設(shè)計了一個受生物力學(xué)啟發(fā)的遞歸神經(jīng)網(wǎng)絡(luò)Bio-LSTM，可以預(yù)測未來幀中全局坐標(biāo)系中行人的位置和3D關(guān)節(jié)式身體姿勢。擬議的網(wǎng)絡(luò)納入了生物力學(xué)約束條件，包括人體步態(tài)的周期性，人體的鏡像對稱性以及人體步態(tài)循環(huán)中地面反作用力的變化。擬議中的Bio-LSTM網(wǎng)絡(luò)在現(xiàn)實世界的交叉路口規(guī)模上顯示了針對行人的長期姿勢預(yù)測性能（>5秒）的改善，并且可以可靠地處理來自現(xiàn)場數(shù)據(jù)的噪聲。
Bio-LSTM：A Biomechanically Inspired Recurrent Neural Network for 3-DPedestrian Pose and Gait Prediction
論文：https://arxiv.org/pdf/1809.03705.pdf
上面的網(wǎng)絡(luò)圖，修改了特定設(shè)計的網(wǎng)絡(luò)架構(gòu)。網(wǎng)絡(luò)的輸入和輸出是場景中所有行人的SMPL參數(shù)的向量。生物限制是通過網(wǎng)絡(luò)中的培訓(xùn)目標(biāo)來實施的。對于MTP，預(yù)測不斷地反饋到網(wǎng)絡(luò)，以預(yù)測所有以后時間的步長。
上圖表示地面和腳的約束。將腳和地面之間的體積模型簡化為矩形立方體(粉紅色陰影)和三角形棱鏡(綠色陰影)的體積之和（兩只腳采用上述相同的方式）。所以，總的來說，在腳和地面之間發(fā)生了一些力的轉(zhuǎn)移。
上圖為一個MTP預(yù)測的定性例子。綠色網(wǎng)格是預(yù)測姿態(tài)，紅色網(wǎng)格是優(yōu)化后的地面真值標(biāo)簽。這兩種方法都具有較低的平移誤差，且本論文中的方法保持了穩(wěn)定的步態(tài)。
Stochastic Sampling Simulation forPedestrian Trajectory Prediction
論文：https://arxiv.org/pdf/1903.01860.pdf
在這篇論文中，研究人員提出了一種新的隨機抽樣方法來模擬真實的行人軌跡。研究人員開發(fā)了一個模型來提取行人數(shù)量和步行速度的真實數(shù)據(jù)集，并使用這些信息樣本的行人軌跡。他們在采樣數(shù)據(jù)集上訓(xùn)練了一個Social GAN，并在各種行人軌跡基準(zhǔn)數(shù)據(jù)集上評估了預(yù)測結(jié)果。與在真實數(shù)據(jù)集上訓(xùn)練的預(yù)測性能相比，在大量的采樣數(shù)據(jù)上訓(xùn)練的預(yù)測性能有了很大的提高。研究人員還對行人統(tǒng)計數(shù)據(jù)的影響進行了消融研究，結(jié)果表明提取的行人參數(shù)能夠代表真實數(shù)據(jù)集中的行人行走方式，并使DNN能夠更準(zhǔn)確地模擬行人軌跡的真實分布。未來的方向包括擴展采樣方法以合并場景幾何，以及訓(xùn)練一個利用合成數(shù)據(jù)集上的場景信息的DNN。另一個方面是對交互作用空間的采樣，例如對行人產(chǎn)生的結(jié)果進行采樣。
PedX：Benchmark Dataset for Metric 3-D Pose Estimation of Pedestrians inComplex Urban Intersections
論文：https://arxiv.org/pdf/1809.03605.pdf
數(shù)據(jù)集：https://fcav.engin.umich.edu/projects/pedestrian-perception
代碼：https://github.com/umautobots/pedx
 
 
FCAV還開發(fā)了一種新穎的3D模型擬合算法，用于自動約束3D標(biāo)簽，從而跨越不同的模態(tài)以及新穎的形狀和時間先驗條件。
本文提出了一個名為PedX的新數(shù)據(jù)集，該數(shù)據(jù)集是在復(fù)雜的城市路口大規(guī)模收集行人的多模式集合。PedX數(shù)據(jù)集包含5,000多對高分辨率（12MP）立體圖像和LiDAR數(shù)據(jù)以及提供行人的2D和3D標(biāo)簽。研究人員也提出了一種新的三維模型擬合算法，用于在不同的模式和新的形狀和時間先驗條件下利用約束進行自動三維標(biāo)記。所有帶注釋的3D行人都被定位到真實的度量空間中，生成的3D模型通過配置在受控室外環(huán)境中的mocap系統(tǒng)來模擬城市十字路口的行人進行驗證。
圖 注釋可視化
上圖為數(shù)據(jù)集中的代表性樣本，進而說明了數(shù)據(jù)集的實用性。在各種復(fù)雜條件下，使用自動標(biāo)記方法的3D模型被渲染到圖像上，以顯示數(shù)據(jù)集中的標(biāo)簽的準(zhǔn)確性。
Ref：
https://fcav.engin.umich.edu/projects/pedestrian-perception
 
 
分享到：
 
反對 0 舉報 0 收藏 0 評論 0
滬ICP備11026917號-25