研究人員正在通過研究人類的步態(tài)，身體對(duì)稱性和腳部位置，來指導(dǎo)自動(dòng)駕駛汽車如何更準(zhǔn)確地識(shí)別和預(yù)測(cè)行人運(yùn)動(dòng)。



在自動(dòng)駕駛應(yīng)用中，理解、推斷和預(yù)測(cè)行人的意圖和未來行為非常重要。這種能力使車輛避免碰撞，提高行駛安全和質(zhì)量。預(yù)行為理解即對(duì)對(duì)方可能產(chǎn)生的行為進(jìn)行準(zhǔn)確的預(yù)估和判斷，隨著深度學(xué)習(xí)網(wǎng)絡(luò)、長(zhǎng)短期記憶、選擇性注意機(jī)制以及提取知覺物體等技術(shù)的發(fā)展，人體姿態(tài)估計(jì)得到了廣泛的研究。

姿態(tài)估計(jì)的目標(biāo)是在RGB圖像或視頻中描繪出人體的形狀，這是一種多方面任務(wù)，其中包含了目標(biāo)檢測(cè)、姿態(tài)估計(jì)、分割等等。有些需要在非水平表面進(jìn)行定位的應(yīng)用可能也會(huì)用到姿態(tài)估計(jì)，例如圖形、增強(qiáng)現(xiàn)實(shí)或者人機(jī)交互。姿態(tài)估計(jì)同樣包含許多基于3D物體的辨認(rèn)。

目前比較流行的工作主要集中在，從當(dāng)前幀中的單個(gè)靜態(tài)RGB圖像估計(jì)人體骨骼模型的關(guān)節(jié)位置，而沒有解決未來幀的位置預(yù)測(cè)問題。當(dāng)然也有研究人員開始研究給定視頻序列的人體姿勢(shì)預(yù)測(cè)(預(yù)測(cè)和預(yù)測(cè))，不過大部分工作都集中在基于骨架的關(guān)節(jié)位置表示上。


比如：Google的人體姿態(tài)估計(jì)，論文采用top-down的結(jié)構(gòu)，分為兩個(gè)階段: 第一階段使用faster rcnn做detection，檢測(cè)出圖片中的多個(gè)人，并對(duì)bounding box進(jìn)行image crop； 第二階段采用fully convolutional resnet對(duì)每一個(gè)bonding box中的人物預(yù)測(cè)dense heatmap和offset; 最后通過heatmap和offset的融合得到關(guān)鍵點(diǎn)的精確定位。

而密歇根大學(xué)的研究者提出了一種基于生物力學(xué)的循環(huán)神經(jīng)網(wǎng)絡(luò)(biolstm)，該網(wǎng)絡(luò)可以在全局坐標(biāo)系下，預(yù)測(cè)行人的位置和三維關(guān)節(jié)體位姿，但在已有坐標(biāo)系下估計(jì)的三維位姿和位姿是不準(zhǔn)確的。該網(wǎng)絡(luò)能夠同時(shí)預(yù)測(cè)多個(gè)行人的姿態(tài)和位置，距離攝像機(jī)45米以內(nèi)的行人都可以預(yù)測(cè)到。據(jù)了解，該方法是基于一種新的目標(biāo)函數(shù)，該目標(biāo)函數(shù)包含了人體步行周期(步態(tài))、人體鏡像對(duì)稱性和人體步態(tài)周期中地面反作用力的變化。

“這方面的先前工作通常只看靜止圖像，并沒有真正關(guān)注人們?nèi)绾卧谌齻€(gè)方向上移動(dòng)，“密歇根大學(xué)機(jī)械工程助理教授 Ram Vasudevan說，“但如果這些車輛要在現(xiàn)實(shí)世界中運(yùn)行和互動(dòng)，我們需要確保對(duì)行人所在位置的預(yù)測(cè)與車輛下一步的位置是否有存在沖突。”

過去一臺(tái)計(jì)算機(jī)顯示了數(shù)百萬張停車標(biāo)志的照片，通過機(jī)器學(xué)習(xí)的方法，最終會(huì)在現(xiàn)實(shí)世界中實(shí)時(shí)識(shí)別停車標(biāo)志。但是通過利用運(yùn)行幾秒鐘的視頻片段，系統(tǒng)可以利用研究片段的前半部分進(jìn)行預(yù)測(cè)，然后通過后半部分驗(yàn)證準(zhǔn)確性。

為了解釋神經(jīng)網(wǎng)絡(luò)做出的推斷，Vasudevan 描述了一個(gè)常見的景象。“如果一個(gè)行人正在玩手機(jī)，你知道他們會(huì)分心，”Vasudevan 說。“他們的姿勢(shì)和他們正在尋找的地方會(huì)告訴你他們的注意力分布，也會(huì)告訴了你很多關(guān)于他們下一步能做什么的事情。“

該模型在PedX 數(shù)據(jù)集進(jìn)行了測(cè)試，PedX數(shù)據(jù)集是在真實(shí)的城市人行橫道交叉口采集的大規(guī)模野外數(shù)據(jù)集，于2017年在美國(guó)密歇根州安娜堡市中心的真實(shí)城市交叉口收集。該數(shù)據(jù)集包含三個(gè)四路交叉口的行人流量大的集合,包含10000多個(gè)行人姿勢(shì)和1800多個(gè)不同長(zhǎng)度的連續(xù)序列(平均序列長(zhǎng)度為6幀)。



PedX數(shù)據(jù)集由兩個(gè)立體聲RGB相機(jī)對(duì)和四個(gè)Velodyne激光雷達(dá)傳感器的數(shù)據(jù)組成。攝像機(jī)視頻以大約每秒6幀的速度采集。通過優(yōu)化人工標(biāo)注的二維行人姿態(tài)和三維激光雷達(dá)點(diǎn)云，最終得到每幀的三維行人姿態(tài)。結(jié)果表明，該網(wǎng)絡(luò)能夠成功地學(xué)習(xí)行人步態(tài)特征，并能產(chǎn)生準(zhǔn)確一致的三維姿態(tài)預(yù)測(cè)。

目前，該工作主要針對(duì)城市交叉口的行人姿態(tài)預(yù)測(cè)，僅僅分析了行人的行走和站立活動(dòng)，但有可能通過這項(xiàng)工作來預(yù)測(cè)其他活動(dòng)，比如跑步。新的目標(biāo)函數(shù)在對(duì)行人步態(tài)預(yù)測(cè)方面，向生物力學(xué)約束邁出了第一步。然而，對(duì)于人類許多方面的步態(tài)特征仍需進(jìn)一步研究。

未來，或許這種結(jié)合了姿態(tài)估計(jì)和端到端姿態(tài)預(yù)測(cè)分析系統(tǒng)可以整合到無人駕駛計(jì)算平臺(tái)上，用于無人車更準(zhǔn)確的理解行人預(yù)行為。