綜述論文“Multi-modal Fusion Technology based on Vehicle Information: A Survey”，22年11月。

多模態(tài)融合方法主要關(guān)注攝像頭數(shù)據(jù)和激光雷達(dá)數(shù)據(jù)，但很少關(guān)注車輛底部傳感器提供的運(yùn)動(dòng)學(xué)信息，例如加速度、車輛速度、旋轉(zhuǎn)角度。這些信息不受復(fù)雜外部場(chǎng)景的影響，因此更為穩(wěn)健和可靠。本文介紹車輛底部信息的現(xiàn)有應(yīng)用領(lǐng)域和相關(guān)方法的研究進(jìn)展，以及基于底部信息的多模態(tài)融合方法；還介紹了車輛底部信息數(shù)據(jù)集的相關(guān)信息。此外，提出用于自動(dòng)駕駛?cè)蝿?wù)的多模態(tài)融合技術(shù)的未來新思路。

轉(zhuǎn)向角和車速的應(yīng)用現(xiàn)狀和代表性方法

在轉(zhuǎn)向角方面，建議對(duì)轉(zhuǎn)向角預(yù)測(cè)、多輔助任務(wù)、變道預(yù)測(cè)和噪聲圖像數(shù)據(jù)下的感知進(jìn)行一些研究。在速度方面，對(duì)駕駛風(fēng)格分類、速度預(yù)測(cè)、軌跡預(yù)測(cè)、里程、時(shí)間、功耗預(yù)測(cè)、理想角度、車輛減速預(yù)測(cè)進(jìn)行了一些研究。

當(dāng)車輛行駛時(shí)，僅靠視覺輸入不足以做出準(zhǔn)確的轉(zhuǎn)向判斷。通過添加車輛運(yùn)動(dòng)學(xué)信息，可以更好地估計(jì)車輛的行為。運(yùn)動(dòng)學(xué)信息確保汽車不會(huì)執(zhí)行違反某些物理規(guī)則的駕駛行為。據(jù)推測(cè)，10英里/小時(shí)和30英里/小時(shí)的U形轉(zhuǎn)彎在轉(zhuǎn)彎角度和控制策略方面有所不同。然而，給出的視覺觀察結(jié)果幾乎相同。雖然可以從場(chǎng)景變化的速度推斷車輛的速度，但這仍然是模糊的，不容易從圖像中學(xué)習(xí)。而車輛自身的傳感器，可以提供諸如當(dāng)前車輛速度和轉(zhuǎn)向的信息。

此外，應(yīng)用于車輛信息融合的一些輔助任務(wù)也可以幫助了解車輛的周圍環(huán)境。在正常情況下，駕駛員可以通過關(guān)注重要信息和了解駕駛場(chǎng)景來快速做出駕駛決策。經(jīng)過訓(xùn)練的端到端自動(dòng)駕駛和深度學(xué)習(xí)使駕駛員能夠用帶有駕駛行為標(biāo)簽（如轉(zhuǎn)向角和速度）的監(jiān)督學(xué)習(xí)在駕駛場(chǎng)景中做出相應(yīng)的判斷。但是，在這種方法中，端到端模型很難學(xué)習(xí)和理解一些重要特征信息與駕駛行為之間的映射關(guān)系。對(duì)駕駛決策有重大影響的區(qū)域，如車輛、行人、交通燈和可駕駛區(qū)域，沒有得到更多關(guān)注。因此，基于多任務(wù)的學(xué)習(xí)與多輔助任務(wù)（如語(yǔ)義分割和目標(biāo)檢測(cè)）一起使用，這有助于關(guān)注顯著區(qū)域并理解駕駛場(chǎng)景。

如圖是多輔助任務(wù)的例子：

德國(guó)一項(xiàng)研究報(bào)告稱，考慮到變車，城市道路上變道的概率為55%，高速公路上轉(zhuǎn)向燈的使用率為75%。來自三個(gè)來源的數(shù)據(jù)融合通常會(huì)產(chǎn)生最佳的預(yù)測(cè)率：1）駕駛員行為觀察（例如眼睛跟蹤）；2）環(huán)境傳感器信息（例如前/側(cè)雷達(dá)、車道檢測(cè)、GPS/地圖數(shù)據(jù)）3）車輛參數(shù)（例如轉(zhuǎn)向信號(hào)、速度、加速度、方向盤角）。方向盤角作為一個(gè)可直接測(cè)量的車輛參數(shù)，似乎是一個(gè)很有前途的變道早期預(yù)測(cè)指標(biāo)。這里提出一種方向盤角的數(shù)學(xué)模型，有助于預(yù)測(cè)變道機(jī)動(dòng)。

許多研究表明，當(dāng)視覺信息受到噪聲干擾時(shí)，車輛的感知會(huì)受到很大影響。特斯拉的一個(gè)無人駕駛事故是由于感知模塊在強(qiáng)光環(huán)境下發(fā)生故障所致。潮濕的道路很容易在攝像頭圖像中過度曝光，甚至有陽(yáng)光直射到攝像頭傳感器，導(dǎo)致鏡頭光暈。這些不利的光照條件在測(cè)試期間有一些差異，因?yàn)闇y(cè)試期間太陽(yáng)位置發(fā)生了變化，這可能會(huì)影響不同模型結(jié)果的比較。如圖所示為噪聲干擾例子：

駕駛員的非正常駕駛行為是交通事故的主要原因，如酒后駕駛、疲勞駕駛、攻擊性駕駛。如果有一些方法可以預(yù)測(cè)駕駛員的駕駛行為，可以提醒駕駛員，減少事故的發(fā)生。一些監(jiān)控駕駛員行為的方法直接監(jiān)控駕駛員的面部和身體，但人們可以主觀地控制他們的表情，因此這種方法可能具有欺騙性，并侵犯人們的隱私。由車輛的底層信息預(yù)測(cè)的駕駛行為不能被人主觀地改變，因此由車輛的諸如速度和加速度等底層信息預(yù)測(cè)出的駕駛行為更加準(zhǔn)確和令人信服。除了判斷駕駛行為有助于預(yù)防交通事故外，還為優(yōu)化油耗提供了一些支持，因?yàn)椴煌鸟{駛行為具有不同的油耗。例如，激進(jìn)駕駛通常比正常駕駛消耗更多的燃油。目前，一些保險(xiǎn)公司還必須判斷駕駛員的正常駕駛行為，以便按照不同的標(biāo)準(zhǔn)劃分保險(xiǎn)成本，如果駕駛員通常是激進(jìn)駕駛，那么他的保險(xiǎn)成本將高于普通人。

隨著人口密度的增加，城市地區(qū)的大部分空氣污染都是由機(jī)動(dòng)車尾氣排放造成的。目前，許多研究已經(jīng)通過預(yù)測(cè)車輛狀態(tài)來優(yōu)化動(dòng)力系統(tǒng)控制，從而降低燃油消耗，滿足嚴(yán)格的排放法規(guī)，并減少環(huán)境污染。此外，在自動(dòng)駕駛方面，汽車面臨的最大挑戰(zhàn)是自動(dòng)橫向和縱向控制，包括轉(zhuǎn)向和速度控制。因此，準(zhǔn)確預(yù)測(cè)速度尤為重要。

在駕駛習(xí)慣方面，人們通常在轉(zhuǎn)彎時(shí)減速，直行時(shí)適當(dāng)加速。因此，這種行為可以在自動(dòng)駕駛汽車上繼續(xù)模仿這個(gè)習(xí)慣，根據(jù)前方道路的曲率預(yù)測(cè)速度是否應(yīng)該增加或減少，以幫助車輛更好地控制。

許多預(yù)測(cè)車輛速度的方法都使用特定時(shí)間段內(nèi)車輛的信息來預(yù)測(cè)未來特定時(shí)間段的速度。他們只考慮車輛本身的信息，而不考慮一些影響速度控制的因素，例如道路交通狀況和與周圍車輛的距離。這種外部環(huán)境的影響增加了速度預(yù)測(cè)的壓力。

使用什么數(shù)據(jù)來預(yù)測(cè)速度需要充分的理由。當(dāng)使用的數(shù)據(jù)太少時(shí)，不足以反映車輛狀態(tài)。當(dāng)使用過多數(shù)據(jù)時(shí)，不相關(guān)的數(shù)據(jù)會(huì)干擾模型。

上述方法大多基于燃油車。在電動(dòng)車方面，因其無污染、低噪音、無需頻繁維護(hù)等優(yōu)點(diǎn)，已經(jīng)逐漸進(jìn)入人們的生活。

大多數(shù)關(guān)于速度預(yù)測(cè)的研究都是在正常的地理?xiàng)l件下進(jìn)行的。受氣壓、溫度和濕度、氧含量等因素的影響，不同海拔高度對(duì)車輛動(dòng)態(tài)性能的影響不同，人們的駕駛習(xí)慣也不同。因此，需要特定的模型來預(yù)測(cè)高海拔地區(qū)的車輛速度。

如果在交通監(jiān)控系統(tǒng)上實(shí)時(shí)進(jìn)行道路車輛的軌跡預(yù)測(cè)，或者將一套軌跡預(yù)測(cè)系統(tǒng)應(yīng)用于車輛，那么當(dāng)車輛之間的軌跡發(fā)生沖突時(shí)，軌跡預(yù)測(cè)系統(tǒng)可以通過給車主一定程度的提醒來減少大量的交通事故。

在高速公路上，車輛行駛速度更快，變道過程更危險(xiǎn)，如果能夠及時(shí)預(yù)測(cè)車輛在變道過程中是否處于安全狀態(tài)，就可以影響駕駛員的行為，避免發(fā)生事故。

傳統(tǒng)的預(yù)測(cè)軌跡方法使用基于物理的運(yùn)動(dòng)模型，雖然它們的結(jié)果在短期內(nèi)是準(zhǔn)確的，但如果它們超過1秒，結(jié)果就不那么可靠，無法進(jìn)一步參考。

雖然汽車的油耗表可以顯示汽車的瞬時(shí)油耗、平均油耗和里程數(shù)，但汽車的里程數(shù)是根據(jù)汽車油箱中的剩余燃油除以汽車的平均油耗來計(jì)算的。平均油耗是根據(jù)一段時(shí)間內(nèi)的里程數(shù)和油耗來計(jì)算的，實(shí)時(shí)性不高。此外，如果可以根據(jù)實(shí)時(shí)信息在車輛顯示屏上顯示剩余時(shí)間和剩余里程，則信息量更大，從而駕駛員可以根據(jù)各種信息安排行程。因此，用影響燃油消耗的參數(shù)（如車速和道路坡度）來預(yù)測(cè)剩余里程和時(shí)間可以為駕駛員提供更大的幫助。估計(jì)車輛的實(shí)時(shí)能耗可以監(jiān)測(cè)道路污染，并為減少污染技術(shù)提供數(shù)據(jù)支持。

在轉(zhuǎn)向不足或過度（如漂移）的情況下，車輛的穩(wěn)定性控制系統(tǒng)尤為重要，穩(wěn)定性控制系統(tǒng)通過干預(yù)發(fā)動(dòng)機(jī)或車輪將車輛恢復(fù)到穩(wěn)定狀態(tài)。在橫向穩(wěn)定性控制方面，滑動(dòng)角和滾動(dòng)角是車輛橫向穩(wěn)定性的關(guān)鍵參數(shù)，但這些參數(shù)需要非常昂貴的設(shè)備測(cè)量。

如果在發(fā)生碰撞之前向駕駛員發(fā)出一定程度的警告，則會(huì)減少大量的交通事故，即使在自動(dòng)駕駛的情況下，也需要一定的時(shí)間才能做出反應(yīng)。制動(dòng)減速度是指車輛在行駛過程中快速降低行駛速度直至停止的能力。

多模態(tài)融合方法

對(duì)于多模態(tài)融合，決定使用何種信息融合和融合方法是極其重要的。本文介紹了遞歸繪制（recurrence plot）和譜圖（spectrogram），將一維信息轉(zhuǎn)換為二維圖像，并且便于二維卷積神經(jīng)網(wǎng)絡(luò)。然后，提出張量融合（tensor fusion）和自適應(yīng)多模態(tài)融合（adaptive multi-modal fusion）技術(shù)。

遞歸繪制（RP）首次于1987年提出，用于非線性動(dòng)力系統(tǒng)的定性分析。RP是從表示每個(gè)時(shí)間點(diǎn)之間距離的時(shí)間序列數(shù)據(jù)獲得的圖像，并且可以用閾值對(duì)圖像進(jìn)行二值化。一般RP是分析時(shí)間序列的周期性、混沌性和非平穩(wěn)性的重要方法，可以揭示時(shí)間序列的內(nèi)部結(jié)構(gòu)，提供關(guān)于相似性、信息量和可預(yù)測(cè)性的先驗(yàn)知識(shí)，RP特別適用于短時(shí)間序列數(shù)據(jù)。RP最近被用于識(shí)別許多其他領(lǐng)域中時(shí)間序列的動(dòng)態(tài)模式變化，例如金融數(shù)據(jù)時(shí)間序列和生態(tài)系統(tǒng)時(shí)間序列。由于RP可以將時(shí)間序列轉(zhuǎn)換為二維信息，因此它特別適用于二維卷積神經(jīng)網(wǎng)絡(luò)，這為一維信息和二維信息的轉(zhuǎn)換提供了重要支持。

如圖為基于遞歸繪制判斷駕駛狀態(tài)的網(wǎng)絡(luò)架構(gòu)：

車輛的轉(zhuǎn)向角、車速、加速度等信息隨時(shí)間變化。譜圖是能夠反映頻率隨時(shí)間變化的圖像。它可以將一維信息轉(zhuǎn)換為二維信息，因此可以更方便地應(yīng)用于卷積神經(jīng)網(wǎng)絡(luò)。

在信號(hào)處理領(lǐng)域，有三個(gè)主要域角度可分析信號(hào)，即時(shí)域、頻域和時(shí)頻域，對(duì)應(yīng)于時(shí)域圖、頻域圖和時(shí)頻圖，即語(yǔ)言頻譜（language spectrum）。時(shí)域和頻域只能表示信號(hào)的二維信息，而譜圖使用二維圖像表示三維信息。譜圖（Spectrogram）的橫坐標(biāo)是時(shí)間，縱坐標(biāo)是頻率，坐標(biāo)點(diǎn)值是語(yǔ)音數(shù)據(jù)能量（speech data energy）。由于二維平面用于表達(dá)三維信息，能量值的大小由顏色表示，顏色暗度表示點(diǎn)的語(yǔ)音能量強(qiáng)度，這是音頻在時(shí)域和頻域特性中的綜合描述。譜圖（Spectrogram）基于短時(shí)傅里葉變換（STFT），在分析信號(hào)的時(shí)頻特性方面非常有用。STFT是最經(jīng)典的時(shí)頻域分析方法，STFT通過長(zhǎng)時(shí)間的信號(hào)成框、加窗，然后對(duì)每個(gè)信號(hào)框進(jìn)行傅里葉變換（FFT），最后將每個(gè)框的結(jié)果沿另一個(gè)維度疊加，形成頻譜。

張量融合作為多模態(tài)信息融合的主流融合方法，在各個(gè)領(lǐng)域得到廣泛應(yīng)用，自動(dòng)駕駛領(lǐng)域也不例外。張量融合有多種方法，如早期簡(jiǎn)單特征拼接、后期決策融合、張量外積融合等。

在自動(dòng)駕駛領(lǐng)域，除了圖像和其他數(shù)據(jù)信息之外，車輛底部的數(shù)據(jù)信息，例如轉(zhuǎn)向角和車速也非常重要。通過張量外積方法，可以將各種車輛底部信息和圖像數(shù)據(jù)信息進(jìn)行融合，以更好地解決實(shí)際問題。這種融合方法可以更充分、更靈活地融合各種數(shù)據(jù)信息之間的特征，其效果優(yōu)于簡(jiǎn)單的特征拼接和后期決策。

張量外積是從每個(gè)模式中提取的特征向量進(jìn)行外積運(yùn)算，獲得高維融合張量Z，然后通過線性層將高維融合張量器Z投影到低維空間中。每個(gè)特征向量的每個(gè)元素都是完全融合的。兩種模式融合后形成二階張量，三種模式融合之后形成三階張量。

張量融合網(wǎng)絡(luò)需要對(duì)每種模式的特征向量進(jìn)行外部乘積運(yùn)算，當(dāng)需要融合的特征向量較多時(shí)，網(wǎng)絡(luò)將進(jìn)行高維張量計(jì)算，計(jì)算成本將非常高。例如，同時(shí)融合轉(zhuǎn)向角、車速和圖像這三個(gè)信息，融合后將得到一個(gè)三階張量Z。如果想使用線性層將其投影到低維空間，需要一個(gè)四階權(quán)重矩陣W和Z來完成計(jì)算。

鑒于張量融合網(wǎng)絡(luò)的高計(jì)算成本，許多網(wǎng)絡(luò)模型提出了不同的解決方案。比如：對(duì)張量融合網(wǎng)絡(luò)的參數(shù)W和融合張量Z進(jìn)行分解，最后將高階張量運(yùn)算分解為線性運(yùn)算，使得計(jì)算成本不會(huì)隨著模態(tài)的增加而呈指數(shù)增長(zhǎng)。在此基礎(chǔ)上，有一種低階多模態(tài)融合方法。另外，這里采用傅里葉卷積代替以往的高階張量計(jì)算，可以解決計(jì)算成本高的問題，并提出一種多模態(tài)緊湊雙線性池化（MCB，Multi- modal Compact Bilinear pooling）融合網(wǎng)絡(luò)。

自適應(yīng)多模態(tài)融合更加靈活和自然，因?yàn)檫@種融合網(wǎng)絡(luò)不會(huì)確定特定的融合操作，例如特征拼接、張量外積等，而是讓網(wǎng)絡(luò)決定“如何”更有效地集成給定的一組多模態(tài)特征。有兩種自適應(yīng)融合網(wǎng)絡(luò)結(jié)構(gòu)：1）自動(dòng)融合，它對(duì)所有模式的信息進(jìn)行編碼，并將其拼接成張量，然后使用解碼器恢復(fù)特征，最后計(jì)算特征之間的損失。該方法不僅集成了特征向量，還學(xué)習(xí)了有用的特征。它解決了最終預(yù)測(cè)器承擔(dān)識(shí)別有用信號(hào)這個(gè)額外責(zé)任問題。2） GAN融合，網(wǎng)絡(luò)首先找到一個(gè)主干模式，然后融合除主干模式之外的其他模態(tài)信息，并將融合的信息與主干模式的信息進(jìn)行融合，從而獲得主干模式的新特征向量。在相同的操作中，所有模式同時(shí)用作主干模式，因此可以獲得每個(gè)模式的新特征向量，然后拼接這些特征向量。這才完成最后的集成。

如表是開源數(shù)據(jù)集的比較：

挑戰(zhàn)

車輛的自動(dòng)駕駛功能主要通過縱向運(yùn)動(dòng)控制和橫向運(yùn)動(dòng)控制來實(shí)現(xiàn)。在自動(dòng)車輛控制中，縱向控制仍然是一個(gè)具有挑戰(zhàn)性的問題。除了攝像機(jī)/雷達(dá)收集的視覺信息外，隨著車載傳感器數(shù)量的增加，可以收集到越來越多的車輛運(yùn)動(dòng)狀態(tài)參數(shù)。例如，縱向加速度、空氣阻力、輪胎載荷、地面摩擦、地面傾斜等。通過結(jié)合圖像感知信息，車輛可以在定速巡航、自適應(yīng)巡航和防撞系統(tǒng)中實(shí)現(xiàn)更好的縱向控制。因此，研究人員可以嘗試結(jié)合來自不同駕駛場(chǎng)景的豐富的自傳感器信息，以實(shí)現(xiàn)車輛控制。

在研究場(chǎng)景方面，目前大多數(shù)研究都集中在日間駕駛場(chǎng)景，只有少數(shù)研究涉及夜間駕駛，大多數(shù)研究人員在他們的場(chǎng)景中忽略了夜間駕駛。如果自動(dòng)駕駛僅依賴日間駕駛，則其運(yùn)動(dòng)范圍有限。然而，自有傳感器的信息不受惡劣天氣和光線條件的影響。因此在未來的研究中廣泛使用車輛信息，以提高場(chǎng)景泛化能力。

在數(shù)據(jù)集方面，具有車輛基礎(chǔ)傳感器信息的公開可用數(shù)據(jù)集相對(duì)較少。大多數(shù)研究人員收集特定場(chǎng)景或條件的固定數(shù)據(jù)，缺乏具有車輛運(yùn)動(dòng)學(xué)參數(shù)的大規(guī)模自動(dòng)駕駛數(shù)據(jù)集。一種常見的解決方案是對(duì)有限的數(shù)據(jù)執(zhí)行數(shù)據(jù)增強(qiáng)以獲得額外的訓(xùn)練數(shù)據(jù)。如普通的翻轉(zhuǎn)、裁剪、增加陰影操作，或者轉(zhuǎn)換圖像的顏色、亮度、強(qiáng)度和空間。然而，與涵蓋各種照明條件和復(fù)雜道路條件的真實(shí)數(shù)據(jù)集相比，它仍有一定的局限性。此外，許多研究人員已經(jīng)在模擬器上構(gòu)建了自動(dòng)駕駛模擬場(chǎng)景，并獲得了用于模型訓(xùn)練的模擬數(shù)據(jù)，但從模擬到現(xiàn)實(shí)世界，誤差幾乎增加了一倍?，F(xiàn)實(shí)世界環(huán)境的復(fù)雜性和多樣性帶來了更大的挑戰(zhàn)。這表明未來需要在更大的真實(shí)世界數(shù)據(jù)集和更真實(shí)的模擬環(huán)境中進(jìn)行培訓(xùn)和測(cè)試。

未來研究方向

準(zhǔn)確區(qū)分駕駛員的駕駛行為在駕駛輔助系統(tǒng)、道路安全、能源優(yōu)化等方面發(fā)揮著重要作用?；隈{駛員動(dòng)態(tài)行為分類方法，直接使用攝像頭對(duì)準(zhǔn)駕駛員的面部和身體，這侵犯了駕駛員的隱私?；谲囕v動(dòng)力學(xué)的行為分類方法，僅使用車輛信息進(jìn)行分析，缺乏能夠提供車輛和道路周圍豐富信息的圖像。車輛信息的變化程度直接反映駕駛員的駕駛行為。例如，短時(shí)間內(nèi)速度的急劇變化反映出駕駛員處于攻擊性狀態(tài)。道路圖像可以反映交通空曠程度、擁擠程度以及與障礙物的距離。如果將車輛信息與圖像相結(jié)合，則可以使信息互補(bǔ)并提高分類性能。

對(duì)于自動(dòng)駕駛汽車，由于攝像頭拍攝的頻率固定，車輛只能盲目跟蹤目標(biāo)，而不知道目標(biāo)位置變化的程度。諸如車輛速度之類的車輛信息直觀地反映了沒目標(biāo)位置的變化程度。相鄰幀之間的速度越快，目標(biāo)位置的變化越大，圖像之間的目標(biāo)相似度越低。因此，車速可以用作目標(biāo)跟蹤的輔助信息，該輔助信息可以與圖像相結(jié)合，以提高目標(biāo)檢測(cè)能力。

轉(zhuǎn)向角預(yù)測(cè)可納入更廣泛的基于計(jì)算機(jī)視覺的技術(shù)，如車道線檢測(cè)、障礙物檢測(cè)等。在自動(dòng)駕駛領(lǐng)域，車輛的必要功能之一是需要準(zhǔn)確識(shí)別車道線。根據(jù)不同的路況，合理的車道保持以防止偏離安全駕駛區(qū)域與準(zhǔn)確的轉(zhuǎn)向角預(yù)測(cè)密不可分。在轉(zhuǎn)彎過程中，由于車道線處于彎曲狀態(tài)，且車道線跨越圖像的不同區(qū)域，因此卷積神經(jīng)網(wǎng)絡(luò)中的卷積核在提取特征區(qū)域方面存在局限性，無法有效地提取彎曲的和跨區(qū)域特征。轉(zhuǎn)彎角度描述了轉(zhuǎn)彎跨度大小，即車道線的彎曲程度，直觀地反映了車道線的狀態(tài)。因此，轉(zhuǎn)彎角度可以用作輔助數(shù)據(jù)和圖像，以提高車道線的識(shí)別能力。