近年來，計(jì)算機(jī)視覺在智能交通系統(tǒng)（ITS）和自動(dòng)駕駛（AD）中的應(yīng)用逐漸轉(zhuǎn)向深度神經(jīng)網(wǎng)絡(luò)架構(gòu)。數(shù)據(jù)挑戰(zhàn)與訓(xùn)練數(shù)據(jù)的收集和標(biāo)記及其與現(xiàn)實(shí)世界條件的相關(guān)性、數(shù)據(jù)集固有的偏差、需要處理的大量數(shù)據(jù)以及隱私問題有關(guān)。深度學(xué)習(xí)（DL）模型對(duì)于嵌入式硬件的實(shí)時(shí)處理來說通常過于復(fù)雜，缺乏可解釋性和可推廣性，很難在現(xiàn)實(shí)環(huán)境中進(jìn)行測試。復(fù)雜的城市交通環(huán)境具有不規(guī)則的照明和遮擋，監(jiān)控?cái)z像頭可以安裝在不同的角度，收集中的灰塵，在風(fēng)中的晃動(dòng)，交通條件高度異質(zhì)，在擁擠的場景中違反規(guī)則和復(fù)雜的交互。受到這些問題困擾的一些代表性應(yīng)用是交通流估計(jì)、擁堵檢測、自動(dòng)駕駛感知、車輛交互和用于實(shí)際部署的邊緣計(jì)算。

如圖是各種應(yīng)用及其面臨的挑戰(zhàn)：

數(shù)據(jù)通信實(shí)踐中，單個(gè)基于攝像頭的深度學(xué)習(xí)任務(wù)通常需要在交通管理中心（TMC）的攝像頭和云服務(wù)器之間進(jìn)行數(shù)據(jù)通信。視頻數(shù)據(jù)量很大，這可能導(dǎo)致潛在的數(shù)據(jù)通信問題，如傳輸延遲和數(shù)據(jù)包丟失。在協(xié)作式攝像機(jī)傳感環(huán)境中，不僅與服務(wù)器進(jìn)行數(shù)據(jù)通信，而且不同傳感器之間也進(jìn)行數(shù)據(jù)通信。因此，另外兩個(gè)問題是多傳感器標(biāo)定和數(shù)據(jù)同步。

協(xié)作環(huán)境中的標(biāo)定旨在確定傳感器之間的透視轉(zhuǎn)換，以便能夠在給定幀合并來自多個(gè)視圖的采集數(shù)據(jù)。這項(xiàng)任務(wù)在多用戶環(huán)境中非常具有挑戰(zhàn)性，因?yàn)閭鞲衅髦g的變換矩陣隨車輛的移動(dòng)而不斷變化。在協(xié)作環(huán)境中，標(biāo)定依賴于背景圖像元素的同步，以確定靜態(tài)或移動(dòng)傳感器之間的轉(zhuǎn)換。存在多個(gè)同步破壞源，例如時(shí)鐘之間的偏移或可變通信延遲。雖然時(shí)鐘可能是同步的，但很難確保在同一時(shí)刻觸發(fā)數(shù)據(jù)采集，這增加了合并所采集數(shù)據(jù)的不確定性。同樣，不同的采樣率需要在采集或預(yù)測數(shù)據(jù)之間進(jìn)行插值，這也增加了不確定性。

交通攝像頭廣泛部署在道路和車輛上。TMC不斷收集網(wǎng)絡(luò)范圍內(nèi)的交通攝像頭數(shù)據(jù)，這些數(shù)據(jù)對(duì)各種ITS應(yīng)用（如事件識(shí)別和車輛檢測）都很有價(jià)值。然而，標(biāo)記的訓(xùn)練數(shù)據(jù)遠(yuǎn)不如未標(biāo)記的數(shù)據(jù)常見。隨著圖形逼真度和模擬物理模型變得越來越有真實(shí)感，許多應(yīng)用程序缺少標(biāo)注數(shù)據(jù)集的問題正慢慢被合成數(shù)據(jù)解決。

除了真實(shí)的外觀，模擬場景不需要手動(dòng)標(biāo)記，因?yàn)闃?biāo)簽已經(jīng)由模擬生成，并且可以支持各種照明、視點(diǎn)和車輛行為。2020年AI城市挑戰(zhàn)賽車輛重識(shí)別獲勝者利用混合數(shù)據(jù)集，通過從真實(shí)世界數(shù)據(jù)中生成示例并添加其他模擬視圖和環(huán)境，顯著提高了性能。然而，如果用合成數(shù)據(jù)，在真實(shí)世界的應(yīng)用仍然需要額外的學(xué)習(xí)過程，例如域自適應(yīng)。低保真度模擬數(shù)據(jù)用于訓(xùn)練具有域隨機(jī)化的遷移學(xué)習(xí)，用于真實(shí)世界目標(biāo)檢測器。

缺乏高質(zhì)量的碰撞和接近碰撞數(shù)據(jù)通常被認(rèn)為是一個(gè)實(shí)際的限制。更多的碰撞數(shù)據(jù)將更新AD的注意導(dǎo)引，使其能夠捕捉長期碰撞特征，從而提高碰撞風(fēng)險(xiǎn)評(píng)估。故障或限量的傳感器、有限的計(jì)算資源以及對(duì)任何駕駛場景的可推廣性是當(dāng)前實(shí)際部署的障礙。其中一些問題可以通過傳感器融合、車聯(lián)網(wǎng)（IoV）和邊緣計(jì)算來解決。

盡管當(dāng)前的車輛檢測算法在平衡數(shù)據(jù)集上表現(xiàn)良好，但在面對(duì)不平衡數(shù)據(jù)集時(shí)，在尾部類別上的性能下降。在現(xiàn)實(shí)世界場景中，數(shù)據(jù)往往遵循Zipfian分布，其中大量尾部類別的樣本數(shù)很少。在長尾數(shù)據(jù)集中，少數(shù)頭部類（頻繁出現(xiàn)類）貢獻(xiàn)了大部分訓(xùn)練樣本，而尾部類（罕見出現(xiàn)類）的代表性不足。大多數(shù)使用此類數(shù)據(jù)訓(xùn)練的DL模型將長尾訓(xùn)練數(shù)據(jù)的經(jīng)驗(yàn)風(fēng)險(xiǎn)降至最低，并且偏向于頭部類別。一些方法，如數(shù)據(jù)重采樣和損失重加權(quán)，可以補(bǔ)償不足的類別。然而，他們需要根據(jù)類別頻率先驗(yàn)知識(shí)將類別劃分為幾個(gè)組。頭尾類之間的這種硬性劃分帶來了兩個(gè)問題：相鄰類別之間的訓(xùn)練不一致，以及對(duì)罕見類別缺乏辨別力。

一般的目標(biāo)檢測器可以用遷移學(xué)習(xí)來改進(jìn)，此外僅從訓(xùn)練集來看，模型偏差可能并不明顯，需要解釋性方法來解決這個(gè)問題。

視覺數(shù)據(jù)占互聯(lián)網(wǎng)流量的90%以上，視頻傳輸、計(jì)算和存儲(chǔ)在ITS和AV領(lǐng)域面臨著越來越大的挑戰(zhàn)。通過交通攝像頭網(wǎng)絡(luò)或車聯(lián)網(wǎng)（IoV）網(wǎng)絡(luò)，來自路邊和車載傳感器的大量交通和車輛視頻數(shù)據(jù)構(gòu)成了無法通過設(shè)備解決的計(jì)算和帶寬瓶頸。由于網(wǎng)聯(lián)車或自動(dòng)駕駛車的許多應(yīng)用依賴于DL，因此車輛-云架構(gòu)正在成為一種有效的分布式計(jì)算技術(shù)。通過集成路側(cè)單元（RSU），這些邊緣節(jié)點(diǎn)可以更快地處理并提供低通信延遲。

隱私問題是一個(gè)重要的人為因素，在ITS應(yīng)用程序的設(shè)計(jì)和運(yùn)行中不容忽視。觀察和跟蹤大量的行人和車輛信息會(huì)導(dǎo)致ITS環(huán)境中的安全和隱私問題。例如，無人機(jī)能夠（通過機(jī)載攝像機(jī)）收集交通數(shù)據(jù)。然而，隱私問題限制了它們成為ITS傳感器網(wǎng)絡(luò)的常規(guī)部分。視頻監(jiān)控系統(tǒng)不斷收集人臉和車牌。個(gè)人隱私交換的是監(jiān)控提供的安全或安全服務(wù)。如果發(fā)送或存儲(chǔ)原始視頻數(shù)據(jù)，實(shí)際部署的系統(tǒng)可能需要實(shí)時(shí)識(shí)別人臉和車牌。理想情況下，任何處理都將在本地邊緣單元完成，限制私人信息的傳播。很難保證完全匿名，例如，通過與其他信息（甚至是模糊的車牌）相關(guān)，可以追蹤一輛罕見車型的車主。

如圖是數(shù)據(jù)挑戰(zhàn)：

DL計(jì)算機(jī)視覺模型在神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和訓(xùn)練過程方面具有很高的復(fù)雜性。許多DL模型設(shè)計(jì)用于在高性能云中心或AI工作站上運(yùn)行，而一個(gè)好的模型需要數(shù)周或數(shù)月的訓(xùn)練以及GPU或TPU驅(qū)動(dòng)的高功耗。

在ITS和AV領(lǐng)域的應(yīng)用中，出于功能和交通安全的考慮，許多應(yīng)用都需要實(shí)時(shí)或近實(shí)時(shí)操作。DL模型的復(fù)雜性增加了實(shí)時(shí)應(yīng)用中的訓(xùn)練和推理成本；特別是，ITS和AV的趨勢是在更接近交通數(shù)據(jù)的大規(guī)模設(shè)備進(jìn)行處理，例如，眾包感知。

實(shí)時(shí)應(yīng)用程序通常會(huì)進(jìn)行一些修改，如調(diào)整視頻大小以降低分辨率或模型量化和修剪，這可能會(huì)導(dǎo)致性能損失。為了滿足效率和精度要求，在許多實(shí)際應(yīng)用中需要降低DL方法的模型復(fù)雜性。例如，多尺度可變形注意已與視覺transformer神經(jīng)網(wǎng)絡(luò)一起用于目標(biāo)檢測，以實(shí)現(xiàn)高性能和快速收斂，從而加快訓(xùn)練和推理。

DNN在很大程度上被視為具有多處理層的黑盒子，其工作情況可以用統(tǒng)計(jì)數(shù)據(jù)進(jìn)行檢查，但學(xué)習(xí)的網(wǎng)絡(luò)基于數(shù)百萬或數(shù)十億個(gè)參數(shù)，讓分析極其困難。這意味著，行為本質(zhì)上是不可預(yù)測的，而且對(duì)決策的解釋很少。這也使自動(dòng)駕駛等關(guān)鍵用例無法進(jìn)行系統(tǒng)驗(yàn)證。

人們普遍認(rèn)為，復(fù)雜的黑盒子是必需的，這一假設(shè)受到了挑戰(zhàn)。最近的研究試圖使DNN更易于解釋。

對(duì)分布外（out-of-distribution）數(shù)據(jù)的泛化對(duì)人類來說是自然的，但對(duì)機(jī)器來說卻具有挑戰(zhàn)性，因?yàn)榇蠖鄶?shù)學(xué)習(xí)算法都強(qiáng)烈依賴于測試數(shù)據(jù)分布的i.i.d.假設(shè)，而在實(shí)踐中這常常因域遷移而遭破壞。域泛化旨在將模型推廣到新領(lǐng)域，但不了解訓(xùn)練期間的目標(biāo)分布。

大多數(shù)現(xiàn)有方法都屬于域?qū)R（domain alignment）的范疇，其主要思想是最小化多個(gè)源域之間的差異，學(xué)習(xí)域不變表征。對(duì)源域漂移不變的特征也應(yīng)該對(duì)任何未發(fā)現(xiàn)的目標(biāo)域漂移魯棒。數(shù)據(jù)增強(qiáng)是一種常見的做法，用于正則化機(jī)器學(xué)習(xí)模型的訓(xùn)練，避免過擬合并提高泛化能力，這對(duì)于過度參數(shù)化的DNN尤為重要。

神經(jīng)網(wǎng)絡(luò)中的視覺注意可用于突出一個(gè)決策中涉及的圖像區(qū)域，并進(jìn)行因果過濾以找到最相關(guān)的部分。

一般來說，DL方法容易出現(xiàn)欠描述；無論模型類型或應(yīng)用如何，都會(huì)出現(xiàn)這種問題。雖然方法基準(zhǔn)分?jǐn)?shù)隨模型復(fù)雜度和訓(xùn)練數(shù)據(jù)增加而提高，但使用真實(shí)世界的失真進(jìn)行測試會(huì)導(dǎo)致較差且變化的性能，這依賴于用于初始化訓(xùn)練的隨機(jī)種子。

實(shí)際實(shí)時(shí)處理系統(tǒng)需要在各種低成本硬件的內(nèi)存和計(jì)算方面達(dá)到高效。方法包括參數(shù)修剪、網(wǎng)絡(luò)量化、低秩因子分解和模型蒸餾。

行人和自行車使用者等弱勢道路使用者（VRU）存在一個(gè)問題：可以非?？焖俚馗淖兎较蚝退俣?，并與車輛不同地與交通環(huán)境交互。

在ITS中實(shí)際部署計(jì)算機(jī)視覺模型的一些主要障礙，是數(shù)據(jù)源的異質(zhì)性、傳感器硬件故障以及極端或異常傳感情況。此外，最新一些框架（如基于邊緣計(jì)算的框架）直接暴露了大量無線通信信號(hào)，為惡意行為者創(chuàng)造了越來越大的潛在攻擊。已經(jīng)開發(fā)了深度學(xué)習(xí)模型來檢測這些攻擊，但實(shí)時(shí)應(yīng)用和在線學(xué)習(xí)仍然是積極研究的領(lǐng)域。

IoV面臨著基本的實(shí)際問題，這是由于移動(dòng)車輛在邊緣節(jié)點(diǎn)上呈現(xiàn)可變的處理開銷，而每輛車也可以同時(shí)運(yùn)行許多邊緣和云相關(guān)的應(yīng)用程序。與自動(dòng)駕駛汽車邊緣計(jì)算相關(guān)的其他挑戰(zhàn)包括，協(xié)作感知、協(xié)作決策和網(wǎng)絡(luò)安全。攻擊者可以用激光和明亮的紅外光干擾攝像頭和激光雷達(dá)，改變交通標(biāo)志，并在通信通道重復(fù)攻擊。

如圖是模型挑戰(zhàn)：

陰影、惡劣天氣、背景-前景之間的相似性、現(xiàn)實(shí)世界中的強(qiáng)烈照明或不足照明等情況。眾所周知，攝像頭圖像的外觀受到不利天氣條件的影響，如大霧、雨夾雪、暴風(fēng)雪和沙塵暴。

[在惡劣的天氣條件下，交通監(jiān)控?cái)z像頭捕捉到的車輛會(huì)出現(xiàn)曝光不足、模糊和部分遮擋等問題。同時(shí)，出現(xiàn)在交通場景中的雨滴和雪花增加了算法提取車輛目標(biāo)的難度。在夜間或在車輛朝著攝像頭行駛的隧道中，由于遠(yuǎn)光眩光，場景可能被完全掩蓋。

遮擋是最具挑戰(zhàn)性的問題之一，其中由于另一個(gè)前景目標(biāo)的遮擋，一個(gè)目標(biāo)僅部分可見于攝像頭或傳感器。遮擋以多種形式存在，從部分遮擋到重遮擋。在AD中，這個(gè)目標(biāo)可以被建筑物和燈柱等靜態(tài)目標(biāo)遮擋。諸如移動(dòng)車輛或其他道路使用者之類的動(dòng)態(tài)目標(biāo)可能會(huì)彼此遮擋，例如人群。遮擋也是目標(biāo)跟蹤中的一個(gè)常見問題，因?yàn)橐坏┍桓欆囕v從視野中消失并再現(xiàn)，被視為不同的車輛，導(dǎo)致跟蹤和軌跡信息不準(zhǔn)確。

在交通基礎(chǔ)設(shè)施的應(yīng)用中，監(jiān)控?cái)z像機(jī)的多樣性對(duì)基于有限視角攝像機(jī)視圖訓(xùn)練的DL方法提出了挑戰(zhàn)。早期對(duì)監(jiān)控視頻異常檢測的調(diào)查得出結(jié)論，照明、攝像機(jī)角度、異質(zhì)目標(biāo)和缺乏真實(shí)世界數(shù)據(jù)集是主要挑戰(zhàn)。用于稀疏和密集交通條件的方法是不同的，并且缺乏泛化性。在多視圖視覺場景中，匹配不同視圖中的目標(biāo)是另一個(gè)主要問題，因?yàn)槎嘁晥DITS應(yīng)用程序需要處理同時(shí)由不同攝像頭捕獲的圖像數(shù)據(jù)。

監(jiān)控?cái)z像機(jī)受天氣因素影響。水、灰塵和顆粒物質(zhì)可能積聚在鏡頭上，導(dǎo)致圖像質(zhì)量下降。強(qiáng)風(fēng)會(huì)導(dǎo)致攝像頭抖動(dòng)，導(dǎo)致整個(gè)圖像的運(yùn)動(dòng)模糊。自動(dòng)駕駛汽車上的前置攝像頭也面臨這一問題，因?yàn)槔ハx會(huì)砸到玻璃上，導(dǎo)致攝像頭視野中的盲點(diǎn)。具體而言，目標(biāo)檢測和分割算法受到極大影響，除非在模型中做好準(zhǔn)備，否則錯(cuò)誤檢測可能會(huì)導(dǎo)致AD的嚴(yán)重安全問題，或者錯(cuò)過監(jiān)視應(yīng)用的重要事件。解決這一問題的一些方法包括使用退化圖像進(jìn)行訓(xùn)練、圖像恢復(fù)預(yù)處理和微調(diào)預(yù)訓(xùn)練網(wǎng)絡(luò)從退化圖像中學(xué)習(xí)。

密集的城市交通場景充滿了復(fù)雜的視覺元素，不僅在數(shù)量上，而且在各種不同的車輛及其交互中。汽車、公共汽車、自行車和行人在同一個(gè)十字路口的存在是自動(dòng)導(dǎo)航和軌跡計(jì)算的一個(gè)重要問題。不同的大小、轉(zhuǎn)彎半徑、速度和駕駛員行為，被這些道路使用者之間的交互進(jìn)一步加重。從DL的角度來看，很容易找到異構(gòu)城市交通的視頻，但標(biāo)記真值非常耗時(shí)。模擬軟件通常無法捕捉此類場景的復(fù)雜動(dòng)態(tài)，尤其是在密集的城市中心出現(xiàn)的交通規(guī)則破壞行為。

如圖是復(fù)雜交通環(huán)境的挑戰(zhàn)：

應(yīng)用

如表1

今后方向

來自arXiv2211.05120論文。