在自動(dòng)駕駛領(lǐng)域，包括感知在內(nèi)，很多問(wèn)題可以更好的用深度學(xué)習(xí)算法去解決，這是當(dāng)今的一個(gè)趨勢(shì)。如果有留意CVPR 2019或者今年arxiv上面比較新的論文的同學(xué)，也會(huì)發(fā)現(xiàn)這一趨勢(shì)。

在過(guò)去，傳統(tǒng)機(jī)器學(xué)習(xí)算法需要手工設(shè)計(jì)特征，視覺(jué)感知落地往往變成一個(gè)特征工作問(wèn)題。那么隨著深度學(xué)習(xí)的不斷發(fā)展，視覺(jué)感知算法的發(fā)展日新月異，可以通過(guò)網(wǎng)絡(luò)設(shè)計(jì)來(lái)提升算法性能。同樣的，不管傳統(tǒng)機(jī)器學(xué)習(xí)、深度學(xué)習(xí)的視覺(jué)感知算法，尤其在自動(dòng)駕駛領(lǐng)域，都需要某種程度的后處理算法來(lái)提升算法精度和魯棒性。那么如果通過(guò)新的深度學(xué)習(xí)方法從而減輕這些人工設(shè)計(jì)的后處理步驟，也是自動(dòng)駕駛視覺(jué)感知算法的一些新的嘗試方向。

可以這么說(shuō)，深度學(xué)習(xí)很大程度地提升了自動(dòng)駕駛中視覺(jué)感知模塊開(kāi)發(fā)的效率。

數(shù)據(jù)在深度學(xué)習(xí)發(fā)展過(guò)程中起到了至關(guān)重要的作用，增加訓(xùn)練數(shù)據(jù)，尤其是有效數(shù)據(jù)，往往是感知性能提高的一個(gè)關(guān)鍵。在自動(dòng)駕駛領(lǐng)域，視覺(jué)感知需要面對(duì)各種復(fù)雜場(chǎng)景，那么就會(huì)對(duì)數(shù)據(jù)本身提出更高的要求。

正是因?yàn)檫@樣，深度學(xué)習(xí)所依賴(lài)的數(shù)據(jù)在視覺(jué)感知開(kāi)發(fā)中有著無(wú)可替代的作用?；谶@一點(diǎn)，本文將圍繞以下三點(diǎn)進(jìn)行介紹：當(dāng)前比較主流的公開(kāi)數(shù)據(jù)集，自動(dòng)駕駛所面臨的數(shù)據(jù)挑戰(zhàn)，以及如何形成視覺(jué)感知模塊的閉環(huán)迭代。

01、自動(dòng)駕駛公開(kāi)數(shù)據(jù)集

目前的一些自動(dòng)駕駛公開(kāi)數(shù)據(jù)集中，比較經(jīng)典的有KITTI數(shù)據(jù)集，以及用于分割的CityScapes，還有NuTonomy公司提出的NuScenes數(shù)據(jù)集，伯克利開(kāi)源的BDD。在CVPR 2019上，Waymo、Argo和Lyft也分別開(kāi)放了一些自動(dòng)駕駛相關(guān)的數(shù)據(jù)集。


 自動(dòng)駕駛中的公開(kāi)數(shù)據(jù)集

截至2017年時(shí)，KITTI是被引用最多的數(shù)據(jù)集。KITTI的傳感器的配置、數(shù)據(jù)集的分類(lèi)，比如說(shuō)障礙物的分類(lèi)，或者照片中有多少種類(lèi)的分布的統(tǒng)計(jì)，有助于開(kāi)發(fā)者構(gòu)建數(shù)據(jù)集的時(shí)候去統(tǒng)計(jì)自己的數(shù)據(jù)。

數(shù)據(jù)統(tǒng)計(jì)有助于了解數(shù)據(jù)的分布，同樣也會(huì)對(duì)算法benchmark有所幫助。

NuScenes開(kāi)源的是一個(gè)比較大的公開(kāi)數(shù)據(jù)集，同樣包括了攝像頭、激光雷達(dá)和毫米波雷達(dá)等信息。這些細(xì)分?jǐn)?shù)據(jù)對(duì)自動(dòng)駕駛公司自己收集數(shù)據(jù)提供了很大的參考。

此外，伯克利也推出了100K數(shù)據(jù)，其中包含了目標(biāo)檢測(cè)和圖像分割，主要覆蓋紐約、伯克利、三藩和灣區(qū)四個(gè)地方的數(shù)據(jù)采集。


02、自動(dòng)駕駛的數(shù)據(jù)挑戰(zhàn)

在有了大規(guī)模數(shù)據(jù)之后，我們還需要了解的是：模型它基本上是Garbage in, Garbage out。如果扔進(jìn)去的是一些無(wú)用的信息，那么模型很難學(xué)到一些有用的信息。

因此這里要強(qiáng)調(diào)的是，視覺(jué)模型上線(xiàn)是一個(gè)閉環(huán)迭代過(guò)程，涵蓋數(shù)據(jù)采集、數(shù)據(jù)清洗、數(shù)據(jù)標(biāo)注、模型訓(xùn)練、模型測(cè)試，最終才可上線(xiàn)。

另外，在數(shù)據(jù)集中，難免出現(xiàn)一些錯(cuò)誤或丟失。

噪聲數(shù)據(jù)的清洗是工業(yè)界數(shù)據(jù)處理首要解決的問(wèn)題。

李飛飛的學(xué)生 Andrej Karpathy曾在一個(gè)演講上指出，一個(gè)PhD學(xué)生可能95%的時(shí)間在學(xué)校設(shè)計(jì)算法，因?yàn)樗梢允褂靡恍┕_(kāi)的數(shù)據(jù)集；余下5%的時(shí)間可能就是下載數(shù)據(jù)，做一些評(píng)測(cè)。而他到了特斯拉領(lǐng)導(dǎo)自動(dòng)駕駛小組，變成了75%時(shí)間專(zhuān)注在數(shù)據(jù)。這一點(diǎn)也說(shuō)明了數(shù)據(jù)是極其重要的一環(huán)，對(duì)此我非常認(rèn)同。


Building the Software 2 0 Stack (Andrej Karpathy), 2018

某種程度上說(shuō)，自動(dòng)駕駛的數(shù)據(jù)挑戰(zhàn)，很多還是來(lái)源于視覺(jué)圖像的一些挑戰(zhàn)。比如視角、光照等變化，都可能對(duì)自動(dòng)駕駛算法造成影響。

在自動(dòng)駕駛數(shù)據(jù)中，很可能大多是一些比較簡(jiǎn)單的場(chǎng)景，比如：視野開(kāi)闊，車(chē)少，車(chē)道線(xiàn)有比較清楚的樣例。

但在實(shí)際場(chǎng)景中有很多更復(fù)雜場(chǎng)景，比如夜間虛線(xiàn)的車(chē)道線(xiàn)場(chǎng)景中，夜間光線(xiàn)比較弱，那么識(shí)別這些車(chē)道線(xiàn)其實(shí)是很難的，即使去做標(biāo)注也很難去準(zhǔn)確地把車(chē)道線(xiàn)給標(biāo)出來(lái)。

另外，像是擁堵跟車(chē)時(shí)候拍到的物體、比較近距離的障礙物，這對(duì)車(chē)道線(xiàn)、障礙物標(biāo)注或者算法設(shè)計(jì)都會(huì)有一些挑戰(zhàn)。一個(gè)極端例子是cut-in：如果一輛車(chē)從旁邊車(chē)道cut-in，那么它會(huì)擋住視野中的車(chē)道線(xiàn)，這對(duì)車(chē)道線(xiàn)標(biāo)注、訓(xùn)練或者上線(xiàn)都會(huì)帶來(lái)挑戰(zhàn)。特別是有時(shí)候一輛大車(chē)會(huì)完全擋住所有的視線(xiàn)，這對(duì)車(chē)道線(xiàn)的算法會(huì)帶來(lái)很大的挑戰(zhàn)。


Cut-in

從中可以看到，自動(dòng)駕駛?cè)绾胃咝У厥占@些有效數(shù)據(jù)其實(shí)是很難的，而且這些數(shù)據(jù)大量都是不均衡的。如果想搜集這些數(shù)據(jù)場(chǎng)景，比如道路分叉，其實(shí)是比較費(fèi)精力的一件事，因?yàn)榧词故窃诟咚偕厦婊蛘攮h(huán)線(xiàn)上面，道路分叉占整個(gè)數(shù)據(jù)量的比例其實(shí)是很低的。覆蓋更復(fù)雜的場(chǎng)景，是數(shù)據(jù)方面的一個(gè)挑戰(zhàn)。

當(dāng)場(chǎng)景定義結(jié)束后，有效數(shù)據(jù)的獲得也很重要，最后是模型的迭代。

03、數(shù)據(jù)驅(qū)動(dòng)閉環(huán)迭代

英特爾CEO曾做過(guò)類(lèi)似的表述，自動(dòng)駕駛數(shù)據(jù)量很大，如果要收集所有信息的話(huà)，大概是4000 GB/天，但是我們并不需要每時(shí)每刻都把所有信息收集起來(lái)。

數(shù)據(jù)方面要考慮的四大步驟：第一個(gè)是數(shù)據(jù)獲取，即如何獲取一些最有效、最關(guān)鍵信息；第二個(gè)數(shù)據(jù)存儲(chǔ)；第三個(gè)是數(shù)據(jù)管理，即如何從中間拿到最有效信息、如何管理這些信息，使大家都能夠快速便捷地獲取這些信息進(jìn)行算法開(kāi)發(fā)；還有一個(gè)關(guān)鍵是數(shù)據(jù)標(biāo)注。那么，如何打通數(shù)據(jù)獲取到數(shù)據(jù)標(biāo)注的這個(gè)閉環(huán)呢？

數(shù)據(jù)獲取要平衡三個(gè)因素。第一個(gè)是包含場(chǎng)景，比如要包含各種天氣、各種城市或者高速場(chǎng)景、各種車(chē)道線(xiàn)的細(xì)分類(lèi)型直線(xiàn)/虛線(xiàn)，等等。第二個(gè)因素，要考慮推向市場(chǎng)的功能的緊急程度。比如模塊迭代，因?yàn)閺乃惴ㄩ_(kāi)發(fā)第一天就支持所有各種復(fù)雜場(chǎng)景并不現(xiàn)實(shí)，所以需要根據(jù)推向市場(chǎng)功能的緊急程度來(lái)定義要獲取什么數(shù)據(jù)。第三個(gè)是基于現(xiàn)有資源。比如現(xiàn)有的人員，現(xiàn)有的算法。


數(shù)據(jù)獲取

數(shù)據(jù)存儲(chǔ)也有幾個(gè)方面需要考慮：第一個(gè)是需要本地存儲(chǔ)還是云端存儲(chǔ)，如何更高效地利用云端或者本地的這些架構(gòu)。第二是如何存儲(chǔ)采集車(chē)上的數(shù)據(jù)，因?yàn)椴杉?chē)運(yùn)行一天或者連續(xù)跑很長(zhǎng)時(shí)間，數(shù)據(jù)量是非常大的，可能很多時(shí)間會(huì)花費(fèi)在如何從采集車(chē)上面把數(shù)據(jù)拷走。另外一個(gè)是數(shù)據(jù)安全如何保證。此外還有數(shù)據(jù)管理，多與存儲(chǔ)相關(guān)。比如原來(lái)數(shù)據(jù)存在什么地方，或者需要存儲(chǔ)哪些數(shù)據(jù)，如何使每個(gè)人都能便捷地讀取這些數(shù)據(jù)也有利于整個(gè)開(kāi)發(fā)效率的提升。

關(guān)于數(shù)據(jù)標(biāo)注，上面介紹了幾大公開(kāi)數(shù)據(jù)集，每一個(gè)都有自己標(biāo)注的一些定義，所以我們首先需要根據(jù)自己算法設(shè)計(jì)或者功能實(shí)現(xiàn)定義合理的標(biāo)準(zhǔn)。第二是要考慮量產(chǎn)經(jīng)濟(jì)因素，比如說(shuō)和第三方合作，也要考慮如何讓這些定義的標(biāo)準(zhǔn)能夠使第三方快速接受。最后是確保達(dá)到最佳標(biāo)準(zhǔn)，因?yàn)闃?biāo)注即使是通過(guò)人工篩選、人工驗(yàn)證，還是有很多噪聲涵蓋其中，所以如何提升標(biāo)注的準(zhǔn)確性，也是很重要的一個(gè)因素。


數(shù)據(jù)標(biāo)注

最后總結(jié)一下：視覺(jué)方案是一個(gè)閉環(huán)，從數(shù)據(jù)的采集到數(shù)據(jù)清洗，到拿到清洗有效數(shù)據(jù)之后的數(shù)據(jù)標(biāo)注，再到從標(biāo)注團(tuán)隊(duì)拿到標(biāo)準(zhǔn)數(shù)據(jù)之后進(jìn)行模型訓(xùn)練或者內(nèi)部評(píng)測(cè)，經(jīng)過(guò)模型測(cè)試之后，如果達(dá)到要求模型即可上線(xiàn)，這是一個(gè)完整的過(guò)程。


形成閉環(huán)

有了整個(gè)閉環(huán)的流程之后，即可支持模型的迭代，通過(guò)模型迭代不斷解決上一個(gè)版本遇到的問(wèn)題。一個(gè)模塊或者視覺(jué)模塊迭代的快慢，往往取決于提及的這幾個(gè)步驟，比如數(shù)據(jù)采集，或者根據(jù)某個(gè)版本發(fā)現(xiàn)問(wèn)題后進(jìn)行的數(shù)據(jù)清洗，更準(zhǔn)確的數(shù)據(jù)標(biāo)注，模型內(nèi)部的測(cè)試和上線(xiàn)。如果能形成一個(gè)快速的閉環(huán)，那么開(kāi)發(fā)節(jié)奏會(huì)高效很多。