汽車數(shù)據(jù)采集可以分為兩大類，一類是駕駛者行為數(shù)據(jù)采集，另一類是深度學(xué)習(xí)視覺訓(xùn)練數(shù)據(jù)采集。數(shù)據(jù)采集必然是有選擇性的，最簡單也最普遍的一類機器學(xué)習(xí)算法就是分類（classification）。

對于分類，輸入的訓(xùn)練數(shù)據(jù)有特征（feature），有標(biāo)簽（label）。所謂的學(xué)習(xí)，其本質(zhì)就是找到特征和標(biāo)簽間的關(guān)系（mapping）。這樣當(dāng)有特征而無標(biāo)簽的未知數(shù)據(jù)輸入時，我們就可以通過已有的關(guān)系得到未知數(shù)據(jù)標(biāo)簽。如果所有訓(xùn)練數(shù)據(jù)都有標(biāo)簽，則為有監(jiān)督學(xué)習(xí)（supervised learning）。如果數(shù)據(jù)沒有標(biāo)簽，顯然就是無監(jiān)督學(xué)習(xí)（unsupervisedlearning）了，也即聚類（clustering）。聚類學(xué)習(xí)目前處于起步階段，與分類學(xué)習(xí)比簡直是天壤之別，即便不需要標(biāo)注，但是也需要特征，某種意義上也可以說不是絕對意義的無監(jiān)督學(xué)習(xí)。

駕駛者行為數(shù)據(jù)，這是評價ADAS系統(tǒng)最客觀的方法，根據(jù)此數(shù)據(jù)分析可以得出ADAS系統(tǒng)是否對駕駛安全有提升，是否有價值。最知名的則是由美國策略性公路研究計劃 (The second StrategicHighway Research Program, SHRP 2) 中的自然駕駛研究計劃 (Naturalistic Driving Study,NDS)。行駛于弗吉尼亞州北部(NorthernVirginia) 及華盛頓哥倫比亞特區(qū) (Washington, D.C.) 中之 100 輛被選定的機動車輛為記錄對象，且為了能夠記錄駕駛?cè)藢嶋H的駕駛情況，其計劃執(zhí)行單位并沒有針對被選駕駛?cè)伺e辦關(guān)于此研究計劃的說明會。這些實驗是在無干擾，無實驗人員出現(xiàn)，日常駕駛狀態(tài)下進行的。此計劃總共為期兩年，其總共搜集 2000000 車行里程 (vehicle miles) 及 43000 小時的行駛數(shù)據(jù)。其中，總共記錄828 筆事故及幾近事故資料，其中包含 68 件碰撞(crash) 及 760 件幾近碰撞(near-crash)。

2012年NDS項目擴展到中國，上海同濟大學(xué)、通用汽車和弗吉尼亞理工大學(xué)三方合作，在2012年12月開始，于2015年12月結(jié)束，按計劃采集90名中國駕駛員的日常駕駛行為數(shù)據(jù)，每輛車均配備Mobileye的C2-270（FCW)和SHRP2 NextGen數(shù)據(jù)采集系統(tǒng)。總共5輛車，分別是2輛君越，2輛科魯茲，1輛卡迪拉克DTS。每位實驗者駕駛實驗車輛2個月，第一個月開啟Mobileye，第二個月關(guān)閉。SHRP2 NextGen數(shù)據(jù)采集系統(tǒng)包括車輛數(shù)據(jù)總線接口，三軸加速度計，可跟蹤9個目標(biāo)的毫米波雷達，溫度與濕度傳感器，GPS定位系統(tǒng)，四路攝像頭，這四路分別是駕駛者面部，車輛前方，車輛后方，駕駛員手部。采集頻率從10-100Hz不等。需要指出，沒有廠家開放CAN總線，OBD根本拿不到什么有價值的數(shù)據(jù)。 據(jù)說SHRP2 NextGen 由日本富士通設(shè)計并制造，使用了高性能FPGA。



上圖為裝載了SHARP2 NextGen的車輛后備箱，需要指出這是2008年的設(shè)計，換到今日，體積可以大幅度縮小。

截至到2015年7月，上海的NDS研究共采集了55名駕駛員，大約13萬公里的駕駛數(shù)據(jù)。選擇19名典型駕駛員數(shù)據(jù)分析，共4573次出行，累計公里數(shù)為60689公里。其中32797采集自Mobileye關(guān)閉階段，27892公里采集自Mobileye開啟階段。駕駛員年齡分布在28-61歲之間，平均年齡40.9歲，駕齡在1-16年之間，平均駕齡6.6年。

研究結(jié)論表明FCW對駕駛員行為并未有明顯改變，只是略微降低了駕駛員跟車的反應(yīng)時間。光線晴好的情況下，略微降低了130毫秒，反應(yīng)時間變短，只是稍微加速了交通流的速度。

歐洲也有類似的項目，名字為EuroFOT，主要在西班牙和德國開展，包括商用車。德國車隊有200輛車，包括60輛MAN卡車，100輛福特轎車和40輛大眾轎車。福特車輛均配備了FCW和ACC。MAN則配備了CSW(Curve Speed Warning)和LDW。大眾則配備了ACC和LDW。主要研究ACC、LDW、CSW、FCW對駕駛員的影響。西班牙由CTAG（Centre Technologique de l'Automobile deGalice）主導(dǎo)，共40輛車，主要研究巡航控制和速度控制對駕駛員的影響。CTAG自己開發(fā)了Can數(shù)據(jù)采集器。



西班牙的40輛車中35輛裝配低級采集設(shè)備，5輛裝配高級采集設(shè)備。



上圖為高級采集設(shè)備，包括1個紅外攝像頭、4個攝像頭和1個天合的AC20毫米波雷達。紅外攝像頭是個眼球軌跡跟蹤器。4個攝像頭，分別對應(yīng)腳下、臉部、前方和手部。至于研究成果，目前還未透露。

再有一類駕駛者行為數(shù)據(jù)采集是為了深度學(xué)習(xí)訓(xùn)練數(shù)據(jù)用的，試圖讓機器學(xué)習(xí)人類的駕駛技能，最早美國波音公司曾對其研究，論文為 A Survey of Robot Learning from Demonstration，提出LFD。后來美國陸軍實驗室資助CMU開發(fā)，主要研究者是David Silver, J. Andrew Bagnell 和 AnthonyStentz，這篇論文的名字為Learning Autonomous Driving Styles and Maneuversfrom Expert Demonstration 進一步發(fā)展LFD，最后就是英偉達的端到端深度學(xué)習(xí)。



訓(xùn)練數(shù)據(jù)包括從視頻中采樣得到的單幀視頻，以及對應(yīng)的方向控制命令（1/r）。只用駕駛員操作的數(shù)據(jù)訓(xùn)練遠遠不夠；網(wǎng)絡(luò)模型還需要學(xué)習(xí)如何糾正錯誤的操作，否則汽車就會慢慢偏離公路了。于是，訓(xùn)練數(shù)據(jù)額外補充了大量圖像，包括汽車從車道中心的各種偏移和轉(zhuǎn)彎。

兩個特定的偏離中心的圖像可以從左和右兩臺相機得到。攝像機之間的其它偏離以及所有的旋轉(zhuǎn)都靠臨近攝像機的視角變換來仿真。精確的視角轉(zhuǎn)換需要具備3D場景的知識，而這套系統(tǒng)卻不具備這些知識，因此假設(shè)所有低于地平線的點都在地平面上，所有地平線以上的點都在無限遠處，以此來近似地估計視角變換。在平坦的地區(qū)這種方法沒問題，但是對于更完整的渲染，會造成地面上物體的扭曲，比如汽車、樹木和建筑等。英偉達認為這些扭曲對網(wǎng)絡(luò)模型訓(xùn)練并無大礙。方向控制會根據(jù)變換后的圖像迅速得到修正，使得汽車能在兩秒之內(nèi)回到正確的位置和方向。


圖像輸入到CNN網(wǎng)絡(luò)計算方向控制命令。預(yù)測的方向控制命令與理想的控制命令相比較，然后調(diào)整CNN模型的權(quán)值使得預(yù)測值盡可能接近理想值。權(quán)值調(diào)整是由機器學(xué)習(xí)庫Torch 7的后向傳播算法完成。

日本人將這個系統(tǒng)擴展，單靠攝像頭根本不可靠，激光雷達是少不了的。日本自動駕駛聯(lián)盟SIP-AURAS將開發(fā)駕駛者行為數(shù)據(jù)庫的任務(wù)交給了日本JARI，日本汽車研究院。



這套系統(tǒng)也可以用來研究駕駛者行為，也可以用來做訓(xùn)練數(shù)據(jù)。



日本汽車研究院與名古屋大學(xué)合作，計劃使用30輛車在日本全國采集數(shù)據(jù)。



日本的數(shù)據(jù)采集系統(tǒng)不僅有激光雷達，還有眼球與面部軌跡，還有心跳次數(shù)。



上圖為數(shù)據(jù)采集車。



激光雷達原始數(shù)據(jù)龐大，每秒大約300MB，轉(zhuǎn)換為JPEG格式的圖像后每秒大約3MB。

搜集深度學(xué)習(xí)訓(xùn)練數(shù)據(jù)做圖形識別最典型的莫過于KITTI。德國卡爾斯魯厄理工學(xué)院和芝加哥豐田技術(shù)研究所聯(lián)合建立的一個算法評測平臺KITTI，成為目前國際上公開的最大的自動駕駛場景下的計算機視覺算法評測數(shù)據(jù)集。有2012和2015兩個版本。其他比較知名的還有，Cityscapes，奔馳聯(lián)合德國老牌工科大學(xué)達姆施塔特工業(yè)大學(xué)、普朗克研究院、德累斯頓工業(yè)大學(xué)做的；劍橋大學(xué)的CamVid，牛津大學(xué)的Oxford RobotCar，斯坦福大學(xué)的ImageNet，英國利茲大學(xué)、蘇黎世工學(xué)院、愛丁堡大學(xué)、微軟劍橋研究院、牛津大學(xué)聯(lián)合推出的Pascal VOC，Leuven大學(xué)的Leuven，美國Middlebury大學(xué)的Middlebury。



KITTY采集車配置：
• 2 ×PointGray Flea2 灰度攝像頭 (FL2-14S3M-C),140萬像素, 1/2” Sony ICX267 CCD
• 2 ×PointGray Flea2 彩色攝像頭 (FL2-14S3C-C), 140萬像素, 1/2” Sony ICX267 CCD
• 4 × EdmundOptics lenses, 4mm, opening angle ∼ 90?,vertical opening angle of region of interest(ROI) ∼ 35?
• 1 × Velodyne HDL-64E rotating 3D laser scanner,10 Hz,64 beams, 0.09 degree angular resolution, 2 cm distance accuracy,collecting ∼ 1.3 million points/second, field ofview: 360? horizontal, 26.8? vertical, range: 120 m
• 1 × OXTS RT3003 inertial andGPS navigation system,6 axis, 100 Hz, L1/L2 RTK, resolution: 0.02m / 0.1?



上圖為傳感器布局

采集車的雙目攝像頭基線長54厘米，車載電腦為英特爾至強的X5650 Cpu，RAID 5 4TB硬盤。采集時間是2011年的9月底和10月初，總共大約5天，總數(shù)據(jù)集大約180GB（要做大規(guī)模商業(yè)化應(yīng)用至少要有PB級的訓(xùn)練數(shù)據(jù)），2015年做了擴展。主要內(nèi)容如下，分訓(xùn)練和測試數(shù)據(jù)。



上圖為Kitti數(shù)據(jù)格式

為了生成3D地面真實信息，我們雇傭了一組注釋員，并要求他們以3D邊界框的形式將軌跡分配給對象，如汽車，貨車，卡車，電車，行人和騎車人。與大多數(shù)現(xiàn)有的基準(zhǔn)不同，我們不依賴于在線眾包來執(zhí)行標(biāo)簽。為此，我們創(chuàng)建了一個特殊用途的標(biāo)簽工具，它顯示3Dlaser點以及相機圖像，以提高注釋的質(zhì)量。與大多數(shù)數(shù)據(jù)集不同，Kitti沒有采用眾包的形式來手工標(biāo)注，而是自己基于激光雷達開發(fā)了自動標(biāo)注工具。

Cityscape沒有公布其采集車的照片，其采集車沒有采用激光雷達，只用了一個基線為22厘米的200萬像素級的雙目攝像頭，使用安森美的AR0331傳感器，擁有HDR高動態(tài)范圍，且是在車內(nèi)部，而不是在車外面。輸出16比特的線性色彩。沒有使用IMU，只有一個GPS?？偣?5000張圖像，其中人工選擇了5000張前景突出，視差明顯的圖像做精細標(biāo)注。20000張前景不突出，駕駛者20米內(nèi)圖像，采用了LabelMe的自動標(biāo)注軟件，做了簡易標(biāo)注。

搜集訓(xùn)練數(shù)據(jù)再做標(biāo)注，需要耗費巨大的人力，例如在自然語言處理（NLP）中，Penn Chinese Treebank 在2年里只完成了4000句話的標(biāo)簽。要知道玩深度學(xué)習(xí)計算機視覺的人可都是熱門人才，月薪動輒好幾萬。即便做最沒技術(shù)含量的手工標(biāo)注，也是人工費用不低。牛津大學(xué)搞了一套基于弱監(jiān)督的學(xué)習(xí)系統(tǒng)。在實際應(yīng)用中的學(xué)習(xí)問題往往以混合形式出現(xiàn),如多標(biāo)記多示例、半監(jiān)督多標(biāo)記、弱標(biāo)記多標(biāo)記等，像光線對圖像質(zhì)量影響很大，人工標(biāo)注也不可能每幀圖像都標(biāo)得非常好。針對監(jiān)督信息不完整或不明確對象的學(xué)習(xí)問題統(tǒng)稱為弱監(jiān)督學(xué)習(xí)，弱監(jiān)督學(xué)習(xí)可以看作是有多個標(biāo)記的數(shù)據(jù)集合，次集合可以是空集，單個元素，或是多個元素的。



這套系統(tǒng)輸入圖像，輸出的是語義化分割的圖像，提供駕駛路徑建議，也就是Free Space。這套系統(tǒng)在一輛日產(chǎn)聆風(fēng)上安裝了一個Point Grey Bumblebee XB3雙目攝像頭，輸入精度為640*256，車兩側(cè)各裝一個Sick LD-MRS 4線激光雷達（估計是經(jīng)費不足，應(yīng)該用Velodyne的16線或32線激光雷達）。



使用前文波音和CMU所提出的LFD方法制造出建議路徑標(biāo)簽，然后將激光雷達數(shù)據(jù)與路徑疊加，激光雷達可以精確探知障礙物，再加上LFD，兩者合作增加了可靠性。



經(jīng)過訓(xùn)練后得到一個數(shù)學(xué)模型后，可以只用一個單目攝像頭即可實現(xiàn)準(zhǔn)確探測Free Space和障礙物探測，不過光線不好的情況還是無解，激光雷達是無人駕駛絕對需要的。