自動(dòng)駕駛仿真測試是自動(dòng)駕駛車輛商業(yè)化落地的一道重要關(guān)卡，仿真測試技術(shù)的發(fā)展進(jìn)步將決定自動(dòng)駕駛落地的時(shí)間點(diǎn)。

本篇文章是《九章智駕》仿真類系列的第四篇，前三篇分別是：《一文讀懂自動(dòng)駕駛仿真測試技術(shù)現(xiàn)狀》、《自動(dòng)駕駛仿真類初創(chuàng)企業(yè)信息梳理》、《一文讀懂自動(dòng)駕駛仿真測試場景與場景庫》。仿真測試對自動(dòng)駕駛的重要性不言而喻，筆者寫這些內(nèi)容希望能夠拋轉(zhuǎn)引玉。更希望能夠作為一個(gè)“吶喊者”讓更多的人去關(guān)注和重視自動(dòng)駕駛仿真測試這個(gè)領(lǐng)域。

自動(dòng)駕駛系統(tǒng)現(xiàn)階段最大的問題是“落地應(yīng)用難”，之所以“落地應(yīng)用難”是因?yàn)樽詣?dòng)駕駛系統(tǒng)的安全問題尚未得到妥善的解決。解決系統(tǒng)安全問題就需要進(jìn)行大量的虛擬仿真測試和實(shí)車道路測試，而仿真測試能夠大大加快系統(tǒng)的測試驗(yàn)證進(jìn)程，因此，如何高效、可信地對自動(dòng)駕駛進(jìn)行仿真測試評價(jià)是自動(dòng)駕駛系統(tǒng)商業(yè)化落地的關(guān)鍵。

接下來講一下目前自動(dòng)駕駛仿真測試的兩大痛點(diǎn)問題：仿真測試的置信度和仿真測試場景的覆蓋度問題。

一、置信度存疑

1. 仿真軟件本身的置信度問題

現(xiàn)在雖然很多仿真平臺(tái)都具有傳感器建模仿真、車輛動(dòng)力學(xué)建模仿真以及交通場景建模仿真的能力，但仿真模型大多都是建立在理想條件的情況下，仿真模擬器模擬出來的結(jié)果的置信度到底怎么樣，還沒有具體可量化的指標(biāo)去評價(jià)。

以激光雷達(dá)仿真為例，激光雷達(dá)的反射強(qiáng)度與障礙物的距離、激光發(fā)射角度以及障礙物本身的物理材質(zhì)相關(guān)。激光雷達(dá)探測范圍大，發(fā)射出去的激光線束又十分密集，且在環(huán)境中存在多次反射、遮蔽等影響，計(jì)算返回的激光束比較復(fù)雜，很難較為真實(shí)地對激光雷達(dá)信號的回波進(jìn)行模擬?，F(xiàn)有激光雷達(dá)模型，大多是根據(jù)每一種物理材質(zhì)的激光反射率直接計(jì)算回波信號。如此計(jì)算的話，與現(xiàn)實(shí)中的回波信號肯定是存在一定的誤差。

若是考慮到傳感器硬件或軟件自身造成雷達(dá)的噪點(diǎn)問題，以及雨雪、水漬、灰塵等這些干擾雷達(dá)工作性能的環(huán)境因素，導(dǎo)致雷達(dá)性能減弱或者無法使用的現(xiàn)象。這些問題或現(xiàn)象更是激光雷達(dá)仿真模擬的難題。

2. 仿真平臺(tái)復(fù)現(xiàn)和泛化出場景的置信度問題

目前通常采用的手段是，基于真實(shí)數(shù)據(jù)通過仿真模擬器去復(fù)現(xiàn)和泛化出更多的虛擬仿真測試場景。那么，這些測試場景與真實(shí)場景的擬合度能達(dá)到什么水平？

什么是場景的泛化呢？即將路采的真實(shí)場景數(shù)據(jù)進(jìn)行特征提取、數(shù)據(jù)標(biāo)注等操作后，仿真平臺(tái)依據(jù)場景特征元素的關(guān)聯(lián)關(guān)系或者人工經(jīng)驗(yàn)等對場景元素進(jìn)行重新組合或推演歸納處理，從而衍生出更多合理的新場景。

真實(shí)場景的泛化存在兩個(gè)問題：

一是泛化的方向是否符合統(tǒng)計(jì)學(xué)意義與測試需求。當(dāng)前的自動(dòng)駕駛企業(yè)都未明確提出其動(dòng)態(tài)場景相對于真實(shí)世界的統(tǒng)計(jì)學(xué)意義。確定仿真場景與真實(shí)世界在統(tǒng)計(jì)上的映射關(guān)系是亟待解決的難題。

二是泛化過程中真實(shí)性損失，例如，對密集交通流案例進(jìn)行泛化，更改一條車輛軌跡后，在實(shí)際中會(huì)對周邊多條軌跡產(chǎn)生影響并擴(kuò)散開來，單車的行駛擾動(dòng)有時(shí)會(huì)造成整個(gè)交通流的失穩(wěn)，現(xiàn)在的泛化技術(shù)很難重現(xiàn)這種場景。

復(fù)現(xiàn)和泛化出來的虛擬仿真環(huán)境與真實(shí)環(huán)境之間必然存在差異，這種差異會(huì)對測試結(jié)果造成多大的影響，是否在可接受的范圍內(nèi)？可惜現(xiàn)在也還沒有具體可量化的KPI指標(biāo)去評價(jià)這些測試場景的置信度。

3. 測試結(jié)果評價(jià)標(biāo)準(zhǔn)的置信度問題

目前傳統(tǒng)的測試手段還是以硬件測試（包括HIL硬件在環(huán)、VIL車輛在環(huán)）或真實(shí)道路測試為主。有調(diào)查結(jié)果顯示，對于純虛擬仿真測試（如MIL模型在環(huán)/SIL軟件在環(huán)），很多客戶認(rèn)為驗(yàn)證出來的數(shù)據(jù)不是特別可靠，即真實(shí)性沒有保證。

一位仿真專業(yè)人士曾在他的文章里講到過：“在自動(dòng)駕駛仿真中，是很難有‘參數(shù)標(biāo)定’這個(gè)過程的，因?yàn)?lsquo;真實(shí)試驗(yàn)’對安全員有高危性，并且很難執(zhí)行，因此也就很難調(diào)整仿真的參數(shù)，沒有標(biāo)定好的參數(shù)，又很難預(yù)測真實(shí)結(jié)果，就像個(gè)死循環(huán)。試驗(yàn)-仿真-試驗(yàn)的回路難通，僅靠經(jīng)驗(yàn)式的仿真，結(jié)果如何讓人信服？”

是呀，由于“試驗(yàn)-仿真-試驗(yàn)”的回路不通，結(jié)果的好壞比較難判定，客戶對仿真結(jié)果的真實(shí)性存在疑問也就在所難免了。那么，又該如何提高自動(dòng)駕駛仿真測試系統(tǒng)的置信度呢？現(xiàn)在雖然還沒有完美的方案，但相關(guān)企業(yè)已經(jīng)開始采用不同的方案來提升仿真系統(tǒng)的置信度水平了。

騰訊的自動(dòng)駕駛仿真平臺(tái)TAD-Sim采用游戲渲染+真實(shí)數(shù)據(jù)雙擎驅(qū)動(dòng)的方式，通過利用大量真實(shí)路采數(shù)據(jù)訓(xùn)練交通流AI模型，再結(jié)合游戲渲染引擎技術(shù)，自動(dòng)構(gòu)建互動(dòng)性較強(qiáng)，貼近真實(shí)世界的測試場景。

百度采用增強(qiáng)現(xiàn)實(shí)的自動(dòng)駕駛仿真系統(tǒng)-AADS，通過使用車輛搭載的激光雷達(dá)和高清相機(jī)掃描街景，獲取車輛周圍靜態(tài)的場景圖像和車流移動(dòng)的動(dòng)態(tài)軌跡數(shù)據(jù)；利用這些素材，系統(tǒng)再應(yīng)用增強(qiáng)現(xiàn)實(shí)技術(shù)直接、自動(dòng)地創(chuàng)建高逼真度的仿真圖像，使得創(chuàng)建出的虛擬場景更加接近真實(shí)場景。

51 WORLD采用數(shù)字孿生測試技術(shù)來增加仿真測試結(jié)果的置信度，即利用數(shù)字孿生技術(shù)構(gòu)建一個(gè)與真實(shí)場景一致的虛擬場景模型。實(shí)車在真實(shí)場景測試的過程中，會(huì)以車輛在環(huán)方式將車輛實(shí)時(shí)狀態(tài)數(shù)據(jù)實(shí)時(shí)映射到虛擬場景中，同時(shí)虛擬場景的測試數(shù)據(jù)和評價(jià)結(jié)果也會(huì)反饋給現(xiàn)實(shí)世界，作為指導(dǎo)和優(yōu)化現(xiàn)實(shí)世界中真實(shí)車輛進(jìn)行決策的重要依據(jù)。

二、場景的覆蓋度問題

1. “Corner Case”難以窮盡

現(xiàn)在自動(dòng)駕駛仿真測試另一大痛點(diǎn)便是如何構(gòu)建一個(gè)高覆蓋度水平的場景庫（覆蓋幾乎所有的“Corner Case”），若有這樣完美的場景庫，系統(tǒng)只需把場景庫中所涵蓋的測試用例都驗(yàn)證一遍，滿足要求后便能夠達(dá)標(biāo)。

對自動(dòng)駕駛仿真測試來講，最大的挑戰(zhàn)在于去收集到所有Corner Case，來覆蓋不同的道路環(huán)境、天氣環(huán)境以及交通狀況，這幾乎是不可能完成的任務(wù)。單從收集自動(dòng)駕駛Corner Case 這方面來講，Waymo的實(shí)車路測里程比較長，從統(tǒng)計(jì)學(xué)角度講，它碰到的Corner Case相對就多一些（截止到2020年，仿真系統(tǒng)里的模擬測試?yán)锍汤塾?jì)超過150億英里，實(shí)際道路測試?yán)锍汤塾?jì)超過2000萬英里）。盡管如此，其工程師們?nèi)匀话l(fā)現(xiàn)有層出不窮的新長尾場景待解決。

其中國外一遍論文《Corner Cases for Visual Perception in Automated Driving: Some Guidance on Detection Approaches》，對自動(dòng)駕駛視覺感知中的Corner Cases進(jìn)行分析，并提出了一些方法論。論文中根據(jù)檢測出“corner cases”的復(fù)雜程度，由淺到深，由易到難劃分了5個(gè)級別：

a. Pixel level：由數(shù)據(jù)上的錯(cuò)誤造成；比如風(fēng)擋上出現(xiàn)了污垢遮擋了攝像頭的部分視野，或者夜里對向駛來的車輛開著的大燈讓攝像頭出現(xiàn)眩光等場景，導(dǎo)致攝像頭采集的數(shù)據(jù)出現(xiàn)錯(cuò)誤。
b. Domain level：數(shù)據(jù)表現(xiàn)出的對世界的觀測產(chǎn)生了整體偏移；比如冬天到處覆蓋著白色積雪的場景。
c. Object level：數(shù)據(jù)中存在未曾“見”過的實(shí)例；比如在居民區(qū)的道路中央出現(xiàn)了一只駱駝。

d. Scene level：單幀數(shù)據(jù)中出現(xiàn)了與預(yù)期不一致的場景模式；表現(xiàn)為熟知的物體出現(xiàn)了大量未知的聚集或者熟知的物體出現(xiàn)在異常的位置；比如大風(fēng)過后，倒在路中間的樹。
e. Scenario level：連續(xù)幀數(shù)據(jù)中出現(xiàn)了與預(yù)期不一致的場景模式；比如“鬼探頭”，旁邊靜止的車輛前突然出現(xiàn)一個(gè)行人。

對于不同級別的Corner Case 需要采用不同的方法，對于前3個(gè)級別相對簡單的場景類型：pixel level、domain level、object level，可以抽取特征元素通過參數(shù)重組的方式來構(gòu)建；然而對于Scene level和Scenario level這兩種復(fù)雜級別的場景，數(shù)量也比較龐大，很難完全窮舉。所以最好的辦法還是需要進(jìn)一步提升系統(tǒng)的感知能力，需要通過深度學(xué)習(xí)方法讓系統(tǒng)從“感知”進(jìn)化到“認(rèn)知”，讓系統(tǒng)也具備接近人一樣的知識推理和泛化能力。

機(jī)器學(xué)習(xí)是解決自動(dòng)駕駛長尾問題的一種有效工具。利用Machine Learning技術(shù)可以實(shí)現(xiàn)從數(shù)據(jù)采集、標(biāo)注、訓(xùn)練、車端部署的閉環(huán)循環(huán)流程，從而實(shí)現(xiàn)Case的不斷積累，模型的不斷完善。但機(jī)器學(xué)習(xí)模型不能解決所有的問題，可通過采用機(jī)器學(xué)習(xí)和非機(jī)器學(xué)習(xí)混合系統(tǒng)，利用專家系統(tǒng)來彌補(bǔ)機(jī)器學(xué)習(xí)的不足。

對于消費(fèi)者來說，是否使用自動(dòng)駕駛汽車，安全肯定是其考慮的第一位的要素。同樣，對于主機(jī)廠來說，能夠讓測試車輛能夠應(yīng)對各種“Corner Case”，進(jìn)而保證量產(chǎn)車輛上路后的安全性也是他們的立命之本。

2.“Corner Case”的地域性特征

“Corner Case”的地域性特征主要表現(xiàn)在測試場景在不同國家和地區(qū)存在較大的不同。因?yàn)楦鱾€(gè)國家的道路環(huán)境、交通習(xí)慣、交通規(guī)則以及駕駛習(xí)慣都可能存在較大的差異。

a. 道路環(huán)境不同：不同國家的道路設(shè)計(jì)規(guī)范不同，如道路結(jié)構(gòu)、交通標(biāo)志、交通信號燈等形態(tài)各異。

b. 交通狀況不同：在中國的城市道路上，人車混流的交通狀況隨處可見。無論在哪個(gè)城市的大街上，你都能看到快遞小哥、外賣騎士駕駛著他們的坐騎與機(jī)動(dòng)車并駕齊驅(qū)的場景；這種交通場景在北美和歐洲一些國家是很少見的。

c. 交通規(guī)則不同：國內(nèi)紅燈默認(rèn)可以右轉(zhuǎn)，很多地方在沒有導(dǎo)向車道的路口是默認(rèn)允許的，但德國默認(rèn)不能右轉(zhuǎn)。還有高速限速問題，國內(nèi)的高速限速120，但德國高速的很多路段一般是不限速的，在那樣的道路上飚個(gè)200是很正常的事，但是如果在中國這樣做，那不僅是自己找死，也很有可能連累到無辜的人。

d. 駕駛習(xí)慣不同：在德國，先行權(quán)概念意識比較強(qiáng)，大家基本都是嚴(yán)格按照先行權(quán)邏輯開車；國內(nèi)交規(guī)幾乎沒有這套邏輯，有紅綠燈的路口相對還好一些，對于沒紅綠燈的路口，尤其是到了晚上，基本是誰膽大誰先過。國內(nèi)還有一個(gè)不好的現(xiàn)象，就是加塞情況比較嚴(yán)重，尤其是在車輛擁堵時(shí)，你左右兩邊的車可能隨時(shí)不打轉(zhuǎn)向燈，便如幽靈般見縫插針地切入到你前面的空當(dāng)位置。

由于不同國家和地區(qū)的車輛行駛環(huán)境的差異化，導(dǎo)致測試場景數(shù)據(jù)的具有很強(qiáng)的地域?qū)傩浴y試車輛面對的極端工況場景在數(shù)量和內(nèi)容形式上也會(huì)有很大的不同。大家可以想象一下，在美國地區(qū)測試完全安全的自動(dòng)駕駛系統(tǒng)，如果放在中國這樣交通環(huán)境更加復(fù)雜的國家去測試，系統(tǒng)必然會(huì)碰到之前沒有遇到過的“Corner Case”，那么車輛的安全性將依然是沒有保障的。

一個(gè)企業(yè)的自動(dòng)駕駛系統(tǒng)如果想要在一個(gè)國家商業(yè)化量產(chǎn)應(yīng)用的話，必然需要先通過當(dāng)?shù)氐臏y試場景評價(jià)考核，即保證它能夠應(yīng)對當(dāng)?shù)氐乃械臉O端工況場景。

然而，中國本土仿真企業(yè)具有“近水樓臺(tái)”的先發(fā)優(yōu)勢，更容易設(shè)計(jì)開發(fā)出適合中國自動(dòng)駕駛方案的仿真測試軟件。 首先，他們比國外企業(yè)更了解國內(nèi)的道路環(huán)境、交通法規(guī)以及駕駛習(xí)慣；其次，更容易優(yōu)先獲得中國的路采場景數(shù)據(jù)。