數(shù)字孿生就是在虛擬環(huán)境中建立一個和現(xiàn)實世界一致的模型。數(shù)字孿生技術(shù)將為自動駕駛仿真測試發(fā)展道路上的一大助力，是仿真測試的增效利器。

百度在論文【37】提出一種用于自動駕駛端到端仿真的數(shù)據(jù)驅(qū)動方法：增強(qiáng)自動駕駛仿真（AADS）。該方法通過模擬交通流來增強(qiáng)真實世界的圖片，創(chuàng)建與真實世界渲染類似的照片逼真模擬場景。如圖10-37顯示AADS系統(tǒng)的流水線及其主要輸入和輸出。

具體來說，用激光雷達(dá)和攝像機(jī)掃描街道場景。將輸入數(shù)據(jù)分解為背景、場景照明和前景目標(biāo)。采用一種視圖合成技術(shù)，可以在靜態(tài)背景改變視點(diǎn)。前景車輛配有3D CG模型。有了準(zhǔn)確估計的室外照明，3D車輛模型、計算機(jī)生成的行人和其他可移動目標(biāo)可以重定位并渲染放回背景圖像，創(chuàng)建照片般逼真的街景圖像。此外，模擬的交通流（例如，合成目標(biāo)的放置和移動）基于捕捉的真實世界車輛軌跡，這些軌跡看起來很自然，并捕捉真實世界場景的復(fù)雜性和多樣性。

與傳統(tǒng)的基于VR或基于游戲引擎的AV仿真系統(tǒng)相比，AADS提供了更精確的端到端仿真能力，不需要昂貴的CG模型或繁瑣的編程來定義交通流。

利用ApolloScape數(shù)據(jù)集中的語義信息，刪除特定類型的目標(biāo)，例如汽車、自行車、卡車和行人。移除移動目標(biāo)后，RGB圖像和點(diǎn)云中會出現(xiàn)大量孔洞，應(yīng)仔細(xì)填充這些孔洞，以便為AADS生成完整干凈的背景。用最新的RGB圖像修復(fù)方法來填洞，其中語義標(biāo)簽來指導(dǎo)基于學(xué)習(xí)的修復(fù)技術(shù)，之后在新背景合成的深度處理中引入點(diǎn)云補(bǔ)全（point cloud completion）。

給定合成背景圖像，可以將任何3D CG模型放置在地面上，然后將其渲染到圖像空間中，以創(chuàng)建新的合成模擬圖像。然而，為了使合成圖像照片逼真，首先估計背景圖像中的照明度。這使AADS能夠在地面和車身渲染具有一致陰影的3D CG模型。此外，為了進(jìn)一步改善合成圖像的真實性，AADS還從真實圖像中抓取紋理來增強(qiáng)3D CG模型的外觀。具體地，給定具有未移動車輛的RGB圖像，檢索相應(yīng)的3D車輛模型，將這些模型與輸入圖像對齊。然后從對齊的真實圖像中遷移并完成3D CG模型的外觀。

谷歌waymo的SurfelGAN【2】基于收集的有限激光雷達(dá)和攝像頭數(shù)據(jù)，生成逼真的攝像頭圖像。如圖所示，其主要有兩個步驟：

• 首先，掃描目標(biāo)環(huán)境，重建一個大量帶紋理的表面元（Surfel）構(gòu)成的場景。

• 然后，用攝像頭軌跡對表面元進(jìn)行渲染，同時進(jìn)行語義和實例分割。接著，通過GAN生成逼真的圖像。

waymo提出一種紋理增強(qiáng)表面元地圖表示方法。表面元適用于動態(tài)幾何建模，一個目標(biāo)由一組密集點(diǎn)或帶有光照信息的表面元來表示。將激光雷達(dá)掃描的體素，轉(zhuǎn)換為有顏色的表面元，離散成 k×k 網(wǎng)格。

由于光照條件的不同和攝像頭相對姿態(tài)的變化，每個表面元在不同幀可能會有不同的表觀，創(chuàng)建一個由 n 個不同距離的 k×k 網(wǎng)格組成的編碼，增強(qiáng)表面元表示。在渲染階段，該方法根據(jù)相機(jī)姿態(tài)決定哪一個 k×k 塊。

為了幾何形狀和紋理的進(jìn)一步完善，訓(xùn)練兩個對稱的編碼-解碼生成器，如圖所示：一個從Surfel圖像到真實圖像，另一個從真實圖像到Sufel圖像。同樣也有兩個判別器，分別針對Surfel圖像域和真實圖像域。

輸入數(shù)據(jù)包括配對數(shù)據(jù)和未配對數(shù)據(jù)。其中未配對數(shù)據(jù)為了兩個目的：

• 提高判別器的泛化性；

• 循環(huán)一致性約束。

另外，由于表面元圖像的覆蓋范圍有限，渲染圖像包含大面積的未知區(qū)域，并且，攝像頭和表面元之間的距離引入不確定因素，附加距離加權(quán)損失來穩(wěn)定GAN的訓(xùn)練。

VISTA（Virtual Image Synthesis and Transformation for Autonomy）是一個MIT開源的數(shù)據(jù)驅(qū)動模擬器【3】，其流程如下：（1）使用連續(xù)運(yùn)動學(xué)模型更新車輛狀態(tài)，（2）檢索數(shù)據(jù)集與當(dāng)前姿勢相關(guān)的最近幀，（3）將幀投影到3D空間重建場景，以及（4）重投影到自車視點(diǎn)。與傳統(tǒng)的基于幾何模型的仿真系統(tǒng)不同，數(shù)據(jù)驅(qū)動的仿真直接從真實數(shù)據(jù)中合成新視點(diǎn)，這已成為克服照片真實性和仿真-現(xiàn)實差距的一種方法。

如圖是VISTA的應(yīng)用場景：（A）從一個收集的駕駛軌跡中，VISTA合成一個新的可能軌跡空間，用于學(xué)習(xí)虛擬智體控制策略；（B）保持真實世界的真實感允許虛擬智體超越模仿學(xué)習(xí)（IL），用只有很少獎勵的強(qiáng)化學(xué)習(xí)（RL）來探索空間，學(xué)習(xí)的策略不僅直接傳遞到現(xiàn)實世界，而且優(yōu)于使用模仿學(xué)習(xí)訓(xùn)練的端到端方法。

如圖給出VISTA 1.0如何實現(xiàn)新視點(diǎn)圖像數(shù)據(jù)來用于訓(xùn)練：（A）自車與數(shù)據(jù)驅(qū)動仿真模擬器的交互示意圖；在時間步驟t，智體接收環(huán)境觀測并發(fā)出命令執(zhí)行動作；（B）在VISTA仿真車輛運(yùn)動，并將其與真實世界中估計運(yùn)動進(jìn)行比較；（C）然后將場景的3D表征轉(zhuǎn)換為虛擬智體視點(diǎn)得到新觀測。

從一個最近的單目圖像，用卷積神經(jīng)網(wǎng)絡(luò)使用自監(jiān)督學(xué)習(xí)方法得到估計深度圖模型（見第五章5.3節(jié)單目深度估計）。根據(jù)估計的深度圖和攝像頭內(nèi)參，可以將傳感器圖像幀反投影到3D世界中。這樣，新視點(diǎn)的圖像可以從3D世界投射回傳感器圖像坐標(biāo)系得到。VISTA能夠模擬不同的局部旋轉(zhuǎn)（±15?) 以及沿道路的橫向和縱向平移（±1.5 m）。由于車輛在其車道內(nèi)的自由橫向空間通常小于1m，VISTA可以模擬超出車道穩(wěn)定行駛范圍的情況。

VISTA 2.0目標(biāo)是以數(shù)據(jù)驅(qū)動的方式將仿真擴(kuò)展到其他模態(tài)，即合成激光雷達(dá)的新傳感器測量值和數(shù)據(jù)集周圍的局部事件數(shù)據(jù)，并利用和發(fā)布該平臺進(jìn)行魯棒的感知學(xué)習(xí)。其集成了用于自動駕駛車輛的多種傳感器【4】，包括RGB攝像機(jī)、3D激光雷達(dá)和基于事件的攝像機(jī)。VISTA 2.0在模擬中快速生成新視點(diǎn)數(shù)據(jù)，豐富了可用于策略學(xué)習(xí)的數(shù)據(jù)，其中包含在物理世界中難以捕捉的極端案例。

如圖所示是VISTA 2.0的框架：；作為數(shù)據(jù)驅(qū)動的仿真器，VISTA2.0在合成場景中模擬智體，支持大規(guī)模學(xué)習(xí)和測試環(huán)境；這里優(yōu)先考慮處理真實世界數(shù)據(jù)集的輕量級API，其僅對局部視點(diǎn)變化進(jìn)行操作，實現(xiàn)高效的渲染和低內(nèi)存開銷。

如圖是VISTA 2.0多傳感器仿真的示意圖：（A） 虛擬智體動力學(xué)在數(shù)據(jù)驅(qū)動環(huán)境中展開軌跡，每次都從當(dāng)時的新視點(diǎn)呈現(xiàn)傳感器觀測數(shù)據(jù)；合成的三種傳感器，包括來自RGB攝像頭的圖像（B）、來自激光雷達(dá)的3D點(diǎn)云（C）和連續(xù)差分事件（D），其中為每個傳感器可視化新視點(diǎn)的合成示例。

激光雷達(dá)的傳感器具備測量幾何深度信息的準(zhǔn)確性和對環(huán)境變化（如照明）的魯棒性。與返回結(jié)構(gòu)化網(wǎng)格狀圖像的攝像頭不同，激光雷達(dá)傳感器捕捉環(huán)境的稀疏點(diǎn)云。這里，每個點(diǎn)由4元組表示：(x, y, z, i)，其中(x, y, z)是點(diǎn)在三維笛卡爾空間中的位置，i是該點(diǎn)的強(qiáng)度特征測量值。給定虛擬智體在環(huán)境中的位置，以及到最近收集點(diǎn)云Ψ的相對變換（旋轉(zhuǎn)R和平移t），VISTA的目標(biāo)是合成一個新的激光雷達(dá)點(diǎn)云ψ′，源自虛擬智體的相對位置。

由于Ψ在三維笛卡爾空間表征，一個簡單的解決方案是直接將智體的相對變換 (R, t)作為剛性變換應(yīng)用于Ψ，：Ψ′ = RΨ + t。然而，由于以下幾個原因，這種方法會失敗：從激光雷達(dá)傳感器獲得的點(diǎn)云具有源自傳感器光學(xué)中心的特定環(huán)形模式；對點(diǎn)應(yīng)用剛性變換不僅會變換單個點(diǎn)，而且還會變換和打破固有地定義傳感器位置的環(huán)形結(jié)構(gòu)；相反，為了保護(hù)傳感器這種數(shù)據(jù)空間結(jié)構(gòu)，將來自新傳感器位置的激光雷達(dá)光線重新投射到場景中，并估計新的強(qiáng)度；此外，簡單變換點(diǎn)云的結(jié)果很可能在原始掃描可見點(diǎn)在新視點(diǎn)中被遮擋，因此需要被拒絕接收以保持傳感器的視線特性。

為了克服這些問題，VISTA 2.0（1）剔除當(dāng)前被遮擋點(diǎn)，（2）創(chuàng)建稀疏點(diǎn)云的密集表征，以及（3）根據(jù)傳感器特定的先驗知識從密集表征中采樣得到新稀疏點(diǎn)云。

首先實現(xiàn)一個基于GPU加速對稀疏轉(zhuǎn)換后點(diǎn)云Ψ′的剔除（culling）算法。Ψ′投影到2D極坐標(biāo)。那么，在圖像中剔除點(diǎn)，每個像素的距離要和其周圍光線“錐體”的平均距離比較，類似Z-buffer技術(shù)。如圖顯示剔除算法：變換后的稀疏場景（A）將有一些點(diǎn)在渲染之前被拒絕接收（剔除），避免前景和背景（B）的混合；剔除算法（C）是輕量級的，GPU加速，不依賴于場景網(wǎng)格的光線投射過程。

使用稀疏和剔除后的點(diǎn)云，需要構(gòu)建場景的密集表征，最后采樣新激光雷達(dá)光線并生成新視點(diǎn)。為使稀疏表征致密，訓(xùn)練UNet架構(gòu)學(xué)習(xí)一個場景的致密點(diǎn)云輸出。致密化網(wǎng)絡(luò)（densification network）的訓(xùn)練數(shù)據(jù)是用2D線性插值生成的。與嚴(yán)格的基于規(guī)則的插值算法（scipy.interpolate）相比，數(shù)據(jù)驅(qū)動的方法通過數(shù)據(jù)挖掘會產(chǎn)生更平滑、更自然的定性結(jié)果。此外，所得到的模型很容易實現(xiàn)GPU并行化，則實現(xiàn)顯著的加速（～100倍）。

最后，從密集表征中采樣稀疏點(diǎn)形成新的視點(diǎn)的點(diǎn)云。為確定采樣位置，可以在數(shù)據(jù)集傳感器的現(xiàn)有光線投射角上構(gòu)建一個先驗Ω。傳感器的光線矢量隨時間推移基本上固定不變，因為其本身內(nèi)置在傳感器硬件中，但可能會根據(jù)環(huán)境有一些輕微變化或回落。從先驗Ω中采樣ω會產(chǎn)生一組光線{(αi, βi)}，從中投射和回收點(diǎn)的讀數(shù)。此外，先驗Ω將尊重傳感器的幾個理想特性，也可以由用戶指定，例如激光雷達(dá)射線的數(shù)量和密度。由于仍然在極坐標(biāo)圖像空間中操作，ω相當(dāng)于一個二值掩碼圖像，表示致密圖像中應(yīng)該采樣的位置。用新采樣極坐標(biāo)圖像，可以逆變換數(shù)據(jù)表征，回到所需的三維笛卡爾空間。如圖新視角合成所示：路面橫向1米的運(yùn)動為例，通過場景的密集表征深度和灰度 (A, B) 以及采樣和重投影返回三維笛卡爾空間后的結(jié)果（C），可視化渲染流水線的不同階段。

參考文獻(xiàn)

【1】W. Li,C. W. Pan, R. Zhang, J. P. Ren, Y. X. Ma, J. Fang, F. L. Yan, Q. C. Geng, X. Y. Huang, H. J. Gong, W. W. Xu, G. P. Wang, D. Manocha, R. G. Yang，“AADS: Augmented Autonomous Driving Simulation using Data-driven Algorithms”，arXiv 1901.07849，2017

【2】Z Yang, Y Chai, D Anguelov, Y Zhou, P Sun, D Erhan3, S Rafferty, H Kretzschmar，“SurfelGAN: Synthesizing Realistic Sensor Data for Autonomous Driving”，arXiv 2005.03844，2020

【3】A. Amini, I. Gilitschenski, J. Phillips, J. Moseyko, R. Banerjee, S. Karaman, and D. Rus, “Learning robust control policies for end-to- end autonomous driving from data-driven simulation,” IEEE Robotics and Automation Letters, 5（2）, 2020.

【4】A Amini, T Wang, I Gilitschenski, W Schwarting, Z Liu, S Han, S Karaman, and D Rus，“VISTA 2.0: An Open, Data-driven Simulator for Multimodal Sensing and Policy Learning for Autonomous Vehicles”，arXiv 2111.12083，2021