自動(dòng)駕駛駕駛的汽車，如果想上路的話，要像人一樣，需要經(jīng)過考試，也就是閉環(huán)仿真。業(yè)界做法無非有三種：仿真、重建和生成。

本文重點(diǎn)介紹下理想的自動(dòng)駕駛的閉環(huán)仿真系統(tǒng)。

01. 閉環(huán)仿真的三種路線

第一種是3D仿真，其實(shí)就是把一堆3D的資產(chǎn)或者3D的模板，通過人工編輯排版，然后生成場(chǎng)景，最后通過游戲引擎渲染出來。但是有兩大問題，一是渲染出來的場(chǎng)景非常假，二是效率低非常低，用大量的人工參與，沒辦法滿足自動(dòng)駕駛的快速迭代需求。

二是，真實(shí)數(shù)據(jù)的重建。理想將大量的真實(shí)數(shù)據(jù)通過NeRF(神經(jīng)輻射場(chǎng))或者3DGS（3D高斯濺射）技術(shù)自動(dòng)化的重建出來，它的整體效率肯定比3D仿真要快得多的多，光照、材質(zhì)、行為這些都跟真實(shí)的是一樣的。

但是也有個(gè)問題，當(dāng)自動(dòng)駕駛的系統(tǒng)接入做閉環(huán)仿真的時(shí)候，如果本車跟原來的車行為差異比較大，視角變化很大，新視角下會(huì)出現(xiàn)模糊拖影的現(xiàn)象，也沒辦法完全滿足自動(dòng)駕駛的需求。

第三種是生成，例如比較火最近sora就是利用Diffusion（擴(kuò)散模型）技術(shù)，然后加上prompt形成各種各樣的場(chǎng)景。但這個(gè)所謂的世界模型或者生成模型，最大的問題是它沒有真正的理解世界，所以它存在很多不符合規(guī)律的這種幻覺問題，也沒辦法完全滿足自動(dòng)駕駛的需求。

這些都是業(yè)界現(xiàn)成的方案，但都不太能滿足對(duì)智能駕駛考試的需求。

02. 理想的選擇：重建+生成

理想最終采用的是一個(gè)重建+生成結(jié)合的世界模型，取長(zhǎng)補(bǔ)短，將他們的優(yōu)點(diǎn)結(jié)合在一起。

以下是架構(gòu)圖。

該架構(gòu)可以分成上下兩部分，下面其實(shí)是一個(gè)GS（高斯濺射）重建的過程，上面其實(shí)是利用真實(shí)數(shù)據(jù)的先驗(yàn)，給出了Layout（布局）做約束，然后再加上prompt，再給一些參考圖片，生成新的視角。

這樣的架構(gòu)有兩個(gè)好處，一是重建出來的3D的世界，即使轉(zhuǎn)換新視角，也不會(huì)出現(xiàn)之前模糊的問題。

二是，上面生成的部分它可以獨(dú)立的運(yùn)行。有了Layout的先驗(yàn)，再加上這種reference（參考幀）的圖片，再加上prompt，可以生成很多符合真實(shí)世界規(guī)律，但是沒見過的場(chǎng)景，泛化性也會(huì)更好。

簡(jiǎn)單說，就是有兩種的測(cè)試和考試的題，一種題是用重建出來的是真題，一種是用生成出來的，是模擬題。

03. 重建和生成方法

理想方面表示，他們重建的整個(gè)核心思想是先把一個(gè)視頻的動(dòng)態(tài)和靜態(tài)進(jìn)行分離，靜態(tài)的背景先用3DGS（3D高斯濺射）算法進(jìn)行建模，建成一個(gè)完整的背景資產(chǎn)。

再將動(dòng)態(tài)拿出來也進(jìn)行重建，進(jìn)行新視角生成，讓它變成一個(gè)360度的一個(gè)新的資產(chǎn)，將這兩者進(jìn)行結(jié)合，就形成一個(gè)新的3D物理世界。

在這個(gè)世界中，人工可以控制里面任何元素了，可以左移右移、左偏右偏都可以做。

同時(shí)，還可以修改這些功能人物的位置和軌跡，就具備一定泛化能力來測(cè)試自動(dòng)駕駛系統(tǒng)。生成模型相比于重建來說，它是有更好的泛化性。

在這里，可以人為控制著里面的天氣、時(shí)間、車流等等各種各樣的信息，讓它生成各種各樣不同的場(chǎng)景來考驗(yàn)?zāi)Ｐ偷姆夯芰?。通過在這樣的無限的環(huán)境中，對(duì)自動(dòng)駕駛進(jìn)行學(xué)習(xí)和考試，來保證交付的軟件高效安全和舒適。