12月28日下午，由DISCOVER實(shí)驗(yàn)室主辦的第18期A(yíng)IR青年科學(xué)家論壇順利開(kāi)展。本期活動(dòng)榮幸地邀請(qǐng)到了浙江大學(xué)特聘研究員廖依伊博士，為我們線(xiàn)上做題為《面向自動(dòng)駕駛仿真平臺(tái)的混合現(xiàn)實(shí)圖像生成》的精彩報(bào)告。

講者介紹

廖依伊，浙江大學(xué)特聘研究員。2013年獲西安交通大學(xué)學(xué)士學(xué)位，2018年獲浙江大學(xué)博士學(xué)位。2018至2021年，她在德國(guó)馬克思普朗克智能系統(tǒng)研究所 (MPI-IS) 及德國(guó)圖賓根大學(xué)從事三年博士后研究，師從CVPR PAMI青年研究員獎(jiǎng)得主Andreas Geiger教授。期間，她作為第一負(fù)責(zé)人搭建了國(guó)際上首個(gè)包含大規(guī)模語(yǔ)義及樣例標(biāo)簽、面向自動(dòng)駕駛的近1TB大規(guī)模數(shù)據(jù)集KITTI-360。她的研究興趣為三維視覺(jué)，包括場(chǎng)景重建、場(chǎng)景語(yǔ)義理解、可控圖像生成。累計(jì)發(fā)表文章二十余篇，包括TPAMI、TIP、CVPR、ICCV、NeurIPS等多篇國(guó)際頂尖期刊/會(huì)議論文。擔(dān)任CVPR2023、3DV 2022、BMVC 2021-2022的領(lǐng)域主席。

報(bào)告內(nèi)容

廖博士為我們介紹了為構(gòu)建自動(dòng)駕駛仿真平臺(tái)的最終目標(biāo)所展開(kāi)的一系列工作。報(bào)告開(kāi)始，廖博士為我們介紹了現(xiàn)有面向自動(dòng)駕駛仿真平臺(tái)的研究現(xiàn)狀。其中，CARLA以及Virtual KITTI雖然能夠提供逐像素標(biāo)簽信息，但是仍然構(gòu)建成本高并且與現(xiàn)實(shí)世界存在Domain Gap。

因此，廖博士設(shè)想直接從現(xiàn)實(shí)世界數(shù)據(jù)直接構(gòu)建自動(dòng)駕駛仿真平臺(tái)，這樣做有兩個(gè)優(yōu)點(diǎn)：

1. 不再有Domain Gap的問(wèn)題；

2. 不再需要投入大量人力物力設(shè)計(jì)場(chǎng)景和物體。

但是仍然存在三個(gè)挑戰(zhàn)：

1. 如何從現(xiàn)實(shí)世界數(shù)據(jù)直接構(gòu)建仿真平臺(tái)逐像素高精度場(chǎng)景信息；

2. 假如我們已經(jīng)構(gòu)建了高精度場(chǎng)景，那么如何獲取場(chǎng)景逐像素語(yǔ)義信息也是一項(xiàng)非常具有挑戰(zhàn)的任務(wù)；

3. 對(duì)于一些現(xiàn)實(shí)世界數(shù)據(jù)沒(méi)有出現(xiàn)的物體，仿真平臺(tái)很難重建出來(lái)。

基于這三個(gè)挑戰(zhàn), 廖博士團(tuán)隊(duì)展開(kāi)了一系列工作。

一、自由視角高精度實(shí)時(shí)渲染

這個(gè)方向的研究主要是要實(shí)現(xiàn)對(duì)現(xiàn)實(shí)世界采集的數(shù)據(jù)直接進(jìn)行任意視點(diǎn)的高精度實(shí)時(shí)渲染。
要解決這個(gè)問(wèn)題，廖博士團(tuán)隊(duì)主要采用的是NeRF方案，不過(guò)NeRF在渲染一張圖需要百萬(wàn)次的查詢(xún)來(lái)實(shí)現(xiàn)自由視點(diǎn)的高精度渲染，導(dǎo)致渲染效率極低?；谶@個(gè)問(wèn)題，廖博士團(tuán)隊(duì)提出了KiloNeRF方案，大幅提升了NeRF的渲染速度從而使其滿(mǎn)足自動(dòng)駕駛仿真平臺(tái)需求。 KiloNeRF通過(guò)將大MLP換成多個(gè)獨(dú)立的小MLP，并且在渲染的時(shí)候，采用Empty Space Skipping（ESS）和Early Ray Termination（ERT），從而提升NeRF渲染速度。

定量結(jié)果和定性結(jié)果表明KiloNeRF渲染速度和以及渲染的圖像質(zhì)量均優(yōu)于傳統(tǒng)方法，并且顯存占用少于基于制表緩存的加速方法。 而后，廖博士為我們分析常用加速NeRF渲染速度的策略。

加速渲染本質(zhì)上就是降低渲染需要的浮點(diǎn)運(yùn)算次數(shù)。假如每個(gè)像素光線(xiàn)需要采樣Ｋ個(gè)點(diǎn)，渲染每個(gè)像素需要Ｌ次運(yùn)算，那么渲染一張高為Ｈ寬為Ｗ像素的圖像需要的浮點(diǎn)運(yùn)算次數(shù)就是

。要提升渲染速度，主要是從減少Ｋ（ERT, ESS和 Adaptive Sampling）和減少Ｌ（制表緩存類(lèi)的方法　或者更小的MLP）入手。通過(guò)分析，廖博士團(tuán)隊(duì)發(fā)現(xiàn)現(xiàn)有的NeRF加速方法都需要消耗比較大的內(nèi)存。為了解決內(nèi)存和渲染時(shí)間之間的沖突，廖博士團(tuán)隊(duì)基于視角之間的變化是連續(xù)這一發(fā)現(xiàn)提出SteerNeRF，充分挖掘視角時(shí)間的時(shí)序關(guān)系從而減低W,H和K提升渲染速度且保持較低內(nèi)存占用。

SteerNeRF先用Volume Rendering渲染低分辨率的特征圖，再用Neural Rendering結(jié)合前幀和當(dāng)前幀來(lái)渲染高分辨率的圖像。

實(shí)驗(yàn)定性結(jié)果和定量結(jié)果表明　SteerNeRF不僅在大分辨率數(shù)據(jù)集（Tanks ＆Temples）能夠達(dá)到實(shí)時(shí)渲染而且占用內(nèi)存較小。

二、自由視點(diǎn)高精度語(yǔ)義遷移

KiloNeRF或者SteerNeRF搭建仿真器很自然的就能解決仿真器的domain gap問(wèn)題。但是這兩個(gè)工作還是沒(méi)辦法提供自由視點(diǎn)的語(yǔ)義信息。因此，廖博士為我們介紹了其團(tuán)隊(duì)最新的工作：Panoptic NeRF。

Panoptic NeRF 主要通過(guò)一個(gè)固定的語(yǔ)義場(chǎng)來(lái)提升幾何重建質(zhì)量，通過(guò)一個(gè)可學(xué)習(xí)的語(yǔ)義場(chǎng)來(lái)解決三維標(biāo)注框相交區(qū)域的歧義。

三、仿真器新物體生成

這個(gè)研究方向主要解決如何在仿真器里生成新物體。

廖博士團(tuán)隊(duì)提出了GRAF方案，即輸入像素點(diǎn)x和相機(jī)Pose D以及從高斯分布采樣的隱變量z來(lái)生成渲染新物體。

GRAF在高分辨率渲染的圖像質(zhì)量還是有些許不足，于是廖博士團(tuán)隊(duì)又提出了VoxGRAF技術(shù)，不僅渲染分辨率高、渲染速度快，而且能夠保證多視角的一致性。

廖博士又為我們介紹其發(fā)表在ECCV2022的一篇利用GRAF等生成模型進(jìn)行位姿估計(jì)的工作。任務(wù)定義為給定一個(gè)初始圖像，找到一個(gè)latent code來(lái)生成目標(biāo)圖像，廖博士介紹了用不同搜索策略找目標(biāo)狀態(tài)從而克服收斂到局部最優(yōu)解的問(wèn)題。

最后廖博士展望了實(shí)現(xiàn)自動(dòng)駕駛仿真平臺(tái)未來(lái)三個(gè)極具價(jià)值的探索方向：城市級(jí)別的自由視點(diǎn)渲染，虛實(shí)圖像融合以及基于仿真器訓(xùn)練測(cè)試自動(dòng)駕駛下游任務(wù)的模型。報(bào)告結(jié)束后，廖博士與參會(huì)的老師和同學(xué)對(duì)報(bào)告所涉及的領(lǐng)域進(jìn)行了熱烈的討論。

四、報(bào)告總結(jié)

文稿撰寫(xiě) / 許少聰

排版編輯 / 王影飄

校對(duì)責(zé)編 / 黃   妍