日本无码免费高清在线|成人日本在线观看高清|A级片免费视频操逼欧美|全裸美女搞黄色大片网站|免费成人a片视频|久久无码福利成人激情久久|国产视频一二国产在线v|av女主播在线观看|五月激情影音先锋|亚洲一区天堂av

  • 手機(jī)站
  • 小程序

    汽車測試網(wǎng)

  • 公眾號

    • 汽車測試網(wǎng)

    • 在線課堂

    • 電車測試

PointINet: 一種新型點(diǎn)云插幀網(wǎng)絡(luò)

2021-01-09 00:10:33·  來源：同濟(jì)智能汽車研究所  
　
編者按：激光雷達(dá)和攝像頭是智能駕駛車輛的主要感知器，針對于不同的任務(wù)，研究人員已經(jīng)提出了許多表現(xiàn)優(yōu)異的解決方案。但相較于圖像，點(diǎn)云的研究起步和進(jìn)展顯得
編者按：激光雷達(dá)和攝像頭是智能駕駛車輛的主要感知器，針對于不同的任務(wù)，研究人員已經(jīng)提出了許多表現(xiàn)優(yōu)異的解決方案。但相較于圖像，點(diǎn)云的研究起步和進(jìn)展顯得較為緩慢。許多圖像中已經(jīng)得到很好處理和應(yīng)用的領(lǐng)域，在點(diǎn)云中仍然少有人涉足。這里我們?yōu)榇蠹規(guī)淼囊黄狝AAI2021論文就很好地借鑒圖像領(lǐng)域，提出了點(diǎn)云的一個全新方向：點(diǎn)云插幀。文本的出發(fā)點(diǎn)在于克服雷達(dá)的低幀率，作者通過使用場景流、自適應(yīng)架構(gòu)和注意力模塊成功地將低幀率的激光雷達(dá)點(diǎn)云流(10～20 Hz)上采樣為高幀率的點(diǎn)云流(50～100 Hz)。隨后作者通過詳細(xì)的實(shí)驗證實(shí)了其有效性，并且給出了實(shí)際應(yīng)用實(shí)驗展示此方向良好的使用前景。

本文譯自：
PointINet: Point Cloud frame Interpolation Network
文章來源：
AAAI 2021
作者：
Fan Lu，Guang Chen，Sanqing Qu，Zhijun Li，Yinlong Liu，Alois Knoll
原文鏈接：
https://arxiv.org/abs/2012.10066
項目網(wǎng)址：
https://ispc-group.github.io/pages/pointinet.html
*通訊聯(lián)系：guangchen@#edu.cn

摘要：受硬件性能的限制，激光雷達(dá)點(diǎn)云流在時間維度上通常是稀疏的。通常，機(jī)械激光雷達(dá)傳感器的幀率為10到20 Hz，這遠(yuǎn)低于其他常用的傳感器（如相機(jī)）。為了克服激光雷達(dá)傳感器的時間限制，本文研究了一種名為點(diǎn)云插幀的新的任務(wù)。給定兩個連續(xù)的點(diǎn)云幀，點(diǎn)云插幀的目的是在它們之間生成中間幀。為此，我們提出了一種新穎的框架，即點(diǎn)云插幀網(wǎng)絡(luò)（PointINet）。基于所提出的方法，我們可以將低幀率點(diǎn)云流上采樣到更高的幀率。我們首先估算兩個點(diǎn)云之間的雙向3D場景流，然后根據(jù)3D場景流將它們轉(zhuǎn)換到給定的時間步長。為了融合兩個變換的幀并生成中間點(diǎn)云，我們提出了一種新穎的基于學(xué)習(xí)的點(diǎn)融合模塊，該模塊同時考慮了兩個變換的點(diǎn)云。我們設(shè)計了定量和定性實(shí)驗來評估點(diǎn)云插幀方法的性能，并且在兩個大型室外LiDAR數(shù)據(jù)集上進(jìn)行的廣泛實(shí)驗證明了所提出的PointINet的有效性。我們的代碼發(fā)布在了https://github.com/ispc-lab/PointINet.git上。

關(guān)鍵詞：超像素，平面特征，RANSAC

1 引言

激光雷達(dá)是眾多應(yīng)用(例如、自主車輛和智能機(jī)器人)中最重要的傳感器之一。然而，典型的機(jī)械式激光雷達(dá)傳感器(例如、Velodyne HDL-64E、Hesai Pandar64等)的幀率受到硬件性能的極大限制。激光雷達(dá)的幀率一般為10～20 Hz，這會造成點(diǎn)云流的時空不連續(xù)。與激光雷達(dá)的低幀率相比，智能車輛和機(jī)器人上其他常用傳感器的幀率通常要高很多。例如，攝像頭和慣性測量單元（IMU）的幀率可以達(dá)到100Hz以上。幀率的巨大差異會給激光雷達(dá)與其他傳感器的同步帶來困難。將低幀率的激光雷達(dá)點(diǎn)云流上采樣到更高的幀率，可以有效地解決這一問題。此外，更高的幀率可能會提升一些應(yīng)用的性能，比如物體跟蹤。值得注意的是，視頻插幀通常被用來從低幀率的視頻生成高幀率的視頻（例如，從30Hz到240Hz）。與目前得到廣泛注意的視頻插幀相比，3D點(diǎn)云的插幀還沒有得到很好的探索。因此，我們需要探索3D點(diǎn)云的插幀算法，以克服激光雷達(dá)傳感器的時間限制。
 
圖1 點(diǎn)云插幀的示意圖。 藍(lán)色和綠色的點(diǎn)云是兩個輸入幀，紅色的點(diǎn)云是四個插值幀。我們放大區(qū)域以顯示詳細(xì)信息，以實(shí)現(xiàn)更好的可視化。

基于以上考慮，本文研究了一個名為 "點(diǎn)云插幀 "的新型任務(wù)。給定兩個連續(xù)的點(diǎn)云，點(diǎn)云插幀的目的是根據(jù)給定的時間步長預(yù)測中間點(diǎn)云幀，形成空間和時間上相干的點(diǎn)云流(見圖1)。因此，基于點(diǎn)云插幀，可以將低幀率的激光雷達(dá)點(diǎn)云流(10～20 Hz)上采樣為高幀率的點(diǎn)云流(50～100 Hz)。

具體來說，為了實(shí)現(xiàn)點(diǎn)云流的時空插值，我們提出了一種新型的基于學(xué)習(xí)的框架，稱為PointINet（點(diǎn)云插幀網(wǎng)絡(luò)）。我們提出的PointINet主要由兩部分組成：點(diǎn)云變換模塊和點(diǎn)融合模塊。首先將兩個連續(xù)的點(diǎn)云輸入點(diǎn)云變換模塊，將兩個點(diǎn)云變換到給定的時間步長。為此，我們首先估計兩個連續(xù)點(diǎn)云之間的雙向三維場景流以進(jìn)行運(yùn)動估計。3D場景流代表了從一個點(diǎn)云到另一個點(diǎn)云的運(yùn)動場。這里我們采用名為FlowNet3D的基于學(xué)習(xí)的場景流估計網(wǎng)絡(luò)來預(yù)測3D場景流。然后根據(jù)線性插值的3D場景流，將兩個點(diǎn)云變換到給定的時間步長。此后，關(guān)鍵問題是如何將兩幀融合，形成新的中間點(diǎn)云。3D點(diǎn)云是非結(jié)構(gòu)化且無序化的。因此，兩個點(diǎn)云中的點(diǎn)之間并不像兩幅圖像中的像素那樣存在直接的對應(yīng)關(guān)系。因而，要對兩個點(diǎn)云進(jìn)行融合是非易事。為了解決這個問題，我們提出了一種新的點(diǎn)融合模塊。該點(diǎn)融合模塊自適應(yīng)地對兩個變換點(diǎn)云中的點(diǎn)進(jìn)行采樣，并根據(jù)時間步長為每個采樣點(diǎn)構(gòu)建k最近鄰(kNN)聚類，以調(diào)整兩個點(diǎn)云的貢獻(xiàn)。之后，我們提出的注意點(diǎn)融合采用注意機(jī)制將每個聚類中的點(diǎn)聚集起來以生成中間點(diǎn)云。所提出的PointINet的整體架構(gòu)如圖2所示。

為了評估該方法，我們設(shè)計了定性和定量實(shí)驗。 此外，還進(jìn)行了應(yīng)用實(shí)驗，以評估生成的插值點(diǎn)云的質(zhì)量。在兩個大型室外激光雷達(dá)數(shù)據(jù)集上進(jìn)行的大量實(shí)驗證明了所提出的PointINet的有效性。
總而言之，我們的主要貢獻(xiàn)如下：

·  為了克服激光雷達(dá)傳感器的時間限制，研究了一種新穎的任務(wù)——點(diǎn)云插幀。

·  提出了一種名為PointINet的基于學(xué)習(xí)的新框架，以有效地生成兩個連續(xù)點(diǎn)云之間的中間幀。

·  通過定性和定量實(shí)驗，以驗證所提出方法的有效性。

2 相關(guān)工作

在本節(jié)中，我們簡要回顧與點(diǎn)云插幀有關(guān)的文獻(xiàn)。 我們從描述視頻插幀的常用方法開始，然后回顧點(diǎn)云的3D場景流估計方法。

視頻插幀

當(dāng)前，大量視頻插幀方法基于光流估計?；诠饬鞯姆椒ㄗ罹叽硇缘墓ぷ髦皇荢uper SloMo，它利用基于學(xué)習(xí)的方法來預(yù)測雙向光流來估計連續(xù)幀之間的運(yùn)動。然后，將兩個輸入幀進(jìn)一步變換并與遮擋推理結(jié)合以生成最終的中間幀。Reda et al. 利用循環(huán)一致性來支持視頻插幀的無監(jiān)督學(xué)習(xí)。Xu et al.提出了一種二次視頻插值方法來利用視頻中的加速度信息。視頻插幀方法的另一部分是基于內(nèi)核的(Niklaus, Mai, and Liu 2017a,b)。(Niklaus, Mai, andLiu 2017a)估計每個位置的內(nèi)核，并通過對補(bǔ)丁進(jìn)行卷積來預(yù)測輸出像素的位置。Niklaus, Mai, and Liu 2017b通過使用一對一維內(nèi)核將插幀公式化為輸入幀上的局部可分卷積來進(jìn)一步改進(jìn)了該方法。最近，(Bao et al. 2019)結(jié)合了基于核和光流的方法。他們利用光流來預(yù)測像素的大致位置，然后使用估計的核來完善位置。

3D場景流估計

點(diǎn)云的3D場景流可以看作是3D場景中2D光流的推廣，它表示點(diǎn)的3D運(yùn)動場。與研究者對2D光流估計的高度研究興趣相比，關(guān)于3D場景流估計的工作相對較少。FlowNet3D是基于深度學(xué)習(xí)的3D場景流估計的開創(chuàng)性工作。(Liu,Qi, and Guibas 2019)提出了一個流嵌入層，以對不同點(diǎn)云中點(diǎn)的運(yùn)動進(jìn)行建模。在FlowNet3D之后，F(xiàn)lowNet3D ++提出了幾何約束來進(jìn)一步提高精度。HPLFlowNet在場景流估計中引入了雙邊卷積層（BCL）。PointPWC-Net提出了一種新穎的成本方法，并以從細(xì)到精的方式估算了3D場景的流量。最近，(Mittal, Okorn, and Held 2020)提供了幾個不受監(jiān)督的損失函數(shù)，以支持在更真實(shí)的數(shù)據(jù)集上推廣預(yù)訓(xùn)練的場景流估計模型。在我們的實(shí)現(xiàn)中，由于簡單性和有效性，我們選擇FlowNet3D在兩個點(diǎn)云之間執(zhí)行3D場景流估計。

3 點(diǎn)云插幀

圖2 PointINet的總體結(jié)構(gòu)。給定輸入兩個連續(xù)的點(diǎn)云，PointINet遵循由點(diǎn)云變換模塊和點(diǎn)融合模塊組成的通道。

在本節(jié)中，我們首先介紹了所提出的點(diǎn)云插幀網(wǎng)絡(luò)(PointINet)的整體架構(gòu)，然后詳細(xì)介紹了PointINet的兩個關(guān)鍵部分，即點(diǎn)云變換模塊和點(diǎn)融合模塊。

架構(gòu)總覽

PointINet的整體架構(gòu)如圖2所示。給定兩個連續(xù)的點(diǎn)云P0和P1，時間步長t∈ (0,1)，PointINet的目標(biāo)是預(yù)測時間步長t中的中間點(diǎn)云。PointINet由兩個關(guān)鍵模塊組成：點(diǎn)云變換模塊將兩個輸入的點(diǎn)云變換到給定的時間步t，點(diǎn)融合模塊將兩個變換的點(diǎn)云進(jìn)行融合。下面我們將詳細(xì)介紹這兩個模塊。

點(diǎn)云變換

給定兩個點(diǎn)云P0和P1，點(diǎn)云變換模塊旨在預(yù)測P0中每個點(diǎn)在的位置，其中是P0的在時間步長t對應(yīng)的點(diǎn)云（對于點(diǎn)云P1我們也預(yù)測）。這里的關(guān)鍵是估計每個點(diǎn)從P0到的運(yùn)動。我們首先預(yù)測兩個點(diǎn)云P0和P1之間的雙向3D場景流和來估計點(diǎn)的運(yùn)動。3D場景流是指點(diǎn)的3D運(yùn)動場，它可以看作是3D點(diǎn)云中光流的推廣。這里我們利用現(xiàn)有的基于學(xué)習(xí)的框架FlowNet3D來估計雙向的3D場景流。假設(shè)連續(xù)兩幀點(diǎn)云之間的點(diǎn)的運(yùn)動是線性的，那么場景流和可以通過線性插值和來逼近，可以表示為：
 
 
 
然后P0和P1可以根據(jù)插值3D場景流和被變換為給定的時間步長，
 
 
點(diǎn)云融合

點(diǎn)融合模塊的目標(biāo)是將兩個變換的點(diǎn)云進(jìn)行融合，生成中間點(diǎn)云。點(diǎn)融合模塊的架構(gòu)顯示在圖2的右欄中。該模塊的輸入是兩個變換的點(diǎn)云和，輸出是融合后的中間點(diǎn)云。在視頻插幀中，由于圖像可以表示為結(jié)構(gòu)化的2D網(wǎng)格，融合步驟大多集中在遮擋和缺失區(qū)域預(yù)測上。然而，由于點(diǎn)云是非結(jié)構(gòu)化和無序的，因此兩個點(diǎn)云的融合是不易的。在所提出的PointINet中，我們首先基于時間步長t從兩個變換的點(diǎn)云中自適應(yīng)地采樣，然后以采樣點(diǎn)為中心構(gòu)建k最近鄰(kNN)聚類來進(jìn)行融合。之后，注意點(diǎn)融合模塊采用注意力機(jī)制，生成最終的中間點(diǎn)云。下面將詳細(xì)介紹點(diǎn)融合模塊的主要組成部分。
 
自適應(yīng)采樣 

點(diǎn)融合模塊的第一步是將兩個變換的點(diǎn)云合并成一個新的點(diǎn)云。直觀上，兩個點(diǎn)云對中間點(diǎn)云的貢獻(xiàn)并不總是相同的。例如，在t=0.2時的中間幀與第一幀P0應(yīng)該比第二幀P1更相似。基于上述觀察，我們從和中隨機(jī)抽取N0和N1個點(diǎn)，分別生成兩個采樣點(diǎn)云和。其中N0=（1-t）×N和N1=t×N。這種操作使得網(wǎng)絡(luò)能夠根據(jù)目標(biāo)時間步長t自適應(yīng)地調(diào)整兩個變換點(diǎn)云的貢獻(xiàn)。接近時間步長t的點(diǎn)云對中間幀的貢獻(xiàn)更大。之后，和合并成一個新的點(diǎn)云。
 
自適應(yīng)kNN聚類 

我們將輸入到自適應(yīng)的kNN聚類模塊中，生成k個最近鄰聚類，作為后續(xù)注意點(diǎn)融合模塊的輸入。對于中的每一個點(diǎn)，我們在兩個變換點(diǎn)云和中搜索K個鄰近點(diǎn)。與自適應(yīng)采樣類似，和中的鄰近點(diǎn)數(shù)也根據(jù)t進(jìn)行自適應(yīng)調(diào)整，以平衡兩個點(diǎn)云的貢獻(xiàn)。因此，我們在中查詢K0個鄰近點(diǎn)，在中查詢K1個鄰近點(diǎn)，其中K0= (1-t) ×K，K1=t×K。因此，我們得到N個聚類，每個聚類由K個鄰近點(diǎn)組成。將聚類的中心點(diǎn)表示為xi，鄰點(diǎn)表示為。然后將每個鄰點(diǎn)以的形式減去中心點(diǎn)，得到鄰點(diǎn)在聚類中的相對位置。此外，鄰點(diǎn)與中心點(diǎn)之間的歐氏距離作為聚類的附加通道被計算出來。因此，單個聚類的最終特征可以表示為。
 
圖3 注意點(diǎn)融合模塊的網(wǎng)絡(luò)架構(gòu)

注意點(diǎn)融合 注意力機(jī)制在3D點(diǎn)云學(xué)習(xí)中已經(jīng)得到了廣泛的應(yīng)用。在這里，我們采用注意機(jī)制來聚合相鄰點(diǎn)的特征來生成中間點(diǎn)云的新的點(diǎn)。注意力點(diǎn)融合模塊的網(wǎng)絡(luò)架構(gòu)可參見圖3。受PointNet和PointNet++的啟發(fā)，我們將單個聚類的特征Fi輸入共享多層感知器（Shared-MLP）以生成特征圖。然后應(yīng)用后續(xù)的maxpool層和Softmax函數(shù)對聚類中的所有鄰點(diǎn)預(yù)測一維注意權(quán)重Wi=
。之后，新點(diǎn)可以表示為鄰點(diǎn)的加權(quán)和。
 
 
最后，生成的中間點(diǎn)云可以表示為。直觀地講，所提出的注意點(diǎn)融合模塊可以給點(diǎn)集中與目標(biāo)點(diǎn)云更一致的點(diǎn)分配更高的權(quán)重。在點(diǎn)融合模塊之后，新的中間點(diǎn)云中的每一個生成點(diǎn)都是由其接受場中的兩個點(diǎn)云中的鄰點(diǎn)聚合而成。此外，借助自適應(yīng)采樣和自適應(yīng)kNN集群模塊，可以根據(jù)時間步長t動態(tài)調(diào)整兩個點(diǎn)云的貢獻(xiàn)。因此，生成的中間點(diǎn)云是兩個輸入點(diǎn)云的有效融合。
 
損失

倒角距離通常用于測量兩個點(diǎn)云的相似度。在這里，我們利用倒角距離來監(jiān)督所提出的PointINet的訓(xùn)練。給定生成的中間點(diǎn)云和真值點(diǎn)云，倒角距離損失可以表示為
 
 
其中||·||代表L2歸一化。

4 實(shí)驗

我們進(jìn)行定性和定量實(shí)驗，以證明所提出的方法的性能。 此外，我們還在兩個應(yīng)用上（例如，關(guān)鍵點(diǎn)檢測和多幀迭代最近點(diǎn)（ICP））進(jìn)行了實(shí)驗，以更好地評估生成的中間點(diǎn)云的質(zhì)量。

數(shù)據(jù)集

我們在兩個大型室外LiDAR數(shù)據(jù)集（即KITTI里程表數(shù)據(jù)集和nuScenes數(shù)據(jù)集）上評估了該方法。KITTI里程表數(shù)據(jù)集提供了11個具有地面真實(shí)性的序列（00-10），我們使用序列00訓(xùn)練網(wǎng)絡(luò)，使用01進(jìn)行驗證，而使用其他序列進(jìn)行評估。NuScenes數(shù)據(jù)集包含850個訓(xùn)練場景，我們使用前100個場景進(jìn)行訓(xùn)練，其余750個場景進(jìn)行評估。由于缺乏高幀速LiDAR傳感器，我們簡單的將KITTI里程表數(shù)據(jù)集中的10 Hz點(diǎn)云下采樣為2 Hz，將nuScenes數(shù)據(jù)集中的20 Hz點(diǎn)云下采樣為4 Hz，用于訓(xùn)練和定量實(shí)驗。因此，在降采樣點(diǎn)云流的兩個連續(xù)幀之間有4個中間點(diǎn)云。

實(shí)施細(xì)節(jié)

我們首先在Flythings3D數(shù)據(jù)集上訓(xùn)練FlowNet3D，然后在KITTI場景流數(shù)據(jù)集上優(yōu)化網(wǎng)絡(luò)。我們直接使用(Liu, Qi, and Guibas 2019)預(yù)處理的數(shù)據(jù)來訓(xùn)練FlowNet3D。然后，我們分別在KITTI里程表數(shù)據(jù)集和nuScenes數(shù)據(jù)集上分別完善預(yù)訓(xùn)練的FlowNet3D。在此過程中，將當(dāng)前幀與前后Ns幀內(nèi)隨機(jī)選擇的幀作為訓(xùn)練對。然后，以預(yù)測的場景流將第一幀變換到第二幀，并使用變換點(diǎn)云和第二點(diǎn)云之間的倒角距離（請參見公式4）損失函數(shù)進(jìn)行監(jiān)督FlowNet3D的完善。之后，在訓(xùn)練隨后的點(diǎn)融合模塊時，F(xiàn)lowNet3D的權(quán)重是固定的。在訓(xùn)練點(diǎn)融合模塊的過程中，將兩個連續(xù)的幀和來自4個中間點(diǎn)云的隨機(jī)采樣幀以及相應(yīng)的時間步長用作訓(xùn)練樣本。我們在訓(xùn)練期間將點(diǎn)云隨機(jī)降采樣為16384點(diǎn)，并且在我們的實(shí)現(xiàn)中將相鄰點(diǎn)的數(shù)量K設(shè)置為32。注意點(diǎn)融合模塊中Shared-MLP的層的通道設(shè)置為[64,64,128]。所有網(wǎng)絡(luò)均使用PyTorch實(shí)現(xiàn)，而Adam被用作優(yōu)化器。此外，點(diǎn)融合模塊僅在KITTI里程表數(shù)據(jù)集上進(jìn)行訓(xùn)練，我們僅將訓(xùn)練后的模型推廣到nuScenes數(shù)據(jù)集進(jìn)行評估。
 
圖4 PointINet的定性結(jié)果。從上至下是三對連續(xù)幀的插值結(jié)果。列從左到右的時間步長t分別為0.25、0.50和0.75。藍(lán)色，綠色和紅色點(diǎn)云分別代表第一幀，第二幀和預(yù)測的中間幀。此外，我們放大點(diǎn)云的某個區(qū)域，然后將其旋轉(zhuǎn)到適當(dāng)?shù)慕嵌?，以更好地可視化插值點(diǎn)云的細(xì)節(jié)。

定性實(shí)驗

提出的PointINet的目標(biāo)是從低幀率的流生成高幀率的激光雷達(dá)流。但是，沒有現(xiàn)有的高幀率LiDAR傳感器。因此，我們用Ns= 1訓(xùn)練FlowNet3D，以便為更近的點(diǎn)云提供適當(dāng)?shù)膱鼍傲鞴烙嫞缓髮⒃诮挡蓸狱c(diǎn)云流上訓(xùn)練的點(diǎn)融合模塊直接應(yīng)用于KITTI里程表數(shù)據(jù)集的10 Hz點(diǎn)云流上以生成高幀速率點(diǎn)云流。在這里，我們在圖4中提供定性可視化，其中此處的點(diǎn)數(shù)設(shè)置為32768。10Hz點(diǎn)云流被上采樣到40 Hz，中間幀的時間步長設(shè)置為0.25、0.50和0.75。根據(jù)圖4，提出的PointINet很好地估計了兩個云之間的點(diǎn)的運(yùn)動，并且融合算法可以保留點(diǎn)云的細(xì)節(jié)。除此之外，我們還在補(bǔ)充材料中提供了一些演示視頻，以比較高幀率點(diǎn)云流和低幀率點(diǎn)云流。根據(jù)演示視頻，高幀率點(diǎn)云流在時間和空間上明顯比低幀率點(diǎn)云平滑。

定量實(shí)驗

評價指標(biāo) 我們使用兩個評估指標(biāo)：倒角距離（CD）和推土機(jī)距離（EMD）來評估降采樣點(diǎn)云流上生成的點(diǎn)云與地面真實(shí)云之間的相似性和一致性。CD先前在等式4中進(jìn)行了描述。EMD也是比較兩個點(diǎn)云(Weng et al. 2020)的常用度量，其是通過解決線性分配問題來實(shí)現(xiàn)的。給定兩點(diǎn)云和，EMD可以被描述為：
 
 
其中，是一個雙映射。
 
基線 

為了演示建議的PointINet的性能，我們定義了3個基線與我們的方法進(jìn)行比較：（1）一致性方法 我們僅將第一點(diǎn)云框架復(fù)制為中間點(diǎn)云。（2）對齊ICP方法 我們首先使用迭代最近點(diǎn)（ICP）算法估計點(diǎn)云的兩個連續(xù)幀之間的剛性變換，然后對其進(jìn)行線性插值以獲得第一幀和中間幀之間的變換。之后，基于該變換將第一點(diǎn)云變換為中間幀。（3）場景流方法 我們使用FlowNet3D估計連續(xù)兩個幀之間的3D場景流，并通過線性插值計算從第一幀到中間幀的場景流，然后根據(jù)3D場景流對第一點(diǎn)云進(jìn)行變換得到中間點(diǎn)云。在定量實(shí)驗中，通過隨機(jī)采樣將所有點(diǎn)云降采樣為16384點(diǎn)。

表1 在KITTI里程表數(shù)據(jù)集上對PointINet和其他基線進(jìn)行定量評估的結(jié)果
 
表2 在nuScenes數(shù)據(jù)集上對PointINet和其他基線進(jìn)行定量評估的結(jié)果
 
結(jié)果 

提議的PointINet的CD和EMD以及KITTI里程表數(shù)據(jù)集和nuScenes數(shù)據(jù)集上的其他基線分別顯示在表1和表2中。根據(jù)結(jié)果，我們的方法的性能明顯優(yōu)于其他基準(zhǔn)。例如，建議的PointINet的倒角距離約為KITTI里程表上一致性方法，對齊ICP方法和場景流方法的 1/3 ，3/5 和2/3。值得注意的是，我們的方法明顯優(yōu)于場景流方法，這也反映了點(diǎn)融合模塊的有效性。注意，我們僅在KITTI里程表數(shù)據(jù)集上訓(xùn)練點(diǎn)融合模塊，而在nuScenes數(shù)據(jù)集上的結(jié)果也證明了網(wǎng)絡(luò)的泛化能力。

應(yīng)用

為了更好地評估生成的中間點(diǎn)云的質(zhì)量以及與原始點(diǎn)云的相似性，我們在插值點(diǎn)云流和原始點(diǎn)云流上測試了兩個應(yīng)用的性能，即關(guān)鍵點(diǎn)檢測和多幀ICP。我們首先分別將KITTI里程表數(shù)據(jù)集中的10 Hz點(diǎn)云和nuScenes數(shù)據(jù)集中的20 Hz點(diǎn)云分別下采樣到5 Hz和10 Hz，然后將它們作為內(nèi)插點(diǎn)云流內(nèi)插到原始的幀率。比較了兩個不同點(diǎn)云流上兩個應(yīng)用程序的結(jié)果，以驗證所提出的PointINet的有效性。

表3 KITTI里程表數(shù)據(jù)集上原始和插值點(diǎn)云的3個不同關(guān)鍵點(diǎn)的可重復(fù)性
 
關(guān)鍵點(diǎn)檢測 

我們在兩個點(diǎn)云流中執(zhí)行3D關(guān)鍵點(diǎn)檢測，并評估檢測到的關(guān)鍵點(diǎn)的可重復(fù)性。我們選擇了3個手工制作的3D關(guān)鍵點(diǎn)，即SIFT-3D，Harris-3D和ISS。使用PCL中的實(shí)現(xiàn)提取所有關(guān)鍵點(diǎn)。如果點(diǎn)云中的一個關(guān)鍵點(diǎn)到另一個點(diǎn)云中最近的關(guān)鍵點(diǎn)的距離（在基于地面真相姿勢進(jìn)行剛性變換之后）在閾值δr（δr設(shè)置為0.5 m）之內(nèi)，則該點(diǎn)被視為可重復(fù)。在此，可重復(fù)性是可重復(fù)關(guān)鍵點(diǎn)的比率。我們計算當(dāng)前點(diǎn)云中關(guān)鍵點(diǎn)在前后5幀中的平均可重復(fù)性，并將關(guān)鍵點(diǎn)的數(shù)量設(shè)置為256。由于nuScenes數(shù)據(jù)集中缺少每幀地面真相姿勢，因此關(guān)鍵點(diǎn)檢測實(shí)驗為僅在KITTI里程表數(shù)據(jù)集上執(zhí)行，其結(jié)果顯示在表3中。根據(jù)結(jié)果，與原始點(diǎn)云流相比，插值點(diǎn)云流的可重復(fù)性僅稍有降低。例如，插值點(diǎn)云的Harris-3D的可重復(fù)性僅比原始點(diǎn)云的可重復(fù)性低0.017。結(jié)果從側(cè)面反映了生成的中間點(diǎn)云與地面真點(diǎn)云的高度一致性。

表4 KITTI里程表數(shù)據(jù)集上原始點(diǎn)和內(nèi)插點(diǎn)云流的多幀ICP性能。
 
表5 nuScenes數(shù)據(jù)集上原始和內(nèi)插點(diǎn)云流的多幀ICP性能。
 
多幀ICP 我們對Nm個連續(xù)幀執(zhí)行迭代最近點(diǎn)（ICP）算法，以估計第一幀與最后一幀之間的剛性變換。在KITTI里程表數(shù)據(jù)集上將Nm設(shè)置為10。對于nuScenes數(shù)據(jù)集，僅為關(guān)鍵幀（大約2 Hz）提供真實(shí)姿態(tài)。因此，將Nm設(shè)置為與nuScenes數(shù)據(jù)集上兩個關(guān)鍵幀之間的幀數(shù)相同。我們利用PCL中的實(shí)現(xiàn)來執(zhí)行ICP算法。累加一次轉(zhuǎn)換以獲得第一幀和最后一幀之間的轉(zhuǎn)換。計算相對平移誤差（RTE）和相對旋轉(zhuǎn)誤差（RRE），以評估多幀ICP估計變換的誤差。有關(guān)KITTI里程表數(shù)據(jù)集和nuScenes數(shù)據(jù)集的結(jié)果分別顯示在表4和表5中。我們還計算原始點(diǎn)和插值點(diǎn)云流的誤差之間的差異，并將結(jié)果顯示在表4和表5的右欄中，以便進(jìn)行更好的比較。根據(jù)結(jié)果，插值點(diǎn)云流上的多幀ICP算法的RTE和RRE非常接近原始點(diǎn)云流。例如，根據(jù)表5，兩個結(jié)果在nuScenes數(shù)據(jù)集上的RTE僅相差0.07 m。緊密的性能表明生成的中間點(diǎn)云與地面真實(shí)云之間的相似性。

根據(jù)這兩個應(yīng)用的實(shí)驗，由于所提出的插值方法可能存在誤差，因此在插值點(diǎn)云上算法的性能略遜于原始點(diǎn)云流。盡管如此，這兩個應(yīng)用程序的緊密性能證明了生成的點(diǎn)云與原始應(yīng)用程序具有高度的相似性和一致性。

表6 PointINet及其組件針對不同數(shù)量的點(diǎn)的運(yùn)行時間（ms）。
 
表7 在KITTI里程表數(shù)據(jù)集上對消融研究的定量評估結(jié)果。
 
效率

在配備NVIDIA Geforce RTX 2060的PC上評估了擬議的PointINet的效率，并在表6中顯示了為包含16384、32768和65536點(diǎn)的點(diǎn)云生成一個中間幀的平均運(yùn)行時間。根據(jù)結(jié)果，大多數(shù)運(yùn)行時都用于變換點(diǎn)云，并且所提出的點(diǎn)融合模塊需要相對較少的時間進(jìn)行計算。然而，由于用于融合的每點(diǎn)計算，用于點(diǎn)融合模塊的計算時間隨著點(diǎn)的數(shù)量而增加。總體而言，建議的PointINet可以有效地生成中間幀。

消融實(shí)驗
我們進(jìn)行了多次消融研究，以分析擬議PointINet的不同組成部分（例如，自適應(yīng)采樣，自適應(yīng)kNN聚類和注意點(diǎn)融合）對最終結(jié)果的影響。實(shí)驗設(shè)置與定量實(shí)驗一致，我們還使用倒角距離（CD）和推土機(jī)距離（EMD）來評估性能。所有消融研究均在KITTI里程表數(shù)據(jù)集上進(jìn)行。

自適應(yīng)采樣 

我們通過簡單地隨機(jī)采樣兩個變換點(diǎn)云中一半的點(diǎn)以形成一個新點(diǎn)云作為自適應(yīng)kNN集群模塊的輸入來代替自適應(yīng)采樣策略。結(jié)果顯示在表7的第二行中。根據(jù)結(jié)果，在不進(jìn)行自適應(yīng)采樣的情況下，CD和EMD分別增加了0.123和8.54，這表明自適應(yīng)采樣策略顯著提高了性能。

自適應(yīng)kNN聚類 

我們從兩個變換的點(diǎn)云中固定地查詢 K / 2 個鄰居點(diǎn)，而不是根據(jù)時間步長 t 來查詢點(diǎn)。根據(jù)表7第三行中顯示的結(jié)果，沒有自適應(yīng)kNN聚類的CD和EMD分別從0.457增加到0.534，從39.46增加到41.66。結(jié)果證明了自適應(yīng)kNN集群模塊的有效性。

注意點(diǎn)融合 

為了演示注意點(diǎn)融合模塊的效果，我們直接使用自適應(yīng)采樣中的點(diǎn)云作為中間點(diǎn)云，并將結(jié)果顯示在表格7的底行中。根據(jù)結(jié)果，注意點(diǎn)融合模塊明顯提高了最終性能。

5 結(jié)論
本文研究了一種名為點(diǎn)云插幀的新穎任務(wù)，并為此任務(wù)設(shè)計了基于學(xué)習(xí)的框架PointINet。給定兩個連續(xù)的點(diǎn)云，該任務(wù)旨在預(yù)測它們之間在時間和空間上一致的中間幀。因此，使用所提出的方法可以將低幀率點(diǎn)云流上采樣到高幀率。為此，我們利用現(xiàn)有的場景流估計網(wǎng)絡(luò)進(jìn)行運(yùn)動估計，然后將兩個點(diǎn)云變換到給定的時間步長。然后提出了一種新穎的基于學(xué)習(xí)的點(diǎn)融合模塊，以有效地融合兩個點(diǎn)云。我們?yōu)榇巳蝿?wù)設(shè)計了定性和定量實(shí)驗。在KITTI里程表數(shù)據(jù)集和nuScenes數(shù)據(jù)集上進(jìn)行的大量實(shí)驗證明了所提出的PointINet的性能和有效性。

6 道德聲明

提出的點(diǎn)云插幀方法可能對無人駕駛和智能機(jī)器人的發(fā)展產(chǎn)生積極影響，可以減輕駕駛員和工人的工作量，并減少交通事故的發(fā)生。 但是，這種發(fā)展也可能導(dǎo)致駕駛員和工人失業(yè)。此外，所提出的方法可能具有潛在的軍事應(yīng)用，例如軍用無人機(jī)，可能會威脅到人類的安全。我們應(yīng)該探索更多可以改善人類生活而不是有害生活的應(yīng)用。

7 致謝

這項工作由中國國家自然科學(xué)基金（ No. 61906138），歐盟根據(jù)特定撥款協(xié)議第945539號達(dá)成的Horizon 2020研究與創(chuàng)新框架計劃（人腦計劃SGA3）和 2 018上海AI創(chuàng)新發(fā)展計劃資助。


參考文獻(xiàn)：
 
 
 
 
 
分享到：
 
反對 0 舉報 0 收藏 0 評論 0
滬ICP備11026917號-25