編者按：基于點(diǎn)云的3D目標(biāo)檢測(cè)是自動(dòng)駕駛系統(tǒng)重要的一環(huán)。3D目標(biāo)檢測(cè)的目的是對(duì)3D場(chǎng)景中的對(duì)象進(jìn)行定位和識(shí)別。更具體地說(shuō)，在這項(xiàng)工作中，我們的目標(biāo)是估計(jì)定向的3D邊界框以及點(diǎn)云對(duì)象的語(yǔ)義類。與2D圖像相比，3D點(diǎn)云具有精確的幾何形狀和對(duì)光照變化的魯棒性。但是，點(diǎn)云是不規(guī)則的。因此，典型的CNN不太適合直接處理點(diǎn)云數(shù)據(jù)。在這項(xiàng)工作中，我們提出一個(gè)直接處理原始數(shù)據(jù)、不依賴任何2D檢測(cè)器的點(diǎn)云3D檢測(cè)框架。這個(gè)檢測(cè)網(wǎng)絡(luò)稱為VoteNet，是點(diǎn)云3D深度學(xué)習(xí)模型的最新進(jìn)展，并受到用于對(duì)象檢測(cè)的廣義霍夫投票過(guò)程的啟發(fā)。

本文譯自：
《DEEP HOUGH VOTING FOR 3D OBJECT DETECTION IN POINT CLOUDS》
文章來(lái)源：
International Journal of Aotumotive Technology,Vol.20,No.5,pp.1033-1042(2019)
作者：
Charles R. Qi 1 Or Litany 1 Kaiming He 1 Leonidas J. Guibas 1,2
原文鏈接：
https://arxiv.org/abs/1904.08963v1

摘要：當(dāng)前的3D目標(biāo)檢測(cè)方法受2D檢測(cè)器的影響很大。為了利用2D檢測(cè)器的架構(gòu)，它們通常將3D點(diǎn)云轉(zhuǎn)換為規(guī)則的網(wǎng)格，或依賴于在2D圖像中檢測(cè)來(lái)提取3D框。很少有人嘗試直接檢測(cè)點(diǎn)云中的物體。在這篇論文中，研究人員回歸第一原則，為點(diǎn)云數(shù)據(jù)構(gòu)建了一個(gè)盡可能通用的3D檢測(cè)架構(gòu)。然而，由于數(shù)據(jù)的稀疏性，直接從場(chǎng)景點(diǎn)預(yù)測(cè)邊界框參數(shù)時(shí)面臨一個(gè)主要挑戰(zhàn)：一個(gè)3D物體的質(zhì)心可能遠(yuǎn)離任何表面點(diǎn)，因此很難用一個(gè)步驟準(zhǔn)確地回歸。為了解決這一問(wèn)題，我們提出了VoteNet，這是一個(gè)基于深度網(wǎng)絡(luò)和霍夫投票的端到端3D目標(biāo)檢測(cè)網(wǎng)絡(luò)。該模型設(shè)計(jì)簡(jiǎn)單，模型尺寸緊湊，而且效率高，在ScanNet和SUN RGB-D兩大真實(shí)3D掃描數(shù)據(jù)集上實(shí)現(xiàn)了最先進(jìn)的3D檢測(cè)精度。值得一提的是，VoteNet不依賴彩色圖像，使用純幾何信息。

關(guān)鍵詞：自動(dòng)駕駛汽車，深度學(xué)習(xí)，目標(biāo)檢測(cè)，霍夫投票

1 引言

為了避免處理不規(guī)則點(diǎn)云，目前的3D檢測(cè)方法在很多方面都嚴(yán)重依賴基于2D的檢測(cè)器。例如，將Faster/Mask R-CNN等2D檢測(cè)框架擴(kuò)展到3D，或者將點(diǎn)云轉(zhuǎn)換為常規(guī)的2D鳥瞰圖像，然后應(yīng)用2D檢測(cè)器來(lái)定位對(duì)象。然而，這會(huì)犧牲幾何細(xì)節(jié)，而這些細(xì)節(jié)在雜亂的室內(nèi)環(huán)境中可能是至關(guān)重要。


圖1 基于深度霍夫投票模型的點(diǎn)云3D目標(biāo)檢測(cè)

我們利用了 PointNet++，這是一個(gè)用于點(diǎn)云學(xué)習(xí)的分層深度網(wǎng)絡(luò)，以減少將點(diǎn)云轉(zhuǎn)換為規(guī)則結(jié)構(gòu)的需要。通過(guò)直接處理點(diǎn)云，不僅避免了量化過(guò)程中信息的丟失，而且通過(guò)僅對(duì)感測(cè)點(diǎn)進(jìn)行計(jì)算，利用了點(diǎn)云的稀疏性。

雖然PointNet++在對(duì)象分類和語(yǔ)義分割方面都很成功，但很少有研究使用這種架構(gòu)來(lái)檢測(cè)點(diǎn)云中的3D對(duì)象。

一個(gè)簡(jiǎn)單的解決方案是遵循2D檢測(cè)器的常規(guī)做法，并執(zhí)行密集物體提案，即直接從感測(cè)點(diǎn)提出3D邊界框。然而，點(diǎn)云的固有稀疏性使得這種方法不適宜。在圖像中，通常在目標(biāo)中心附近存在一個(gè)像素，但在點(diǎn)云中卻不是這樣。由于深度傳感器僅捕獲物體的表面，因此3D物體的中心很可能在遠(yuǎn)離任何點(diǎn)的空白空間中。因此，基于點(diǎn)的網(wǎng)絡(luò)很難在目標(biāo)中心附近聚集場(chǎng)景上下文。簡(jiǎn)單地增加感知域并不能解決這個(gè)問(wèn)題，因?yàn)楫?dāng)網(wǎng)絡(luò)捕獲更大的上下文時(shí)，它也會(huì)導(dǎo)致包含更多的附近的對(duì)象和雜物。

為此，我們提出賦予點(diǎn)云深度網(wǎng)絡(luò)一種類似于經(jīng)典霍夫投票的投票機(jī)制。通過(guò)投票，我們基本上生成了靠近對(duì)象中心的新的點(diǎn)，這些點(diǎn)可以進(jìn)行分組和聚合，以生成提案。與傳統(tǒng)的多獨(dú)立模塊、難以聯(lián)合優(yōu)化的霍夫投票相比，VoteNet是端到端優(yōu)化的。具體來(lái)說(shuō)，在通過(guò)主干點(diǎn)云網(wǎng)絡(luò)傳遞輸入點(diǎn)云之后，我們對(duì)一組種子點(diǎn)進(jìn)行采樣，并根據(jù)它們的特征生成投票。投票的目標(biāo)是到達(dá)目標(biāo)中心。因此，投票集群出現(xiàn)在目標(biāo)中心附近，然后可以通過(guò)一個(gè)學(xué)習(xí)模塊進(jìn)行聚合，生成提案。其結(jié)果是一個(gè)強(qiáng)大的3D物體檢測(cè)器，它是純幾何的，可以直接應(yīng)用于點(diǎn)云。

我們?cè)趦蓚€(gè)具有挑戰(zhàn)性的3D目標(biāo)檢測(cè)數(shù)據(jù)集上評(píng)估了我們的方法：SUN RGB-D數(shù)據(jù)集和 ScanNet數(shù)據(jù)集。在這兩個(gè)數(shù)據(jù)集上，僅使用幾何信息的VoteNet明顯優(yōu)于使用RGB和幾何甚至多視圖RGB圖像的現(xiàn)有技術(shù)。我們的研究表明，投票方案支持更有效的上下文聚合，并驗(yàn)證了當(dāng)目標(biāo)中心遠(yuǎn)離目標(biāo)表面時(shí)，VoteNet能夠提供最大的改進(jìn)。總之，我們工作的貢獻(xiàn)是：

在通過(guò)端到端可微架構(gòu)進(jìn)行深度學(xué)習(xí)的背景下，重新制定了霍夫投票，稱之為VoteNet。在SUN RGB-D和ScanNet兩個(gè)數(shù)據(jù)集上實(shí)現(xiàn)了最先進(jìn)的3D目標(biāo)檢測(cè)性能。深入分析了投票在點(diǎn)云3D目標(biāo)檢測(cè)中的重要性。

2 相關(guān)工作

由于直接 3D 場(chǎng)景識(shí)別的復(fù)雜性，許多方法都采用某些投影。比如在MV3D和VoxelNet，3D數(shù)據(jù)在進(jìn)入其他模塊前先降維為鳥瞰圖，通過(guò)先處理2D輸入來(lái)減少搜索空間的維度被Frustum PointNets[34]和[20]所采用。類似地，[16]利用3D投影驗(yàn)證了一個(gè)分割假設(shè)。最近，PointRCNN和GSPN使用點(diǎn)云深度網(wǎng)絡(luò)來(lái)檢測(cè)3D物體。

物體檢測(cè)中的霍夫投票:最初在50年代后期推出，霍夫變換將點(diǎn)樣本中檢測(cè)圖案轉(zhuǎn)化為在參數(shù)空間中檢測(cè)峰值。廣義霍夫進(jìn)一步拓展到以圖象補(bǔ)丁為指標(biāo)預(yù)測(cè)復(fù)雜物體的存在性。使用霍夫投票的例子包括[24]的開創(chuàng)性工作，它介紹了3D點(diǎn)云的平面提取和隱式形狀模型以及6D姿態(tài)估計(jì)。

霍夫投票也和最新技術(shù)相結(jié)合。[30]中，投票被分配以不同的權(quán)重，該權(quán)重通過(guò)最大值框架學(xué)習(xí)得到。[8,7]將霍夫森林引入目標(biāo)檢測(cè)。最近，[15]通過(guò)使用深度特征提取構(gòu)建代碼本的方式提高了6D位姿估計(jì)。[31]也是利用深度特征構(gòu)建的代碼本提高了MRI的語(yǔ)義分割。[14]中，經(jīng)典霍夫算法應(yīng)用于在汽車標(biāo)志中提取圓形圖案，隨后被輸入到一個(gè)分類網(wǎng)絡(luò)。[33]提出2D實(shí)例分割的子流行卷積，這也和霍夫投票有關(guān)。還有些工作使用霍夫投票來(lái)進(jìn)行3D物體檢測(cè)[50, 18, 47, 19]，但都采用了和2D檢測(cè)器類似的模塊。

點(diǎn)云上的深度學(xué)習(xí)：最近設(shè)計(jì)適合點(diǎn)云的網(wǎng)絡(luò)架構(gòu)的研究越來(lái)越多[35, 36, 43, 1, 25, 9, 48, 45, 46, 22, 17,53, 52, 49, 51]，在3D物體分類、部分分割以及場(chǎng)景分割上性能卓越。在3D目標(biāo)檢測(cè)領(lǐng)域，VoxelNet[55]通過(guò)學(xué)習(xí)體素中的點(diǎn)來(lái)編碼體素特征，而[34]用 PointNet在2D邊界框切割出的平截頭體的點(diǎn)云來(lái)定位對(duì)象。然而，很少有研究提出如何直接從原始點(diǎn)云中提出和檢測(cè)3D物體。

3 深度霍夫投票

傳統(tǒng)的霍夫投票2D檢測(cè)器包括離線和在線兩個(gè)步驟。首先，給定一系列帶注釋的圖像集，使用存儲(chǔ)在圖像補(bǔ)丁（或他們的特征）和他們到對(duì)應(yīng)物體中心的偏移量之間的映射構(gòu)建一個(gè)代碼本。在推理時(shí)，從圖像中選擇興趣點(diǎn)來(lái)提取周圍的補(bǔ)丁，將這些補(bǔ)丁和代碼本里的補(bǔ)丁相比較，以檢索偏移并計(jì)算投票。由于對(duì)象補(bǔ)丁傾向于投票一致，因此集群將在目標(biāo)中心附近形成。最后，通過(guò)將集群投票追溯到它們生成的補(bǔ)丁來(lái)檢索對(duì)象邊界。

我們確定這種技術(shù)非常適合我們感興趣的問(wèn)題，有兩個(gè)方面：

首先，基于投票的檢測(cè)比起 RPN 來(lái)更適合稀疏數(shù)據(jù)，RPN 生成的接近物體中心的提案更可能在一個(gè)空的空間，造成額外的計(jì)算量。

其次，霍夫投票自底向上的原理，積累少量的局部信息以形成可靠的檢測(cè)。

然而，傳統(tǒng)的霍夫投票是由多個(gè)獨(dú)立的模塊組成的，將其集成到點(diǎn)云網(wǎng)絡(luò)仍然是一個(gè)開放的研究課題。為此，我們建議對(duì)不同模塊進(jìn)行以下調(diào)整：

興趣點(diǎn)由深度神經(jīng)網(wǎng)絡(luò)來(lái)描述和選擇，而不是依賴手工制作的特性。

投票生成是通過(guò)網(wǎng)絡(luò)學(xué)習(xí)的，而不是使用代碼本。利用更大的感受野，可以使投票減少模糊，從而更有效。此外，還可以使用特征向量對(duì)投票位置進(jìn)行增強(qiáng)，從而實(shí)現(xiàn)更好的聚合。

投票聚合是通過(guò)可訓(xùn)練參數(shù)的點(diǎn)云處理層實(shí)現(xiàn)的。利用投票功能，網(wǎng)絡(luò)可以過(guò)濾掉低質(zhì)量的選票，并生成改進(jìn)的proposal。

提案的形式是：位置、維度、方向、語(yǔ)義類，都可以直接從聚合特征生成，從而減少了追溯投票起源的需要。

接下來(lái)，我們將描述如何將上述所有組件組合成一個(gè)名為VoteNet的端到端網(wǎng)絡(luò)。

4 VoteNet架構(gòu)

圖2描述了我們提出的端到端檢測(cè)網(wǎng)絡(luò)VoteNet的架構(gòu)。整個(gè)網(wǎng)絡(luò)可以分為兩部分：一部分處理現(xiàn)有的點(diǎn)來(lái)生成投票；另一部分處理虛擬點(diǎn)——投票來(lái)提議和分類對(duì)象。


圖2 用于點(diǎn)云中3D目標(biāo)檢測(cè)的VoteNet架構(gòu)

（Ⅰ）點(diǎn)云學(xué)習(xí)投票

給定一個(gè)包含N個(gè)點(diǎn)和XYZ坐標(biāo)的輸入點(diǎn)云，一個(gè)主干網(wǎng)絡(luò)(使用PointNet++實(shí)現(xiàn))，對(duì)這些點(diǎn)進(jìn)行采樣和學(xué)習(xí)深度特性，并輸出M個(gè)點(diǎn)的子集。這些點(diǎn)的子集被視為種子點(diǎn)。每個(gè)種子通過(guò)投票模塊獨(dú)立地生成一個(gè)投票。然后將投票分組為集群，并由proposal模塊處理，生成最終的提案。

（Ⅱ）實(shí)現(xiàn)細(xì)節(jié)

輸入和數(shù)據(jù)增強(qiáng)。輸入到目標(biāo)檢測(cè)網(wǎng)絡(luò)的是隨機(jī)采樣的N個(gè)點(diǎn)。除了XYZ坐標(biāo)，我們還包括了每個(gè)點(diǎn)的高度特征，代表點(diǎn)到地面的距離。地面高度被估計(jì)為所有點(diǎn)高度的1%。為了增強(qiáng)數(shù)據(jù)，我們隨機(jī)采樣，還在水平方向上隨機(jī)翻轉(zhuǎn)點(diǎn)云，繞著垂直軸隨機(jī)旋轉(zhuǎn)場(chǎng)景點(diǎn)[−5°,5°]，或者隨機(jī)縮放[0.9,1.1]。

訓(xùn)練網(wǎng)絡(luò)。端到端的訓(xùn)練，使用 Adam 優(yōu)化器，批處理量8和初始學(xué)習(xí)率0.001。在迭代 80輪后學(xué)習(xí)率下降10倍，在120輪后再下降10倍。在Volta Quadro GP100 GPU上訓(xùn)練網(wǎng)絡(luò) SUN RGB-D用了10小時(shí)，ScanNetV2用了少于4小時(shí)。

推理。我們的VoteNet能夠把整個(gè)場(chǎng)景的點(diǎn)云輸入并在一次前向傳播中生成proposal。接著這些proposal經(jīng)過(guò)IOU閾值0.25的NMS。評(píng)價(jià)和[42]一樣采用平均精度。

5 實(shí)驗(yàn)

在這部分我們首先在兩個(gè)大型3D室內(nèi)目標(biāo)檢測(cè)基準(zhǔn)上，將我們基于霍夫投票的檢測(cè)器與之前最先進(jìn)的方法進(jìn)行比較。然后，我們提供了分析實(shí)驗(yàn)來(lái)了解投票的重要性、不同的投票聚合方法的效果，并展示了我們的方法在緊湊性和效率方面的優(yōu)勢(shì)。最后，我們展示了我們的檢測(cè)器的定性結(jié)果。論文附錄中提供了更多的分析和可視化。

（Ⅰ）和最新方法比較

給定一個(gè)包含N個(gè)點(diǎn)和XYZ坐標(biāo)的輸入點(diǎn)云，一個(gè)主干網(wǎng)絡(luò)(使用PointNet++實(shí)現(xiàn))，對(duì)這些點(diǎn)進(jìn)行采樣和學(xué)習(xí)深度特性，并輸出M個(gè)點(diǎn)的子集。這些點(diǎn)的子集被視為種子點(diǎn)。每個(gè)種子通過(guò)投票模塊獨(dú)立地生成一個(gè)投票。然后將投票分組為集群，并由proposal模塊處理，生成最終的提案。

SUN RGB-D [40]是用于三維場(chǎng)景理解單視圖 RGB-D 數(shù)據(jù)集。該數(shù)據(jù)集包含37個(gè)類別，其中~5K用于訓(xùn)練，每一個(gè)圖像都標(biāo)記了完整帶朝向的3D框。我們首先用提供的相機(jī)參數(shù)將深度圖像轉(zhuǎn)為點(diǎn)云作為網(wǎng)絡(luò)的輸入。我們?cè)?0個(gè)類別上遵循標(biāo)準(zhǔn)的評(píng)估方式。

ScanNetV2 [5]是一個(gè)帶有豐富注釋的3D重建網(wǎng)格的室內(nèi)場(chǎng)景數(shù)據(jù)集。它包含從數(shù)百個(gè)房間搜集的~1.2K個(gè)訓(xùn)練樣本，有18個(gè)物體類別的語(yǔ)義和實(shí)例分割標(biāo)注。相比于 SUN RGB-D 的部分掃描，ScanNetV2場(chǎng)景更完整，涵蓋更多對(duì)象更大區(qū)域。我們采樣重建網(wǎng)格的頂點(diǎn)作為我們的輸入點(diǎn)云。由于ScanNetV2不提供帶朝向的3D框，我們改為預(yù)測(cè)正3D框。

方法的對(duì)比。我們比較了多種現(xiàn)有方法。深滑動(dòng)形狀（DSS）[42]和3D-SIS [12]均為3D CNN檢測(cè)器，結(jié)合了幾何形狀和RGB特征，使用Faster R-CNN [37]的流程。與DSS、3D-SIS引入復(fù)雜的傳感器融合方案相比（將RGB特征投影到3D體素），因此能夠使用多個(gè)RGB視圖來(lái)提高性能。2D驅(qū)動(dòng)[20]和F-PointNet[34]是基于2D的3D檢測(cè)器，通過(guò)檢測(cè)圖像來(lái)減少三維檢測(cè)的搜索空間。梯度點(diǎn)云基于滑動(dòng)窗口，使用設(shè)計(jì)的3D HoG特征的檢測(cè)器。MRCNN 2D-3D直接將Mask-RCNN[11]的實(shí)例分割結(jié)果投影到3D獲得邊框估計(jì)。GSPN[54]是使用生成模型提出對(duì)象實(shí)例，其也基于PointNet ++骨干。

表1 SUN RGB-D val數(shù)據(jù)集上的3D目標(biāo)檢測(cè)結(jié)果


結(jié)果如表1和表2所示。在SUN RGB-D和ScanNet兩個(gè)數(shù)據(jù)集中，VoteNet的性能都優(yōu)于先前的方法，分別增加了3.7和18.4mAP。表1表明，當(dāng)類別是訓(xùn)練樣本最多的“椅子”時(shí)，我們的方法比以前的最優(yōu)方法提高11AP。值得注意的是，我們僅使用幾何信息就實(shí)現(xiàn)了這樣的提升，而他們除點(diǎn)云外還使用RGB圖像。表2表明，僅使用幾何輸入時(shí)，我們的方法顯著優(yōu)于基于3D CNN的3D-SIS方法，超過(guò)了20AP。

表2 ScanNetV2 val數(shù)據(jù)集上的3D目標(biāo)檢測(cè)結(jié)果


（Ⅱ）分析實(shí)驗(yàn)

投票好還是不投票好呢？我們采用了一個(gè)簡(jiǎn)單的基線網(wǎng)絡(luò)，稱之為 BoxNet，它直接從采樣的場(chǎng)景點(diǎn)提出檢測(cè)框，而不需要投票。BoxNet具有與VoteNet相同的主干，但它不采用投票機(jī)制，而是直接從種子點(diǎn)生成框。

表3 VoteNet和no-vote基線的比較

那么，投票在哪些方面有幫助呢？我們認(rèn)為，由于在稀疏的3D點(diǎn)云中，現(xiàn)有的場(chǎng)景點(diǎn)往往遠(yuǎn)離目標(biāo)中心點(diǎn)，直接的proposal可能置信度較低或不準(zhǔn)確。投票讓這些低置信度的點(diǎn)更接近，并允許通過(guò)聚合來(lái)強(qiáng)化它們的假設(shè)。在圖3中，我們?cè)谝粋€(gè)典型的ScanNetV2場(chǎng)景中演示了這種現(xiàn)象。從圖中可以看出，與BoxNet(圖左)相比，VoteNet(圖右)提供了更廣泛的 “好” 種子點(diǎn)的覆蓋范圍，顯示了投票帶來(lái)的穩(wěn)健性。


圖3 投票有助于增加檢測(cè)上下文，從而增加了準(zhǔn)確檢測(cè)的可能性


圖4 當(dāng)目標(biāo)點(diǎn)遠(yuǎn)離目標(biāo)中心的情況下，投票更有幫助

圖6和圖7分別展示了 ScanNet 和 SUN RGB-D 場(chǎng)景中 VoteNet 檢測(cè)結(jié)果的幾個(gè)代表性例子?？梢钥闯?，場(chǎng)景是非常多樣化的，并提出了多種挑戰(zhàn)，包括雜亂，噪聲，掃描的偽像等。盡管有這些挑戰(zhàn)，我們的網(wǎng)絡(luò)仍顯示出相當(dāng)強(qiáng)大的結(jié)果。

例如，圖6展示了如何在頂部場(chǎng)景中正確地檢測(cè)到絕大多數(shù)椅子。我們的方法能夠很好地區(qū)分左下角場(chǎng)景中連起來(lái)的沙發(fā)椅和沙發(fā)；并預(yù)測(cè)了右下角那張不完整的、雜亂無(wú)章的桌子的完整邊界框。


圖6 ScanNetV2中3D目標(biāo)檢測(cè)的定性結(jié)果。左：VoteNet 的結(jié)果，右: ground-truth



圖7 SUN RGB-D中3D目標(biāo)檢測(cè)的定性結(jié)果。(從左到右)：場(chǎng)景的圖像，VoteNet的3D對(duì)象檢測(cè)，以及ground-truth注釋

6 結(jié)論

在這項(xiàng)工作中，我們介紹了VoteNet：一個(gè)簡(jiǎn)單但強(qiáng)大的3D對(duì)象檢測(cè)模型，受到霍夫投票的啟發(fā)。該網(wǎng)絡(luò)學(xué)習(xí)直接從點(diǎn)云向目標(biāo)質(zhì)心投票，并學(xué)會(huì)通過(guò)它們的特性和局部幾何信息來(lái)聚合投票，以生成高質(zhì)量的 object proposals。該模型僅使用3D點(diǎn)云，與之前使用深度和彩色圖像的方法相比，有了顯著的改進(jìn)。

在未來(lái)的工作中，我們將探索如何將RGB圖像納入這個(gè)檢測(cè)框架，并在下游應(yīng)用(如3D實(shí)例分割) 匯總利用我們的檢測(cè)器。我們相信霍夫投票和深度學(xué)習(xí)的協(xié)同作用可以推廣到更多的應(yīng)用領(lǐng)域，如 6D 姿態(tài)估計(jì)、基于模板的檢測(cè)等，并期待在這方面看到更多的研究。