日本无码免费高清在线|成人日本在线观看高清|A级片免费视频操逼欧美|全裸美女搞黄色大片网站|免费成人a片视频|久久无码福利成人激情久久|国产视频一二国产在线v|av女主播在线观看|五月激情影音先锋|亚洲一区天堂av

  • 手機站
  • 小程序

    汽車測試網(wǎng)

  • 公眾號

    • 汽車測試網(wǎng)

    • 在線課堂

    • 電車測試

RSKDD-Net: 基于隨機采樣的關(guān)鍵點檢測器和描述子

2020-10-27 23:52:04·  來源：同濟智能汽車研究所  
　
編者按：點云配準的目的是求解出同一坐標下不同姿態(tài)點云的變換矩陣，利用該矩陣實現(xiàn)多視掃描點云的精確配準，最終獲取完整的3D數(shù)字模型、場景。而特征提取是點云
編者按：點云配準的目的是求解出同一坐標下不同姿態(tài)點云的變換矩陣，利用該矩陣實現(xiàn)多視掃描點云的精確配準，最終獲取完整的3D數(shù)字模型、場景。而特征提取是點云配準的關(guān)鍵部分，但目前現(xiàn)存的相關(guān)算法大都效率較低、計算量大，難以應(yīng)用于自動駕駛上。而本篇架構(gòu)的網(wǎng)絡(luò)在有效提取特征的同時，大幅提高運算速度，降低時間復雜度，能夠快速處理大規(guī)模點云，對相關(guān)領(lǐng)域的研究具有很高的參考與借鑒價值。
 
本文譯自：RSKDD-Net: Random Sample-based Keypoint Detector and Descriptor
文章來源：NeurlPS 2020
作者：Fan Lu, Guang Chen, Yinlong Liu, Zhongnan Qu, Alois Knoll
 
通訊聯(lián)系:guangchen@#edu.cn
原文鏈接：http://arxiv.org/abs/2010.12394
 
摘要：關(guān)鍵點檢測器和描述子是點云配準過程的兩個重要組成部分。過去基于深度學習的關(guān)鍵點檢測器依賴于對每個點的顯著性估計或?qū)蜻x點進行最遠點采樣（FPS）,但這些方法低效且不適用于大范圍的場景。本文提出了應(yīng)用于大規(guī)模點云匹配的網(wǎng)絡(luò)——基于隨機采樣的關(guān)鍵點檢測和描述網(wǎng)絡(luò)（RSKDD-Net）。主要思路是使用隨機采樣在候選點中進行高效選擇，并使用基于深度學習的方法來同時生成關(guān)鍵點與描述子。為了解決隨機采樣造成的信息丟失，我們設(shè)計了一個新穎的隨機膨脹聚類策略并引入了注意力機制，分別用以增大每個被采樣點的感受野和匯總附近點的位置與特征。同時我們引入了匹配損失在弱監(jiān)督的情況下訓練描述子。我們在兩個包含大規(guī)模戶外場景的激光雷達數(shù)據(jù)集上進行了大量實驗，結(jié)果表明RSKDD-Net達到了目前的最高水平，比現(xiàn)存方法快15倍以上?？捎趆ttps://github.com/ispc-lab/RSKDD-Net獲取本文相關(guān)代碼。
 
1 前言
點云配準是三維計算機視覺中一個重要的研究課題，主要研究兩個點云間的理想剛性變換過程。而三維關(guān)鍵點的檢測和描述是點云配準的基礎(chǔ)。在傳統(tǒng)二維關(guān)鍵點特征提取方法的基礎(chǔ)上[1-3]，研究人員為點云手工設(shè)計了一些三維關(guān)鍵點檢測器[4-6]和描述子[7-11]。然而，圖片的RGB通道相較于點云的笛卡爾坐標提供了更豐富的信息，這使得手工設(shè)計的三維關(guān)鍵點檢測器和描述子不如二維的特征提取可靠。
 
而隨著深度學習的迅猛發(fā)展，許多文獻對運用深度學習對點云進行三維特征提取進行了探究[12-15]。然而，只有少部分文獻研究了在缺乏真值的情況下，如何基于深度學習進行三維關(guān)鍵點檢測[16]。3DFeatNet[17]和USIP[16]是兩篇基于深度學習的關(guān)鍵點檢測的前沿文章，但他們的算法在效率上略有欠缺。3DFeatNet預測了每個輸入點的顯著性并基于預測的顯著性提取關(guān)鍵點。而輸入點的顯著性估計需要花費大量的時間，使得這個方法的實用性較差。USIP依靠FPS來生成候選關(guān)鍵點，考慮到FPS具有O（N2）的時間復雜度，這個算法無疑是低效和耗時的。因此上述的兩種方法都不能有效處理大規(guī)模的點云，這也就限制了它們在類似于自動駕駛這種需要實時反饋場景中的應(yīng)用。
 
基于上述的結(jié)論，我們提出了新的網(wǎng)絡(luò)架構(gòu)——基于隨機采樣的關(guān)鍵點檢測和描述網(wǎng)絡(luò)（RSKDD-Net），它能高效地在大規(guī)模點云中提取關(guān)鍵點和生成相應(yīng)的描述子。在RSKDD-Net中我們引入了隨機采樣概念以提高網(wǎng)絡(luò)的效率，這正是3DFeatNet和USIP中所欠缺的。使用隨機采樣能夠提高點云語義分割的效率，但也會導致巨大的信息丟失。受到二維圖像處理過程中膨脹卷積的啟發(fā)，我們提出了隨機膨脹策略來聚類附近點，從而顯著擴大感受野。同時我們利用注意力機制來匯總附近點的位置和特征并生成注意力特征圖，以提取關(guān)鍵點并估計每個關(guān)鍵點的顯著不確定性。這個框架避免了3DFeatNet中低效的逐點顯著性估計。為了同時學習關(guān)鍵點的檢測器和描述子，聚類和注意力特征圖被送入描述網(wǎng)絡(luò)來生成描述子。而為了在弱監(jiān)督情況下訓練描述子，我們引入了匹配損失，使用軟分類策略來估計關(guān)鍵點的一致性。網(wǎng)絡(luò)架構(gòu)見圖1。
 
圖1：RSKDD-Net的網(wǎng)絡(luò)架構(gòu)。第一行是整個網(wǎng)絡(luò)的整體架構(gòu)，中間一行是檢測網(wǎng)絡(luò)，最后一行是描述網(wǎng)絡(luò)。
 
我們進行了大量的實驗來評估RSKDD-Net。結(jié)果顯示我們的網(wǎng)絡(luò)僅用了遠低于其他方法的運行時間，就達到了目前的最高水平。
貢獻  本文的主要貢獻總結(jié)如下：
  • 提出了一個基于深度學習的方法，用于在大規(guī)模點云匹配中檢測關(guān)鍵點并生成描述子。這個方法在達到最高水平的同時，將運算速度提高了15倍以上。
  • 運用了一個獨特的隨機膨脹策略來擴大感受野，使得關(guān)鍵點檢測器和描述子的性能得到了大規(guī)模地提升。除此以外，我們還引入了注意力機制來匯總附近點的位置與特征。
  • 基于軟分類策略設(shè)計了匹配損失，從而實現(xiàn)了在弱監(jiān)督的情況下對描述子進行訓練。
2 相關(guān)文獻
 
現(xiàn)存的針對點云檢測器和描述子的方法可以分為手工設(shè)計和基于深度學習兩類。
手工設(shè)計的方法  如今手工設(shè)計的三維關(guān)鍵點檢測和特征提取方法，主要是建立在大量二維手工提取特征方法的基礎(chǔ)上。SIFT-3D[5]和Harris-3D[6]就是廣泛應(yīng)用的二維檢測器SIFT[2]和Harris[3]的三維拓展。內(nèi)在特征描述算法（ISS）選擇球形區(qū)域內(nèi)的附近點沿主軸方向有大幅變動的點作為特征點。同時，研究人員也提出了一些基于點的幾何特征的三維描述子，例如點特征直方圖（PFH）[7]，快速點特征直方圖（FPFH）[8]和方向特征直方圖（SHOT）[9]。關(guān)于手工設(shè)計的三維檢測器和描述子進一步的詳細介紹可以參考[20,21]。
基于深度學習的方法  近年來，基于深度學習的方法已經(jīng)廣泛用于點云分析中[22-29]。與我們的研究主題關(guān)聯(lián)最為密切的是3DFeatNet[17]和USIP[16]。與以往依賴于真值進行訓練的網(wǎng)絡(luò)不同，3DFeatNet設(shè)計了一個弱監(jiān)督的三維描述子。網(wǎng)絡(luò)根據(jù)點云的距離采樣得到正負樣本對，之后使用三元組網(wǎng)絡(luò)來訓練描述子。而對于關(guān)鍵點檢測，他們預測了點云中每個點的注意力權(quán)重，并選出顯著點而不做進一步的優(yōu)化處理。不同于3DFeatNet，USIP關(guān)注的是關(guān)鍵點的檢測以及如何在完全無監(jiān)督的情況下訓練檢測器。通過預測初始候選點的偏移和顯著不確定性來選擇關(guān)鍵點。USIP利用似然倒角損失和點對點損失在完全無監(jiān)督的情況下訓練網(wǎng)絡(luò)。然而，3DFeatNet和USIP中使用FPS對于逐點進行顯著性估計，這使得他們的效率都很低。
3 樣本數(shù)據(jù)
RSKDD-Net的網(wǎng)絡(luò)架構(gòu)已經(jīng)在圖1中得到了詳細地展示。點云P∈RNx(3+C)（三維笛卡爾坐標和C個額外通道）首先進入檢測網(wǎng)絡(luò)，通過隨機膨脹聚類模塊用于聚集附近點，然后通過注意力點匯總模塊提取關(guān)鍵點X∈RMx3、顯著不確定性Σ∈RM和注意力特征圖，同時聚類和注意力特征圖被送入描述網(wǎng)絡(luò)來生成相應(yīng)的描述子。我們使用似然倒角損失和點對點損失來訓練檢測網(wǎng)絡(luò)，使用匹配損失來訓練描述網(wǎng)絡(luò)。
3.1 檢測器
隨機膨脹聚類  對于每個輸入的點云P∈RNx(3+C)，我們首先對M個候選點進行隨機采樣。通常我們使用k最近鄰（kNN）算法來聚集以候選點為中心的M個簇。雖然這個方法很有效，但隨機采樣同時也會導致信息丟失，而增大感受野可以有效減弱這種負面影響。然而，簡單地增加附近點的數(shù)量K會引起時間空間復雜度的增加。在許多領(lǐng)域，膨脹都是擴大感受野的替代策略[30,19]。[31]介紹了應(yīng)用于三維點云的點膨脹卷積網(wǎng)絡(luò)（DPC）。不同于DPC，我們采用了隨機膨脹策略來生成聚類，圖2是該方法的可視化展示。假設(shè)K個附近點被選中為一個單獨的聚類，膨脹比記為αd。我們首先搜索圍繞著中心點的αd×K個附近點，然后從它們中隨機選擇K個點。這個策略是簡單而高效的，在幾乎不增加計算成本的前提下，將感受野從K增大為αd×K。
 
圖2：隨機膨脹聚類的可視化。紅色點代表中心點，藍色點代表被選中的附近點。左圖是基于標準kNN算法的聚類，右圖是隨機膨脹聚類?？梢钥闯?，右圖的感受野明顯增大。
注意力點匯總  注意力機制在點云學習中有著優(yōu)越的性能[32-36]。與USIP中預測偏移不同[16]，本文中我們提出了一個簡單的注意力機制來匯總附近點以便直接提取關(guān)鍵點。從隨機膨脹聚類中，我們獲得了M個簇且每簇都包含K個點?？紤]其中一個簇，我們將中心點和K個附近點分別記為pi和{pi1，…，pik，…，piK}∈RK×（3+C），附近點與中心點的笛卡爾坐標相減，就可以得到每個附近點的相對位置，把計算得到的附近點與中心點的相對距離作為簇的額外通道。因此，一個簇的特征可以記為Fi={ fi1，…，fik，…，fiK }∈RK×（4+C）。之后簇被送入共享多層感知器（MLP）并輸出特征圖∈RK×C，之后通過最大池化層和softmax函數(shù)來預測每個附近點的一維注意力權(quán)重{wi1，…，wik，…，wiK}∈RK×1。通過附近點笛卡爾坐標的加權(quán)和來計算關(guān)鍵點，附近點的笛卡爾坐標記為{xi1，…，xik，…，xiK}∈RK×3，那么該簇的關(guān)鍵點∈R3為
 
不同于USIP的偏移預測，注意力點匯總確保了提取的關(guān)鍵點位于輸入簇的凸包內(nèi)。而且每個特征都有相應(yīng)的注意力權(quán)重wik，因此注意力特征圖∈RK×Ca為
 
 
 
注意力特征圖進一步求和可得到每簇的全局特征∈RCa。之后通過MLP與softplus函數(shù)預測每個關(guān)鍵點的顯著不確定性σi。檢測網(wǎng)絡(luò)的輸出為M個包含相應(yīng)的顯著不確定性的關(guān)鍵點和包含注意力特征圖的聚類{F1,…，F(xiàn)M}。最后不使用非極大值抑制（NMS）直接選出具有低顯著不確定性的關(guān)鍵點。
 
 
 
3.2 描述子
描述子的網(wǎng)絡(luò)架構(gòu)詳見圖1的最后一行。描述網(wǎng)絡(luò)的輸入是來自檢測網(wǎng)絡(luò)的隨機膨脹聚類{F1,…,FM}和注意力特征圖。每簇Fi首先進入共享MLP提取出每個附近點單獨的特征，之后通過最大池化層獲得簇的Cf維整體特征。將整體特征和附近點單獨特征以及注意力特征圖結(jié)合，送入帶有最大池化層的共享MLP，獲得d維描述子。從檢測網(wǎng)絡(luò)中獲得的注意力特征圖極大提升了描述子的性能，對此我們將在后文的消融研究中進行詳細闡述。
 
3.3 損失
將原始點云和目標點云分別記為S、T，其中的關(guān)鍵點分別記為XS、XT，相應(yīng)的顯著不確定性記為ΣS、ΣT，描述子記為QS、QT。相對旋轉(zhuǎn)矩陣R和平移向量t的真值也已知。在檢測器訓練過程中，我們采用了USIP[16]的似然倒角損失和點對點損失。似然倒角損失用來最小化原始點云和目標點云中關(guān)鍵點的距離，而點對點損失用來限制關(guān)鍵點與初始點云的距離。關(guān)于似然倒角距離和點對點距離的詳細信息，可以參考[16]。
匹配損失  我們定義了匹配損失用來在弱監(jiān)督情況下訓練描述子。3DFeatNet中使用三元組損失根據(jù)點云間距離而不是關(guān)鍵點之間的幾何距離，采樣正負描述子對。與3DFeatNet不同，匹配損失是一種用于估計描述子間相似性的軟分類策略。對于每個來自原始點云的關(guān)鍵點∈XS和相應(yīng)的描述子屬于qiS∈QS，所有目標關(guān)鍵點描述子間的距離可以計算得到，記為diS={di1S，…，dijS ，…，diMS },其中dijS=||qiS-qiT||22。匹配的分數(shù)向量記為siS={si1S，…，sijS，…，siMS}，可通過下式進行計算。
 
其中t是用于銳化匹配分數(shù)分布的溫度參數(shù)。相應(yīng)的關(guān)鍵點可通過所有目標關(guān)鍵點的加權(quán)和計算得到。
 
軟分類是最近鄰搜索在描述子上的近似可導形式。顯而易見的是，原始關(guān)鍵點與目標關(guān)鍵點之間的描述子相似性越高，匹配分數(shù)也就越高。當t—>0時，軟分類將退化為確定的最近鄰搜索。當然我們也能依賴軟分類策略確定每個目標關(guān)鍵點對應(yīng)的原始關(guān)鍵點。根據(jù)每個關(guān)鍵點的顯著不確定性σi∈Σ，我們引入了關(guān)鍵點的權(quán)重。
 
 其中σmax是顯著不確定性預設(shè)的上界。最后的匹配損失用于最小化對應(yīng)關(guān)鍵點之間的距離，可通過下式進行計算。
 
 
 很明顯可以看出來，為了最小化匹配損失，軟分類將選擇空間中更為靠近的點作為匹配點，從而使匹配描述子更加相似。除此之外，關(guān)鍵點權(quán)重的引入使得具有低顯著不確定性的關(guān)鍵點在匹配損失中有更高的權(quán)重。
4 試驗結(jié)果
4.1 實驗設(shè)置
數(shù)據(jù)集 我們使用了兩個大規(guī)模的戶外場景激光雷達數(shù)據(jù)集來評估RSKDD-Net，分別是KITTI Odometry數(shù)據(jù)集[37]（KITTI數(shù)據(jù)集）和Ford Campus Vision and Lidar數(shù)據(jù)集（Ford數(shù)據(jù)集）。KITTI數(shù)據(jù)集提供了11組帶有真值的車輛位姿序列，我們使用00序列進行訓練，01序列進行驗證，其他序列用于測試（由于08序列的車輛位姿真值存在較大錯誤，我們不使用該序列）。包含兩個序列的Ford數(shù)據(jù)集僅用于測試。訓練時，將當前點云與其后第十個點云作為一個訓練對，測試時，將當前點云與前后連續(xù)5幀作為測試數(shù)據(jù)。因而我們可以在KITTI和Ford數(shù)據(jù)集中構(gòu)建超過100000個測試對。
評估指標  我們采用和3DFeatNet[17]和USIP[16]中一樣的評估指標來評價關(guān)鍵點檢測器和描述子，也就是重復性、準確性和配準性能。
USIP中引入了重復性用于評價被檢測關(guān)鍵點的穩(wěn)定性?？紤]到原始點云和目標點云間的真值的轉(zhuǎn)換，如果原始點云中的一個關(guān)鍵點到目標點云中最近關(guān)鍵點的距離小于距離的閾值εr，那么這個關(guān)鍵點就是可重復的。重復性指的是所有被檢測點云中可重復的關(guān)鍵點所占的比例。
3DFeatNet中使用準確性來一同評估關(guān)鍵點檢測器和描述子。對于一個原始關(guān)鍵點，我們通過描述子的最近鄰搜索算法找到對應(yīng)的目標點云。同時，目標點云中對應(yīng)的關(guān)鍵點真值可以通過真值轉(zhuǎn)換得到。如果和在距離閾值εp內(nèi)，那么認為存在有效的相似性。準確性被定義為具有有效相似性的關(guān)鍵點所占的比例。
 
 
配準性能通過RANSAC算法進行計算。根據(jù)3DFeatNet，RANSAC的迭代次數(shù)需要達到99%的置信度，上限為10000。與3DFeatNet一樣，我們也使用相對位移誤差（RTE）和相對旋轉(zhuǎn)誤差（RRE）進行評估。如果RTE<2m且RRE<5°，則認為配準成功。除此之外，我們也計算了RANSAC算法的平均內(nèi)點比例和迭代次數(shù)。
基線算法  我們將我們的方法與三個手工設(shè)計的三維關(guān)鍵點檢測器ISS[4]、Harris-3D[6]和SIFT-3D[5]，手工設(shè)計的關(guān)鍵點描述子FPFH[8]和兩個基于深度學習的三維關(guān)鍵點探測器和描述子：3DFeatNet[17]和USIP[16]進行比較。對于手工設(shè)計的探測器和描述子我們使用了PCL中的實現(xiàn)版本。對于USIP，我們使用了提供的源碼，但由于描述子預訓練模型的缺失，在KITTI數(shù)據(jù)集上進行了重新訓練。對于3DFeatNet，我們直接使用了預訓練模型并在KITTI和Ford數(shù)據(jù)集上進行了測試。除此以外，我們也對隨機采點的重復性進行了評價以作參考。對于在其他手工設(shè)計的描述子上進行的實驗，請參考我們的補充材料。
實現(xiàn)細節(jié)  在預處理過程中，我們首先用0.1m網(wǎng)格的體素濾波器對輸入點云進行下采樣，并根據(jù)USIP將每個點的表面法線和曲率作為額外特征。之后從下采樣的點云中隨機采樣16384個點作為輸入點云。膨脹率設(shè)為2，附近點的數(shù)量設(shè)為128。網(wǎng)絡(luò)的實現(xiàn)基于PyTorch[40]，使用SGD作為優(yōu)化器，學習率為0.001，動量為0.9，匹配損失中的溫度參數(shù)t為0.1。我們分為兩個階段訓練網(wǎng)絡(luò)，首先通過似然倒角損失和點對點損失訓練檢測網(wǎng)絡(luò)，之后在訓練好的檢測網(wǎng)絡(luò)的基礎(chǔ)上通過匹配損失訓練描述網(wǎng)絡(luò)，同時也會對檢測網(wǎng)絡(luò)進行微調(diào)。網(wǎng)絡(luò)在NVIDIA GeForce 1080Ti上進行訓練，在裝有Intel i7-9750H和NVIDIA GeForce RTX 2060的電腦上進行評估。
4.2 評估
效率  我們在KITTI數(shù)據(jù)集上評估了RSKDD-Net和另外兩個基于深度學習的方法，運算時間見表1。表1的第一行為輸入點的個數(shù)，第二行為關(guān)鍵點的個數(shù)。由于隨機采樣策略和不需要提前進行顯著性估計，我們的方法相較于另外兩個，效率有了極大地提升?？梢钥吹?，3DFeatNet和USIP的運算時間分別受到輸入點個數(shù)和關(guān)鍵點個數(shù)的影響。相較而言，RSKDD-Net的運算時間受輸入點和關(guān)鍵點個數(shù)影響較小。值得注意的是，在從16384個點中檢測512個關(guān)鍵點的過程中，我們的方法比USIP和3DFeatNet快30倍以上。
表1：運算時間（ms）
 
重復性  我們計算了0.5m的距離閾值下128、256和512個關(guān)鍵點的重復性。除此之外，我們也計算了不同距離閾值下512個關(guān)鍵點的重復性以作參考。結(jié)果見圖3。從結(jié)果可以看出，在128和512個關(guān)鍵點上，RSKDD-Net的重復性以巨大的差距遠超其他方法。值得一提的是，0.5m距離閾值下512個關(guān)鍵點的情況下，RSKDD-Net的重復性超出USIP約20%，這說明我們選擇的關(guān)鍵點具有高的穩(wěn)定性。
圖3：（a）和（b）：不同個數(shù)關(guān)鍵點的重復性。（c）和（d）不同距離閾值的重復性
 
準確性  我們在不同距離閾值下評估了512個關(guān)鍵點的準確性以及在1.0m的距離閾值下評估了不同個數(shù)關(guān)鍵點的準確性。從圖4的結(jié)果可以看出，RSKDD-Net在兩種情況下都比其他方法的準確度高。我們注意到，RSKDD-Net在KITTI數(shù)據(jù)集上的表現(xiàn)優(yōu)于Ford數(shù)據(jù)集，可能的原因是KITTI數(shù)據(jù)集上的點云更加結(jié)構(gòu)化，因而可以依賴更多的幾何信息來檢測關(guān)鍵點。
圖4：（a）和（b）：不同個數(shù)關(guān)鍵點的準確性。（c）和（d）不同距離閾值的準確性
 
配準性能  用于評估配準性能的關(guān)鍵點的個數(shù)是512個。實驗結(jié)果見表2。從結(jié)果可以看出，相較于手工設(shè)計和其他基于深度學習的方法，我們的方法有更好的RTE。雖然RRE和成功率稍遜色于USIP，但我們的內(nèi)點比例是USIP的兩倍多，而且由于高準確性和重復性我們的平均迭代次數(shù)也遠遠低于USIP。綜合來說，我們的方法優(yōu)于其他所有方法。
表2：KITTI數(shù)據(jù)集和Ford數(shù)據(jù)集上的配準性能
 
定性可視化  我們提供了一些定性可視化結(jié)果。圖5左邊兩列展示了兩次配準結(jié)果，關(guān)鍵點的個數(shù)為512?？梢暬Y(jié)果展示了，我們設(shè)計的關(guān)鍵點檢測器和描述子所實現(xiàn)的高的內(nèi)點比例。除此以外，我們在圖5的右邊一列提供了關(guān)鍵點檢測結(jié)果的樣例。雖然我們的方法沒能準確地移除地面點，但檢測到的關(guān)鍵點自動避開了地面點，并根據(jù)平面和角等幾何信息將點連接起來。我們在補充材料中提供了更多定性可視化結(jié)果。
圖5：左邊兩張圖片是兩次配準結(jié)果，點云間的紅線代表成功匹配。右邊圖片是關(guān)鍵點檢測結(jié)果的樣例，紅色點代表被檢測到的關(guān)鍵點。
 
4.3 消融研究
我們提供了消融研究以說明隨機膨脹聚類策略、注意力特征圖和匹配損失的有效性。消融研究的所有實驗都是在KITTI數(shù)據(jù)集上進行的。重復性和準確性在128、256和512個關(guān)鍵點的條件下進行評估。重復性和準確性的距離閾值分別固定為0.5m和1.0m。
隨機膨脹聚類  我們比較了隨機膨脹聚類和DPC[31]的性能，相應(yīng)的重復性和準確性見圖6（a）和（b）。結(jié)果顯示隨機膨脹聚類策略顯著提高了網(wǎng)絡(luò)的重復性和準確性。而且其性能與DPC近似，甚至在一些場景下略微優(yōu)于DPC（例如128和512個關(guān)鍵點的準確性）。同時，我們的方法更加簡單，不需要對附近點進行分類，這將降低附近點搜索的時間復雜度。
注意力特征圖  為了說明注意力特征圖在描述網(wǎng)絡(luò)學習過程中的有效性，我們在描述網(wǎng)絡(luò)中移除了注意力特征圖并評估了準確性。結(jié)果見圖6（c）。從結(jié)果可以看出，注意力特征圖的引入使得準確性大大提升。在引入注意力特征圖的情況下，不同個數(shù)的關(guān)鍵點的準確性均提升了大約0.1。
匹配損失  我們將匹配損失與3DFeatNet的三元組損失進行了比較。根據(jù)3DFeatNet，我們基于兩點云間距離采樣了正負點云對，同時顯著不確定性也包含在三元組損失中。之后將匹配損失替換為三元組損失，并重新進行訓練。兩個損失函數(shù)導致的準確性變化見圖6（d）。從實驗結(jié)果可以看出，在其他條件不變的情況下，匹配損失遠遠優(yōu)于3DFeatNet的三元組損失。值得注意的是，包含匹配損失的網(wǎng)絡(luò)的準確性是三元組損失的兩倍。除此之外，我們也對匹配損失中的溫度系數(shù)t和權(quán)重進行了實驗。正如圖6（e）所示，t=0.5時的準確性明顯低于另外兩個，這是由于在溫度系數(shù)t較大的時候，軟分類的近似效果不好導致的。當t<0.1時，性能不會有明顯地改變。從圖6（f）可以看出，匹配損失中權(quán)重的引入提升了描述子的性能。
圖6：（a）不同膨脹策略的重復性（b）不同膨脹策略的準確性（c）有無注意力特征圖情況下的準確性（d）匹配損失和三元組損失的準確性（e）不同溫度參數(shù)t的準確性（f）有無權(quán)重情況下的準確性
 
 
5 結(jié)論
本文設(shè)計了一種基于深度學習的方法，用以在大規(guī)模點云中同時檢測關(guān)鍵點和生成描述子。本文設(shè)計的RSKDD-Net達到了當前最優(yōu)水平，且擁有極快的推理速度。為了克服隨機采樣的缺點，提出了隨機膨脹聚類策略和注意力機制來分別擴大感受野和匯總位置和特征。本文采用了基于匹配損失的軟分類以便描述網(wǎng)絡(luò)能夠在弱監(jiān)督的情況下進行訓練。大量的實驗結(jié)果說明了RSKDD-Net以巨大的優(yōu)勢在重復性、準確性和配準性能上優(yōu)于其他現(xiàn)存的方法。
廣泛影響
RSKDD-Net提供了有效的框架，用于在針對大規(guī)模點云配準中檢測關(guān)鍵點和生成描述子。這個方法極有可能應(yīng)用在自動駕駛的定位和建圖部分，以降低點云配準的計算量，來推動自動駕駛的發(fā)展。自動駕駛能夠降低人類駕駛員的工作負擔和交通事故的發(fā)生率，但也有可能導致交通事故責任難以劃分和人類駕駛員的失業(yè)。除此之外，我們的方法也可以用于無人機上，然而應(yīng)用于軍事領(lǐng)域的無人機，有可能對人類生命安全造成威脅。因此我們應(yīng)該將它推廣到對人類有益的領(lǐng)域去，例如推動自動駕駛的發(fā)展以提高生活質(zhì)量和降低交通事故的發(fā)生以保護人身安全。
致謝與資金來源
本作受到中國國家自然科學基金（No.61906138）、歐盟地平線2020科研框架特定撥款協(xié)議No.945539（人類大腦計劃SGA3）和2018年度上海市人工智能創(chuàng)新發(fā)展專項資金資助。同時我們也十分感謝與李國豪的有益討論。
參考文獻
 
 
 
 
 
 
 
END
 
聯(lián)系人：唐老師  
電話：021-69589116
郵箱：20666028@#edu.cn 
分享到：
 
反對 0 舉報 0 收藏 0 評論 0
滬ICP備11026917號-25