為了提高自動駕駛的安全性，科研人員開發(fā)了一種系統(tǒng)，該系統(tǒng)可以感知地面陰影的微小變化，以確定拐角處是否有移動物體。將來，無人駕駛汽車可以使用該系統(tǒng)來避免與從建筑物拐角處或停放的汽車之間出現(xiàn)的另一輛汽車或行人發(fā)生潛在的碰撞。也可以在諸如醫(yī)院等場景的走廊上導航，使機器人更加安全的運送藥物以免撞人。這項研究由豐田研究院TRI贊助，麻省理工MIT主導。

為了提高自動駕駛的安全性，MIT的工程師開發(fā)了一種系統(tǒng)，該系統(tǒng)可以感知地面陰影的微小變化，從而確定拐角處是否有移動物體。





2019年11月4日-8日，在中國澳門舉辦的國際智能機器人與系統(tǒng)國際會議（International Conference on Intelligent Robots and Systems, IROS）上，研究人員發(fā)表的一篇論文中“Infrastructure-free NLoSObstacle Detection for Autonomous Cars”，詳細描述了在車庫周圍的駕駛自動駕駛汽車和在走廊上導航的自動輪椅的成功實驗。當實驗智能體感應到并做出相應的“停車”動作的情況下，該系統(tǒng)的實驗效果擊敗了傳統(tǒng)的LiDAR。LiDAR只能檢測可見物體，且檢測及相應時間比該系統(tǒng)長半秒。研究人員評價，雖然這時間看似很短暫，但是在在快速移動的自動駕駛汽車上卻十分關鍵。

基本原理簡介

這系統(tǒng)用于發(fā)現(xiàn)角落附近即將出現(xiàn)的容易碰撞的物體，是在早前開發(fā)的一種名為“影子攝像頭”(ShadowCam)的基礎上改進實現(xiàn)的。該系統(tǒng)可以捕獲從外面進來的光線的反射光，然后將其進行處理，計算出物體的3D模型。該系統(tǒng)沒有使用激光掃描儀或x射線技術，而是使用視頻攝像機聚焦于一個非常特定的區(qū)域，即兩條垂直的道路或路徑相交的地方。為了實現(xiàn)這一目的，該系統(tǒng)需要一個特殊的攝像頭，包括激光和其他硬件。所以，該系統(tǒng)也不可避免地增加自動駕駛汽車的成本。據(jù)介紹，該系統(tǒng)使攝像頭捕捉一系列的視頻幀，在記錄車輛行駛狀態(tài)的同時，可以在不同照明條件下，幀到幀地智能地處理和分析陰影的存在和變化，它還可以使用這些信息來預測一個隱藏在角落里的物體的位置和速度。該系統(tǒng)給自動駕駛汽車足夠的時間來減速或在必要時候采取完全停止的決策。截止目前，研究人員只在車前燈關閉的停車場和自動駕駛電動輪椅的走廊里測試過它。雖然在試驗中，該系統(tǒng)的性能好于基于LiDAR的系統(tǒng)，但是該系統(tǒng)仍有很多不足，尚且不能使用在諸如高速公路或者鄉(xiāng)間小路上。若想讓該系統(tǒng)適應更多的環(huán)境，還需要相當數(shù)量的訓練以識別并判斷現(xiàn)實世界中不斷變化的照明條件，以及復雜光照條件下陰影在路面投射的不同形態(tài)。

“對于周圍有其他移動物體或人的環(huán)境中移動的應用程序，我們的方法可以向智能體發(fā)出預警，提醒有人即將來臨，因此車輛可以減速，調整路徑并提前做好準備，以避免發(fā)生碰撞。”研究人員稱，“最大的夢想就是為在街上快速行駛的車輛提供這種服務。”

ShadowCam擴展閱讀

這項工作是建立在他們稱為“ShadowCam”的系統(tǒng)上，該系統(tǒng)使用計算機視覺技術來檢測和分類地面陰影的變化。麻省理工學院的教授威廉·弗里曼（William Freeman）和安東尼奧·托拉爾巴（Antonio Torralba）合作開發(fā)了該系統(tǒng)的早期版本，該版本在2017年和2018年的會議上發(fā)布并進行了介紹。

對于輸入，ShadowCam使用來自攝像機的視頻幀序列，這些攝像頭針對特定區(qū)域，例如拐角處的地板。它可以檢測不同圖像之間光強度隨時間的變化，這些變化表明某些物體在移開或靠近。這些很難檢測或用肉眼看不見的變化，可以由對象和環(huán)境的各種屬性確定。ShadowCam計算該信息，并將每個圖像分類為包含靜止的對象或動態(tài)的運動對象。如果系統(tǒng)判定該對象為動態(tài)的運動對象，便會做出相應的反應。

ShadowCam適應自動駕駛汽車需要進一步優(yōu)化。例如，早期版本依賴于用稱為“AprilTags”的增強現(xiàn)實標簽來襯砌區(qū)域，該標簽類似于簡化的QR碼。智能體掃描AprilTags來檢測和計算相對于標簽的精確3D位置和方向。ShadowCam將標簽用作環(huán)境的特征，以在可能包含陰影的特定像素補丁上歸零。但是，使用AprilTags修改現(xiàn)實環(huán)境是不切實際的。



研究人員開發(fā)了一種結合了圖像配準和新的視覺測距技術的新方法。圖像配準通常在計算機視覺中使用，本質上會覆蓋多個圖像，以揭示圖像中的變化。

研究人員專門采用“直接稀疏測距法”（DSO），它可以在類似于AprilTags捕獲的環(huán)境中計算特征點。本質上，DSO在3D點云上繪制環(huán)境的特征，然后計算機視覺管道僅選擇位于感興趣區(qū)域（感興趣的區(qū)域是事先手動注釋的，例如拐角處的地板）的特征。

由于ShadowCam會獲取感興趣區(qū)域的輸入圖像序列，因此它使用DSO圖像配準方法來覆蓋智能體同一視點上的所有圖像。即使智能體在移動，它也可以將陰影精確定位在相同的像素點上，以幫助檢測圖像之間的細微偏差。

接下來是信號放大。包含陰影的像素的顏色增強，從而降低了信噪比。這使得來自陰影變化的極其微弱的信號更容易被檢測到。如果增強后的信號達到某個閾值（部分基于其與附近其他陰影的偏離程度），ShadowCam會將圖像分類為“動態(tài)”。根據(jù)該信號的強度，系統(tǒng)可能會告訴機器人減速或停止。

無標簽測試。在一項測試中，研究人員使用AprilTags和新的基于DSO的方法評估了系統(tǒng)在對移動或靜止物體進行分類方面的性能。當人類將拐角變成輪椅的路徑時，自動輪椅轉向各個走廊的拐角。兩種方法均達到了70％的相同分類精度，這表明不再需要AprilTags。

在一項單獨的測試中，研究人員在停車場的自動駕駛汽車中安裝了ShadowCam，該汽車的前大燈被關閉，模仿了夜間駕駛條件。他們將汽車檢測時間與LiDAR進行了比較。在一個示例場景中，ShadowCam檢測到汽車繞柱轉彎的速度比LiDAR快0.72秒。此外，由于研究人員已針對ShadowCam專門針對車庫的照明條件進行了調整，因此該系統(tǒng)的分類精度約為86％。

接下來，研究人員正在進一步開發(fā)該系統(tǒng)，以在不同的室內和室外照明條件下工作。將來，可能還會有一些方法可以加快系統(tǒng)的陰影檢測速度，并自動為陰影感應標注目標區(qū)域。