日本无码免费高清在线|成人日本在线观看高清|A级片免费视频操逼欧美|全裸美女搞黄色大片网站|免费成人a片视频|久久无码福利成人激情久久|国产视频一二国产在线v|av女主播在线观看|五月激情影音先锋|亚洲一区天堂av

  • 手機(jī)站
  • 小程序

    汽車測試網(wǎng)

  • 公眾號

    • 汽車測試網(wǎng)

    • 在線課堂

    • 電車測試

未來自動駕駛必須解決哪些感知問題

2021-11-19 10:54:02·  來源：焉知智能汽車  作者：Jessie  
　
作者 | Jessie出品 | 焉知對于研究下一代智能汽車的系統(tǒng)設(shè)計(jì)、軟件開發(fā)而言，需要解決包含架構(gòu)設(shè)計(jì)、功能開發(fā)、車輛控制等方面的諸多問題，而以上問題的根源都在
作者 | Jessie
出品 | 焉知

對于研究下一代智能汽車的系統(tǒng)設(shè)計(jì)、軟件開發(fā)而言，需要解決包含架構(gòu)設(shè)計(jì)、功能開發(fā)、車輛控制等方面的諸多問題，而以上問題的根源都在于環(huán)境感知的能力研究。除開感知本身的硬件性能外，其軟件中的算法模型、訓(xùn)練神經(jīng)網(wǎng)絡(luò)、感知數(shù)據(jù)處理容量等都是需要重點(diǎn)解決的問題。
當(dāng)前，感知能力的開發(fā)主要包含如下過程：相機(jī)輸入-->圖像的預(yù)處理-->神經(jīng)網(wǎng)絡(luò)-->構(gòu)建分支處理結(jié)構(gòu)-->后處理-->輸出結(jié)果。其中構(gòu)建分支結(jié)構(gòu)包括紅綠燈識別、車道線識別、2D物體識別轉(zhuǎn)3D等；最終輸出的結(jié)果包括輸出物體類型、距離、速度代表被檢測物的朝向等。

當(dāng)前，所有感知問題的關(guān)鍵仍然是神經(jīng)網(wǎng)絡(luò)算法，對于域控制器處理過程能力來說，其需要重點(diǎn)考慮計(jì)算精度、實(shí)時(shí)性、算力利用率等，這是確保物體不被漏檢或誤檢的前提。其中由于感知硬件設(shè)備中輸入的超大分辨率圖像問題，涉及單目或多目攝像頭對感知輸入的處理問題都是需要重點(diǎn)關(guān)注的。此類感知任務(wù)的難點(diǎn)或者優(yōu)化方向核心主要在于如下幾個(gè)方向：
①　如何處理高分辨的輸入
②　如何提高密集小目標(biāo)檢測
③　如何解決類多目標(biāo)重疊問題
④　如何利用少量的訓(xùn)練數(shù)據(jù)解決目標(biāo)多樣性問題
⑤　如何利用單目攝像頭進(jìn)行目標(biāo)位置的精確估計(jì)

感知中的相機(jī)數(shù)據(jù)標(biāo)定
單目測距是通過光學(xué)幾何模型（即小孔成像模型）建立測試對象世界坐標(biāo)與圖像像素坐標(biāo)間的幾何關(guān)系，結(jié)合攝像頭內(nèi)、外參的標(biāo)定結(jié)果，便可以得到與前方車輛或障礙物間的距離。無論是單目攝像頭還是雙目攝像頭，在進(jìn)行數(shù)據(jù)檢測前都要進(jìn)行相機(jī)內(nèi)外參數(shù)標(biāo)定，標(biāo)定的過程是為了通過如下公式計(jì)算世界坐標(biāo)到圖像坐標(biāo)的轉(zhuǎn)化。

相機(jī)內(nèi)參標(biāo)定用于做圖像的畸變校正，外參標(biāo)定用于將多個(gè)攝像頭進(jìn)行坐標(biāo)系歸一化，將各自的坐標(biāo)原點(diǎn)移動到車輛后軸中心處。fx、fy表示相機(jī)焦距，x、y表示目標(biāo)的圖像坐標(biāo)系位置。從上述公式不難看出，相機(jī)參數(shù)的標(biāo)定結(jié)果嚴(yán)重影響對世界坐標(biāo)系圖像位置的檢測。
在實(shí)際相機(jī)搭載到車輛過程中，會有兩種標(biāo)定方式，其一是產(chǎn)線標(biāo)定，其二是實(shí)時(shí)標(biāo)定。產(chǎn)線標(biāo)定是利用標(biāo)定板中的格點(diǎn)信息進(jìn)行攝像頭的位置標(biāo)定。一般情況，可采用張正友經(jīng)典棋盤格模型進(jìn)行角點(diǎn)位置標(biāo)定，也可以采用圓點(diǎn)板圖進(jìn)行在線標(biāo)定。另外考慮到車輛運(yùn)行一段時(shí)間或者在顛簸的過程中攝像頭位置的偏移，攝像頭也會同時(shí)設(shè)定在線實(shí)時(shí)標(biāo)定模型，通過實(shí)際駕駛過程中，利用車道線消失點(diǎn)或車道線等檢測結(jié)果信息實(shí)時(shí)更新俯仰角的變化，從而優(yōu)化標(biāo)定參數(shù)。

超大分辨率圖像目標(biāo)的有效檢測
為了實(shí)現(xiàn)對大尺寸圖像目標(biāo)檢測，我們常用的方法是設(shè)置遍歷窗口，對該超大分辨率的圖像使用該平滑窗口進(jìn)行遍歷后裁剪成多個(gè)子圖，然后分別對每一個(gè)子圖進(jìn)行目標(biāo)提取，最后將所有子圖的目標(biāo)提取結(jié)果進(jìn)行拼接后進(jìn)行平滑濾波。
以當(dāng)前算力的芯片架構(gòu)設(shè)計(jì)的域控制器對超大分辨率圖像的處理邏輯是采用一定的手段進(jìn)行圖像resize?；蛘呤腔谝欢ǖ臏?zhǔn)則（如NXN的子圖網(wǎng)絡(luò)）進(jìn)行圖像下采樣，降低圖像分辨率。然而這兩種方式都有可能造成目標(biāo)漏檢。

這里需要解決兩個(gè)比較重要的問題：
1) 如何設(shè)置遍歷窗口大?。?/span>
一般采用固定尺寸大小的遍歷子圖窗口中，可能無法剛好將總圖遍歷后形成整數(shù)個(gè)子圖，這時(shí)在很多的窗口邊緣就會通過圖像泛化或膨脹來擴(kuò)充。我們在數(shù)據(jù)集上訓(xùn)練網(wǎng)絡(luò)的時(shí)候，通常需要把數(shù)據(jù)集變換到同一尺寸，但是通常的resize函數(shù)會破環(huán)圖像的縱橫比aspect ratio，而aspect ratio對于檢測的效果非常重要， 為了更好的保留圖像特征，需要對最邊緣的子圖采用letterbox的方式縮放到和遍歷子窗口相同的大小。letterbox就是在保持縱橫比的前提下對圖像做resize，先resize然后按需要在周圍pad上0像素。

2) 假設(shè)切割目標(biāo)位于大圖邊緣，將如何確保其不被截?cái)啵?/span>
需要說明的是，如果一個(gè)目標(biāo)剛好處于窗口邊緣，本身目標(biāo)所占像素就少又被截?cái)?，這時(shí)候也就容易在滑窗檢測過程中被切分成開，最終會造成其更加難以檢測。因此在滑窗裁剪的時(shí)候必須有一定的重疊區(qū)域，原因是如果一個(gè)目標(biāo)剛好處于窗口邊緣被切分成2塊，其重復(fù)部分會導(dǎo)致多個(gè)檢測框圖像都會重復(fù)出現(xiàn)同一個(gè)目標(biāo)的問題，解決的辦法就是通過將所有子圖的檢測結(jié)果合并起來采用非極大值抑制方式進(jìn)行過濾。
在目標(biāo)檢測過程中，可利用自動駕駛檢測圖像都具有旋轉(zhuǎn)不變性的特征，通過數(shù)據(jù)增廣的方式旋轉(zhuǎn)圖片生成更多形狀的物體從而緩解問題。
同時(shí)，為了盡可能多的保留原始圖像信息，一般需要將原始圖像進(jìn)行擴(kuò)大兩倍采樣，即升采樣，從而生成一組采樣圖。而為了保證后續(xù)圖像處理過程的針對性、實(shí)時(shí)性，則需要在高斯模糊后進(jìn)行降采樣，即很多時(shí)候?yàn)榱颂嵘\(yùn)算效率，往往采用大倍數(shù)的下采樣率進(jìn)行下采樣（如32倍下采樣率）在降采樣過程中需要注意的是，避免過度降采樣，因?yàn)檫^度采樣可能導(dǎo)致大分辨率下的小目標(biāo)被直接過濾掉，好的方法是減少采樣倍數(shù)，同時(shí)增加采樣網(wǎng)絡(luò)層數(shù)，這樣可以有效增加特征提取能力。

此外，在圖像中的目標(biāo)檢測任務(wù)中，都可能存在前后背景的不平衡的情況，而不同類別之間數(shù)據(jù)量可能存在較大不同，首先可以采取數(shù)據(jù)上采樣和下采樣的方式來均衡不同數(shù)據(jù)量大小；其次是采用數(shù)據(jù)增廣的手段來增加前景目標(biāo)在一張圖像中的占比；最后是通過設(shè)計(jì)代價(jià)函數(shù)調(diào)整不同目標(biāo)的檢測權(quán)重從而控制其檢測優(yōu)化等級。
3) 如何確保小目標(biāo)物體不會漏檢
大分辨率圖像中，小目標(biāo)物體檢測一直是個(gè)難點(diǎn)。一般處理方式是采用圖像金字塔進(jìn)行多尺度訓(xùn)練，一般的，特征金字塔包含了從淺層到深層的不同信息，其中淺層涉及更多的細(xì)節(jié)特征，深層網(wǎng)絡(luò)涉及更多的語義特征信息。通過對原始大圖進(jìn)行一定程度的下采樣后生成多個(gè)不同低分辨率的圖像金字塔，再對每層金字塔的淺層至深層采用不同分辨率的子圖分類器滑動可以有效的檢測到目標(biāo)。

單目視覺深度信息估計(jì)的優(yōu)化方案
當(dāng)前輔助駕駛或自動駕駛系統(tǒng)通常采用單目視覺來實(shí)現(xiàn)目標(biāo)深度估計(jì)。單目測距方式主要是通過幀間圖像匹配來實(shí)現(xiàn)目標(biāo)識別，然后通過目標(biāo)在圖像中的大小來估計(jì)目標(biāo)距離。單目測距需要將多個(gè)3D場景投影到2D場景中，而從單幅圖像中提取幾何位置坐標(biāo)不僅需要考慮局部線索，還需要考慮整個(gè)視頻幀的全局上下文。這一過程中需要使用到卷積神經(jīng)網(wǎng)絡(luò)思想，其核心在于感受野內(nèi)的局部連接、卷積狀態(tài)下的權(quán)值共享、池化層空間或時(shí)間上的下采樣。卷積神經(jīng)網(wǎng)絡(luò)在信息檢測中最大的優(yōu)勢在于具有強(qiáng)大的特征提取能力使其對局部細(xì)節(jié)的檢測能力較強(qiáng)，相反的其對全局目標(biāo)信息的檢測能力也就相對較弱。

單目視覺估計(jì)僅僅是通過光學(xué)幾何模型（即小孔成像模型）建立測試對象世界坐標(biāo)與圖像像素坐標(biāo)間的幾何關(guān)系，結(jié)合攝像頭內(nèi)、外參的標(biāo)定結(jié)果，計(jì)算得到與前方車輛或障礙物間的距離。單目視覺估計(jì)的優(yōu)勢是成本較低，系統(tǒng)結(jié)構(gòu)簡單，且對計(jì)算量的需求不高。缺點(diǎn)是識別過程中需要與龐大的數(shù)據(jù)樣本進(jìn)行匹配，不僅測距延時(shí)性大，準(zhǔn)確率也不高。這點(diǎn)上相對于雙目攝像頭直接利用視差圖進(jìn)行測距的原理存在很大的不足。
而為了彌補(bǔ)這種全局檢測能力缺陷，2017年提出采用了Transformer的檢測機(jī)制，其核心思想是注意力機(jī)制，其自帶的長距檢測特性確保了由淺到深層的檢測范圍，更好的提升全局建模能力。因此將CNN及Transformer的圖像檢測追蹤方式進(jìn)行結(jié)合，可以更好的提升車載目標(biāo)跟蹤能力。基本的框圖架構(gòu)如下圖：

如上圖，首先對輸入的三維圖像信息進(jìn)行編碼與解碼，解碼后的特征代表高分辨率和局部像素級特征。解碼后的圖像使用全局注意力來計(jì)算每個(gè)輸入圖像的單元寬度向量。該向量輸出包括兩部分：其一是定義如何為深度圖像劃分深度區(qū)間；其二是包含了對像素級深度計(jì)算有用的信息。
對于來自Transformer的輸出通過作一組二維卷積核，并與解碼特征圖進(jìn)行卷積以獲得范圍注意圖 R。其次，通過對輸入的一定大?。╤，w）的單元向量進(jìn)行卷積（卷積核pxp，卷積步長為s）計(jì)算，卷積輸出結(jié)果為h/p×w/p×s的張量。最后歸一化后可生成單位寬度向量用于對圖像進(jìn)行間距寬度b計(jì)算。
最終深度圖信息=全局信息R+局部信息b。
如上單目深度學(xué)習(xí)特征提取方法具有較好的特征提取能力，即使采用了最好的特征提取算子，也不能cover住所有的場景動態(tài)物體特征，如轎車容易誤檢為卡車。在工程開發(fā)中，可以依據(jù)現(xiàn)實(shí)場景增加一些幾何約束條件提高檢測率，降低誤檢率，（如尺寸信息，空間位置信息，運(yùn)動連貫性信息等），這樣可以訓(xùn)練一個(gè)3D檢測模型再配合后端多目標(biāo)追蹤優(yōu)化以及基于單目視覺幾何的測距方法完成功能檢測模塊。

道路場景信息檢測的精確性問題
1、可行駛區(qū)域檢測分析改進(jìn)方案
典型的視覺檢測問題可歸結(jié)為幾個(gè)大類，前述章節(jié)提到了小目標(biāo)檢測問題，對于下一代自動駕駛系統(tǒng)來說必須要解決的問題還包括可行駛區(qū)域檢測，這種檢測方式包括對車輛、路沿、無障礙物的區(qū)域進(jìn)行劃分，最后輸出自車可以通行的安全區(qū)域。

可行駛區(qū)域探測（光線充足VS夜晚）
可行駛區(qū)域的檢測實(shí)際上是一種深度學(xué)習(xí)中的語義分割的問題。深度學(xué)習(xí)中常用到的空洞卷積、池化金字塔、路徑聚合、環(huán)境編碼等都可以在其中得到很好地應(yīng)用。但是可行駛區(qū)域的檢測仍然存在較多的問題：
其一，也是最重要的就是在檢測的靜態(tài)邊界或動態(tài)障礙物邊界仍舊存在一些不確定性，這種不確定性導(dǎo)致無法對車輛的行駛狀態(tài)進(jìn)行有效的軌跡規(guī)劃和狀態(tài)決策。為了解決這類問題，可以通過配合路沿、車道線、目標(biāo)框的結(jié)果來修正語義的邊緣信息，并從矢量包絡(luò)或柵格圖中定義可行駛區(qū)域。
其二，就是可行駛區(qū)域的檢測容易出現(xiàn)數(shù)據(jù)不平衡，且這種不平衡問題往往出在訓(xùn)練階段，這一過程需要定義合理的損失函數(shù)和數(shù)據(jù)上采樣率來進(jìn)行優(yōu)化。
其三，可行駛區(qū)域探測可能由于光照、粉塵、大雪大霧等因素，需要充分結(jié)合視覺與雷達(dá)進(jìn)行障礙物探測，以確保其檢測穩(wěn)定性。
2、車道線檢測問題改進(jìn)方案
在自動駕駛視覺感知中，車道線作為橫向?qū)χ锌刂苹A(chǔ)，其檢測過程是一個(gè)最基本的需求項(xiàng)。已有眾多的車道線檢測算法被人們所開發(fā)出來，而最重要的檢測難點(diǎn)包括：
其一，車道線具有細(xì)長的形態(tài)特征，這種形態(tài)要求追蹤具備連續(xù)性，甚至包含一定的圖像拼接技術(shù)。相應(yīng)的檢測手段需要參照不同的層次劃分機(jī)制來獲取全局空間結(jié)構(gòu)關(guān)系，對于細(xì)節(jié)處的定位精度也可采用角點(diǎn)檢測的方式進(jìn)行。
其二，車道線的形態(tài)容易受到外界干擾（比如被遮擋，磨損，以及道路變化時(shí)本身的不連續(xù)性），存在較多不確定性。解決辦法是采用較強(qiáng)推測能力的算法針對邊緣情況進(jìn)行推測。
其三，在啟動駕駛輔助功能（如自動換道、車道保持期間）期間，自車會在車輪壓線過程中發(fā)生車道線左/右切換的情況。解決辦法除了設(shè)定濾波延遲外，也可以通過提前給車道線賦值固定序號的方法進(jìn)行優(yōu)化。
3、交通標(biāo)志、錐桶識別問題
自動駕駛系統(tǒng)中，諸如交通標(biāo)志、錐桶一類的小目標(biāo)識別是一類重要且亟待解決的問題。通常，處理這類問題還是采用的基礎(chǔ)神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取和泛化來cover，但是需要大量的先驗(yàn)數(shù)據(jù)庫作為支撐。
而交通標(biāo)識檢測具有一下難點(diǎn)：首先，由于交通標(biāo)志、錐桶一類都是小目標(biāo)，其檢測過程需要進(jìn)行更多的特征提取，甚至在神經(jīng)網(wǎng)絡(luò)中產(chǎn)生更多的金字塔層；其二，不同的交通標(biāo)志（如有圓形紅綠燈、箭頭形紅綠燈、倒計(jì)時(shí)紅綠燈；雪糕筒、三角錐桶、梯形錐桶等）具有不同的形態(tài)，其多樣性問題就是一個(gè)不得不解決的問題；其三，場景具有較高的復(fù)雜度，比如路口處信號燈的安裝位置，安裝方向；施工區(qū)域的錐桶起止點(diǎn)、終止點(diǎn)等。

總結(jié)
智能駕駛中的視覺感知問題一直是業(yè)界重點(diǎn)關(guān)注的問題，他不僅影響著對于后續(xù)軌跡規(guī)劃、決策控制的影響，也是整個(gè)輔助駕駛系統(tǒng)能否為更進(jìn)一步往自動駕駛上升級的關(guān)鍵。我們已經(jīng)能夠關(guān)注到相關(guān)場景識別檢測能力對整個(gè)視覺感知的需求，后續(xù)我們需要更加關(guān)注如何解決視覺感知中的場景局限性問題。
本文從視覺感知任務(wù)、能力、局限性及改善方案幾個(gè)角度出發(fā)充分說明了各個(gè)不同的解決方案路徑，在工程應(yīng)用中具備較好的實(shí)現(xiàn)價(jià)值。
分享到：
 
反對 0 舉報(bào) 0 收藏 0 評論 0
滬ICP備11026917號-25