道路標(biāo)線檢測(cè) —— 在自動(dòng)駕駛中，道路標(biāo)線檢測(cè)自然是任何傳感系統(tǒng)的一個(gè)關(guān)鍵組成部分。車道邊界檢測(cè)（示例見圖 3）在汽車計(jì)算機(jī)視覺行業(yè)已被充分理解，它屬于最早出現(xiàn)的汽車計(jì)算機(jī)視覺產(chǎn)品之一，不過，鑒于近期自動(dòng)駕駛的發(fā)展背景，它仍是活躍的研究課題 ?；蛟S不那么明顯但同樣重要的是自動(dòng)泊車系統(tǒng)中停車標(biāo)線的檢測(cè)。在視覺方面，車道標(biāo)線檢測(cè)可以通過圖像俯視圖校正、邊緣提取以及霍夫空間分析來檢測(cè)標(biāo)線及標(biāo)線對(duì)。圖 4 給出了采用類似方法得出的結(jié)果示例，該示例是使用水平視場(chǎng)角為 190° 的停車攝像頭采集的數(shù)據(jù)。同一批作者還提出了一種不同的方法，該方法基于手動(dòng)確定的種子點(diǎn)輸入，隨后應(yīng)用結(jié)構(gòu)分析技術(shù)來提取停車位?；蛘撸墨I(xiàn)中提出了一種基于預(yù)訓(xùn)練模型的方法，該方法基于方向梯度直方圖（HOG）和局部二值模式（LBP）特征，并應(yīng)用線性支持向量機(jī)（SVM）來構(gòu)建分類模型。無論采用何種具體方法，很明確的一點(diǎn)是，從高速公路駕駛到泊車，道路標(biāo)線檢測(cè)對(duì)于一個(gè)完整的自動(dòng)駕駛系統(tǒng)來說都是必不可少的。

圖3.道路標(biāo)記檢測(cè)的示例

圖4：停車位標(biāo)志識(shí)別示例

2.3.2.深度學(xué)習(xí)

在過去的5年里，計(jì)算機(jī)視覺技術(shù)迅速發(fā)展，以深度學(xué)習(xí)，特別是卷積神經(jīng)網(wǎng)絡(luò)（CNN）是其核心。cnn已經(jīng)大幅提高了目標(biāo)檢測(cè)的準(zhǔn)確性，從而提高了對(duì)自動(dòng)駕駛的感知能力。它還通過語(yǔ)義分割實(shí)現(xiàn)了密集的像素分類，這在之前是不可行的。此外，cnn在幾何視覺算法如光流、移動(dòng)目標(biāo)檢測(cè)、運(yùn)動(dòng)結(jié)構(gòu)、重新定位、污染檢測(cè)[61]和聯(lián)合多任務(wù)模型等方面取得了最先進(jìn)的結(jié)果。CNN的快速進(jìn)展使得硬件制造商包括了一個(gè)定制的硬件，以提供超過每秒10個(gè)Tera操作的高吞吐量（TOPS）。此外，下一代硬件將有密集的光流和立體聲硬件加速器，以實(shí)現(xiàn)對(duì)移動(dòng)和靜態(tài)物體的通用檢測(cè)。

語(yǔ)義圖像分割在深度學(xué)習(xí)方面取得了巨大的進(jìn)展。語(yǔ)義分割的目標(biāo)是將圖像分割成有意義的部分。它已被用于機(jī)器人技術(shù)、醫(yī)療應(yīng)用、增強(qiáng)現(xiàn)實(shí)和最顯著的自動(dòng)駕駛。圖5展示了在自動(dòng)駕駛設(shè)置中的語(yǔ)義分割輸出的一個(gè)示例。所開發(fā)的工作主要有三個(gè)子類別。第一個(gè)使用補(bǔ)丁式訓(xùn)練來產(chǎn)生最終的分類。第二個(gè)子類主要關(guān)注像素級(jí)分類的端到端學(xué)習(xí)。它始于在中開發(fā)完全卷積網(wǎng)絡(luò)的工作。最后，在中的工作主要集中在多尺度語(yǔ)義分割上。

圖 5. 典型汽車場(chǎng)景的語(yǔ)義分割

如前文所述，幾何計(jì)算機(jī)視覺任務(wù)是自動(dòng)駕駛（AD）系統(tǒng)的重要組成部分。具體而言，我們指的是多視圖幾何算法，它能從多幅圖像中估算相對(duì)運(yùn)動(dòng)和深度。自動(dòng)駕駛的視覺感知深受這些幾何應(yīng)用（如光流 ]、運(yùn)動(dòng)恢復(fù)結(jié)構(gòu) 、視覺里程計(jì)、同時(shí)定位與地圖構(gòu)建（SLAM））精度的影響。幾十年來，計(jì)算機(jī)視覺領(lǐng)域一直在深入研究使用經(jīng)典方法來實(shí)現(xiàn)這些算法。然而，基于深度學(xué)習(xí)的方法在這些算法中開始嶄露頭角。深度學(xué)習(xí)在目標(biāo)檢測(cè)和分割方面發(fā)揮了重要作用，并且已成為自動(dòng)駕駛的一種成熟解決方案。近來，僅通過使用卷積神經(jīng)網(wǎng)絡(luò)（CNN）模型而不結(jié)合幾何結(jié)構(gòu)，深度學(xué)習(xí)就已成為諸如光流和深度估算等特定任務(wù)的前沿方法。也有人嘗試將 CNN 用于視覺 SLAM、視覺里程計(jì)和校準(zhǔn)。運(yùn)動(dòng)估計(jì)涵蓋了密集光流估計(jì)和運(yùn)動(dòng)物體分割。圖 6 展示了一種用于計(jì)算密集光流的幾何深度學(xué)習(xí)算法。深度估計(jì)是自動(dòng)駕駛中的一項(xiàng)關(guān)鍵算法，用于相對(duì)于車輛對(duì)汽車周圍識(shí)別出的物體進(jìn)行定位，我們會(huì)研究有監(jiān)督、無監(jiān)督或半監(jiān)督的方法。原則上，CNN 學(xué)習(xí)算法應(yīng)該能夠?qū)W習(xí)對(duì)算法關(guān)鍵性能指標(biāo)（KPI）而言最優(yōu)的必要變換。然而在實(shí)踐中，有大量的經(jīng)驗(yàn)證據(jù)表明，納入已知的變換作為歸納偏置能提升性能。

圖 6. 用于計(jì)算密集光流的幾何深度學(xué)習(xí)算法示意圖

2.4. 討論計(jì)算機(jī)視覺在車輛自動(dòng)化中起著非常重要的作用，它為車輛提供大量環(huán)境信息，以便車輛做出至關(guān)重要的輔助決策，更重要的是做出關(guān)乎安全的關(guān)鍵決策。顯然，對(duì)于基于傳統(tǒng)方法和基于深度學(xué)習(xí)的功能而言，圖像本身作為這些功能唯一的原始傳感器輸入，對(duì)于達(dá)到更高自動(dòng)化水平所要求的魯棒性、可用性和準(zhǔn)確性至關(guān)重要。邁向更高車輛自動(dòng)化水平的趨勢(shì)正推動(dòng)著所有計(jì)算機(jī)視覺功能的性能要求提升。無論是基于傳統(tǒng)方法還是基于深度學(xué)習(xí)的計(jì)算機(jī)視覺功能，其像素級(jí)處理階段都依賴于圖像輸入的保真度。無論采用何種方法從圖像中提取特征級(jí)數(shù)據(jù)，無論是傳統(tǒng)的特征提取還是編解碼器神經(jīng)網(wǎng)絡(luò)中的編碼器，只有當(dāng)所提供的圖像能準(zhǔn)確呈現(xiàn)所拍攝的場(chǎng)景時(shí)，提取出的諸如點(diǎn)、邊緣、角點(diǎn)、斑點(diǎn)或紋理等特征才是可靠的。如前文所述，圖像生成的這種準(zhǔn)確性可能與人類觀察者所感知的視覺質(zhì)量不一致。計(jì)算機(jī)視覺理想的圖像表示形式是，能為所有場(chǎng)景結(jié)構(gòu)（幾何結(jié)構(gòu)、紋理、顏色、反射率等）提供充足、一致且可重復(fù)的對(duì)比度，且不受光照、溫度、環(huán)境條件以及場(chǎng)景結(jié)構(gòu)的影響，然而，由于存在大量無法測(cè)量、難以建?；蛟诋?dāng)今成像硬件上無法準(zhǔn)確重現(xiàn)的系統(tǒng)及場(chǎng)景變量，這一目標(biāo)無法實(shí)現(xiàn)。一些在像素層面影響特征提取的重要圖像特性包括圖像壓縮、模糊 / 銳化、對(duì)比度、噪聲、色彩壓縮，本研究對(duì)其中部分特性進(jìn)行了探究。雖然這些圖像特性并非完全由圖像信號(hào)處理器（ISP）控制，但它卻對(duì)這些特性在生成圖像中的存在情況、權(quán)重以及影響有著重大影響。盡管近期有研究探討了其中部分圖像特性對(duì)計(jì)算機(jī)視覺性能的影響 ，也有其他研究提出了針對(duì)移動(dòng)應(yīng)用進(jìn)行圖像信號(hào)處理器調(diào)優(yōu)或適配的可能性 ，但針對(duì)汽車應(yīng)用的影響及相關(guān)問題的研究卻寥寥無幾（如果有的話）。