色彩插值 —— 將傳感器通常使用拜耳彩色濾光片陣列（CFA）采集到的原始色彩數(shù)據(jù)轉(zhuǎn)換為彩色 RGB 圖像。這個(gè)過程也被稱為去馬賽克 。去馬賽克是任何 ISP 中最關(guān)鍵的操作之一。調(diào)制傳遞函數(shù)（MTF）和圖像噪聲都會(huì)直接受到去馬賽克操作的影響。去馬賽克還可能引入許多圖像偽影。例如，邊緣處的拉鏈 / 階梯狀偽影以及高頻圖案中的混疊 / 假色現(xiàn)象。通過使用更復(fù)雜的去馬賽克濾波器，許多這類影響可以得到緩解。通常在計(jì)算負(fù)荷和圖像質(zhì)量之間存在權(quán)衡。噪聲的引入，特別是水平和垂直邊緣噪聲，可能導(dǎo)致基于強(qiáng)垂直和水平圖像梯度的特征提取出現(xiàn)錯(cuò)誤。重復(fù)的邊緣效應(yīng)，如階梯狀偽影，可能導(dǎo)致錯(cuò)誤的特征提取和匹配，以及沿邊緣而不是沿運(yùn)動(dòng)方向產(chǎn)生錯(cuò)誤的光流。

邊緣增強(qiáng) —— 這一處理模塊用于增強(qiáng)邊緣，通常是為了讓圖像在人類觀察者看來更加清晰。然而，過度的邊緣增強(qiáng)可能會(huì)引入諸如高對(duì)比度邊緣周圍出現(xiàn)光暈之類的偽影，還會(huì)加重噪聲。過度的邊緣增強(qiáng)會(huì)通過增強(qiáng)噪聲以及在銳化邊緣的過沖和下沖處人為制造重復(fù)邊緣，對(duì)基于梯度的算法產(chǎn)生負(fù)面影響。

色彩校正矩陣 —— 校正相鄰傳感器像素之間的串?dāng)_。串?dāng)_是一種像素級(jí)現(xiàn)象，即一個(gè)像素的色彩信息會(huì)污染相鄰像素。它本質(zhì)上可以是光學(xué)或電學(xué)方面的問題。需要進(jìn)行色彩校正來修正與串?dāng)_相關(guān)的色彩不準(zhǔn)確問題。在某些情況下，色彩校正也可能引入或加劇色彩噪聲。當(dāng)色調(diào)之間存在明顯不匹配，需要進(jìn)行高強(qiáng)度數(shù)字校正時(shí)，就會(huì)出現(xiàn)這種情況。噪聲增加以及色彩不準(zhǔn)確都有可能對(duì)機(jī)器視覺性能產(chǎn)生負(fù)面影響。

亮度 / 對(duì)比度調(diào)整 —— 該模塊的具體實(shí)現(xiàn)細(xì)節(jié)差異很大，但關(guān)鍵目標(biāo)是增強(qiáng)圖像對(duì)比度并對(duì)圖像亮度進(jìn)行數(shù)字調(diào)整。典型的對(duì)比度增強(qiáng)算法包括直方圖拉伸、直方圖均衡化、局部和全局對(duì)比度調(diào)整算法（例如，對(duì)比度受限的自適應(yīng)直方圖均衡化，CLAHE）等。對(duì)比度增強(qiáng)可以改善不同灰度級(jí)之間的對(duì)比度區(qū)分度。這對(duì)機(jī)器視覺性能可能是有利的。然而，過度的對(duì)比度增強(qiáng)會(huì)加重噪聲并降低信噪比，從而對(duì)計(jì)算機(jī)視覺性能產(chǎn)生負(fù)面影響。針對(duì)人類視覺和機(jī)器視覺目的的亮度和對(duì)比度調(diào)節(jié)可能是相互對(duì)立的。

伽馬校正 —— 伽馬校正模塊對(duì)不同光照水平下的對(duì)比度進(jìn)行不同的調(diào)整，以增強(qiáng)特征的顯著性。伽馬校正對(duì)于觀看應(yīng)用至關(guān)重要。如果沒有伽馬校正，就需要更高的圖像位深度來避免可見的色調(diào)分離現(xiàn)象。對(duì)于機(jī)器視覺應(yīng)用而言，其影響不太明確。陰影細(xì)節(jié)的對(duì)比度會(huì)被增強(qiáng)，但高光部分的對(duì)比度會(huì)被壓縮。例如，這可能會(huì)對(duì)交通標(biāo)志識(shí)別或前照燈檢測(cè)算法產(chǎn)生潛在的不利影響。

2.3. 用于汽車應(yīng)用的計(jì)算機(jī)視覺算法
2.3.1. 經(jīng)典計(jì)算機(jī)視覺當(dāng)我們提及經(jīng)典計(jì)算機(jī)視覺（CV）時(shí)，指的是在不使用深度學(xué)習(xí)方法的情況下，實(shí)現(xiàn)人類視覺系統(tǒng)通常能夠執(zhí)行的任務(wù)自動(dòng)化的過程。深度學(xué)習(xí)（將在下一節(jié)介紹）可被視為現(xiàn)代計(jì)算機(jī)視覺中的一個(gè)子領(lǐng)域，因?yàn)樗杆俪蔀閹缀跛杏?jì)算機(jī)視覺任務(wù)的前沿技術(shù)。

在自動(dòng)駕駛的情況下，計(jì)算機(jī)視覺的多個(gè)子領(lǐng)域被用于提取車輛周圍環(huán)境的信息，包括重建、物體識(shí)別、三維姿態(tài)估計(jì)、機(jī)器學(xué)習(xí)以及運(yùn)動(dòng)估計(jì)。以下部分簡(jiǎn)要介紹兩種常用于自動(dòng)駕駛功能的傳統(tǒng)計(jì)算機(jī)視覺技術(shù)，即三維重建和道路標(biāo)線檢測(cè)，這些是計(jì)算機(jī)視覺用于自動(dòng)駕駛功能的示例，旨在說明可靠且準(zhǔn)確的計(jì)算機(jī)視覺輸出的重要性，進(jìn)而體現(xiàn)所處理圖像的重要性。關(guān)于用于汽車應(yīng)用的計(jì)算機(jī)視覺算法的更詳細(xì)綜述見文獻(xiàn) 。

三維重建 —— 三維重建是指旨在獲取傳感器視場(chǎng)內(nèi)環(huán)境空間結(jié)構(gòu)表示的一組算法。在自動(dòng)駕駛背景下，它是計(jì)算機(jī)視覺用于創(chuàng)建車輛周圍環(huán)境度量地圖的主要機(jī)制。相機(jī)的深度感知技術(shù)主要有兩種類型：即立體視覺和單目視覺 ，立體相機(jī)相對(duì)于單目系統(tǒng)的主要優(yōu)勢(shì)在于即使相機(jī)不移動(dòng)也能感知深度，而單目視覺因成本較低而頗具吸引力。立體視覺通過解決每個(gè)像素的對(duì)應(yīng)問題來工作，從而實(shí)現(xiàn)從左相機(jī)圖像到右相機(jī)圖像的像素位置視差映射。距離與對(duì)應(yīng)世界點(diǎn)距相機(jī)的實(shí)際距離成正比。利用已知的相機(jī)校準(zhǔn)參數(shù)和基線，可以確定每個(gè)像素在現(xiàn)實(shí)世界中的三維位置。圖 2 展示了一個(gè)稀疏三維重建的示例。

圖 2. 三維重建的重投影及俯視圖

單目系統(tǒng)也具備感知深度的能力，不過，需要相機(jī)運(yùn)動(dòng)來為場(chǎng)景重建創(chuàng)建基線。這種場(chǎng)景重建方法被稱為運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)（SFM）。圖像中的像素通過稀疏或密集光流或者特征提取與匹配技術(shù)，從一幀追蹤或匹配到下一幀。這是發(fā)生在圖像域的主要步驟，通常由諸如尺度不變特征變換（SIFT）、加速魯棒特征（AKAZE）等特征匹配算法來完成 ，而這些算法將是我們?cè)u(píng)估其對(duì)圖像信號(hào)處理器（ISP）影響的主要算法之一。經(jīng)過處理的幀之間相機(jī)的計(jì)算運(yùn)動(dòng)以及相機(jī)校準(zhǔn)，被用于對(duì)對(duì)應(yīng)點(diǎn)的世界位置進(jìn)行投影和三角測(cè)量。光束法平差是一種常用的方法，它根據(jù)一個(gè)最優(yōu)性準(zhǔn)則，同時(shí)對(duì)場(chǎng)景中估計(jì)出的三維位置以及相機(jī)的相對(duì)運(yùn)動(dòng)進(jìn)行優(yōu)化，該準(zhǔn)則涉及所有點(diǎn)的相應(yīng)圖像投影。單目深度問題已經(jīng)在教科書里被討論很長(zhǎng)時(shí)間了 。