在典型的高級駕駛輔助系統(tǒng)（ADAS）或使用環(huán)視高視場角攝像頭的自動駕駛應用中，單個圖像信號處理器（ISP）會同時用于人類視覺（HV）和計算機視覺（CV）功能。所生成原始圖像的信號處理主要是由環(huán)視系統(tǒng)的人類視覺質(zhì)量驅(qū)動的。在計算機視覺或深度學習應用開發(fā)完成后對圖像信號處理器（ISP）流水線進行調(diào)優(yōu)，很可能會對算法性能產(chǎn)生不利影響，因為算法性能并非優(yōu)化循環(huán)的一部分。例如，所有算法都可能會受到因調(diào)整而導致的信噪比下降的影響。幾何視覺算法本身對圖像信號處理器（ISP）的預處理變化較為敏感，因為像特征提取這類像素級操作通常依賴于固定的、靜態(tài)調(diào)優(yōu)的核尺寸和參數(shù)以及固定的顯著度閾值。對于深度學習算法而言，只要其模型是通過大量不同的訓練樣本進行訓練的，它們就會更具魯棒性。例如，在文獻 [84] 中，作者觀察到不同深度神經(jīng)網(wǎng)絡架構在模糊和噪聲條件下性能會下降，而對對比度和 JPEG 壓縮則具有一定的抗性。隨著為輔助自動駕駛而推動視覺感知改進以及集成圖像信號處理器（ISP）的片上系統(tǒng)（SoC）的推出，現(xiàn)在已經(jīng)可以實現(xiàn)用于人類視覺和計算機視覺的雙圖像信號處理器（ISP）流水線了。如前文所述，原始圖像由圖像傳感器生成。為了能被設備查看，原始數(shù)據(jù)必須經(jīng)過圖像信號處理器（ISP）處理（見圖 7）。

圖 7. 流水線概述。影響計算機視覺（CV）性能的關鍵圖像信號處理器（ISP）模塊已用粗體標記。

3.1. 總體方法與測試設置

3.1.1. 測試設置本文收集并拓展了作者先前在出版物 [11,86] 中呈現(xiàn)的研究結(jié)果。它主要聚焦于從像素級處理角度獲得的有關銳化和對比度方面的結(jié)果，并展示了對一個行人檢測（PD）算法流水線關鍵性能指標（KPI）影響的初步結(jié)果，該流水線先通過 AdaBoost 算法生成候選對象，隨后利用一個小型的基于卷積神經(jīng)網(wǎng)絡（CNN）的方法對候選對象進行驗證。銳化和對比度是典型的圖像信號處理器（ISP）處理模塊，相較于其他參數(shù)，它們更多地受主觀經(jīng)驗驅(qū)動，而非基于應用的客觀適配性。由于目前針對計算機視覺的圖像信號處理器（ISP）調(diào)優(yōu)是一個被忽視的主題，所以沒有附帶視覺關鍵性能指標（KPI）的原始圖像數(shù)據(jù)集可用。本研究中使用的數(shù)據(jù)是通過安裝在汽車上的魚眼攝像頭在內(nèi)部進行記錄的。視頻 / 圖像是在街道上的駕駛場景或停車狀況下錄制的，其中包含行人、汽車、交通及道路標志、標線等物體。需要注意的是，這些魚眼圖像并非原始圖像，因此在測試前已經(jīng)應用了基本的圖像信號處理器（ISP）處理。由于缺乏圖像信號處理器（ISP）處理前的圖像，我們只能進行最基本的代理測試來 “模擬” 圖像信號處理器（ISP）的某些模塊（銳化和對比度）。未來，我們將通過對圖像信號處理器（ISP）進行調(diào)優(yōu)，使用原始圖像重新運行這些測試。像素級研究針對以下方面對原始圖像和處理后的圖像進行了比較：邊緣檢測（使用索貝爾濾波器）[87]、二值化及閉運算（形態(tài)學操作）[88]。通過查找 100 個最顯著匹配點（依據(jù)其距離）上的內(nèi)點，對特征提取的影響進行了研究。利用隨機抽樣一致性算法（RANSAC）計算兩幅圖像之間的單應性矩陣。該研究分別考察了圖像信號處理器（ISP）對每個特征提取器的影響。這項像素級研究是在 100 多幅圖像上進行的。在計算機視覺中，特征是圖像中顯著的部分（點、斑點、邊緣等），它能減少待處理的數(shù)據(jù)量，聚焦于圖像的相關部分，可能在時間維度上具有魯棒性，并會由計算機視覺算法流水線的下一階段做進一步處理。本研究中使用的特征描述符 / 檢測器對均勻縮放、方向及光照具有不變性 [47]：尺度不變特征變換（SIFT）[34]、加速穩(wěn)健特征（SURF）[89]、定向 FAST 和旋轉(zhuǎn) BRIEF（ORB）[90] 以及加速魯棒特征（AKAZE）[91,92]?？偣苍?6 幀圖像（第 n 幀…… 第 n + 5 幀）中提取特征，并在第 n 幀與序列中后續(xù)各幀（第 n + 1 幀到第 n + 5 幀）之間進行特征匹配（見圖 8）。之所以選擇前面提到的這些算法（邊緣檢測、二值化、閉運算以及特征描述符 / 檢測器），是因為它們在計算機視覺和深度學習算法中被廣泛使用。

對于關鍵性能指標（KPI）影響的分析，我們使用了一個包含 20 個視頻的樣本集進行測試。在所有視頻上都運行了一個典型的行人檢測（PD）算法。該算法依據(jù)光照水平、姿態(tài)、對比度等因素，可檢測出 8 米范圍內(nèi)的行人，并在檢測到的行人周圍繪制邊界框。用于量化影響的指標是行業(yè)內(nèi)常用的一個關鍵性能指標（KPI）。我們的關鍵性能指標（KPI）度量標準是標注的邊界框與檢測到的邊界框之間的交并比（IOU）。交并比（IOU）越大，表明準確率越高，當交并比（IOU）高于針對特定物體實例設定的閾值時，則判定為真陽性。

圖 8. 基于定向 FAST 和旋轉(zhuǎn) BRIEF（ORB）的特征匹配示意圖