本文作者為Valeo Vision Systems相關(guān)研發(fā)團(tuán)隊(duì) Lucie Yahiaoui Jonathan Horgan Brian Deegan Senthil Yogamani Ciarán Hughes 和Patrick Denny

小明師兄翻譯

摘要

圖像質(zhì)量在供人類觀看的應(yīng)用中是一個(gè)廣為人知的概念，尤其在多媒體領(lǐng)域，而且在汽車領(lǐng)域其重要性也日益凸顯。自動(dòng)駕駛和計(jì)算機(jī)視覺(jué)的興起，使得圖像質(zhì)量對(duì)攝像頭感知中諸如識(shí)別、定位及重建等任務(wù)的影響方面的研究備受關(guān)注。盡管計(jì)算機(jī)視覺(jué)中 “圖像質(zhì)量” 的定義可能并不明確，但明確的是圖像信號(hào)處理流水線的配置是控制計(jì)算機(jī)視覺(jué)圖像質(zhì)量的關(guān)鍵因素。本文兼具綜述和觀點(diǎn)闡述性質(zhì)，并展示了一些有望助力未來(lái)研究的初步成果。因此，我們概述了圖像信號(hào)處理器（ISP）流水線是什么，描述了一些典型的汽車計(jì)算機(jī)視覺(jué)問(wèn)題，并通過(guò)一些實(shí)驗(yàn)結(jié)果簡(jiǎn)要介紹了圖像信號(hào)處理參數(shù)對(duì)計(jì)算機(jī)視覺(jué)性能的影響。本文探討了利用計(jì)算機(jī)視覺(jué)性能指標(biāo)作為成本度量來(lái)自動(dòng)調(diào)整 ISP 參數(shù)的優(yōu)點(diǎn)，從而避開(kāi)了明確界定計(jì)算機(jī)視覺(jué)中 “圖像質(zhì)量” 含義的必要。由于缺乏用于開(kāi)展 ISP 調(diào)優(yōu)實(shí)驗(yàn)的數(shù)據(jù)集，我們?cè)谝曈X(jué)算法處理前應(yīng)用了諸如銳化之類的代理算法。我們使用經(jīng)典算法（AKAZE 算法）以及一種用于行人檢測(cè)的機(jī)器學(xué)習(xí)算法進(jìn)行了這些實(shí)驗(yàn)。我們獲得了令人鼓舞的結(jié)果，例如通過(guò)調(diào)整銳化技術(shù)參數(shù)，行人檢測(cè)準(zhǔn)確率提高了 14%。我們希望這能鼓勵(lì)創(chuàng)建此類數(shù)據(jù)集，以便對(duì)這些主題進(jìn)行更系統(tǒng)的評(píng)估。

關(guān)鍵詞：圖像信號(hào)處理；計(jì)算機(jī)視覺(jué)；自動(dòng)駕駛；定位；重建；識(shí)別

引言

圖像和視頻質(zhì)量的基本概念在消費(fèi)電子產(chǎn)品中已被充分理解，尤其在多媒體領(lǐng)域 [1]，并且是標(biāo)準(zhǔn)化的主題 [2,3]。傳統(tǒng)上，圖像質(zhì)量等同于 “感知質(zhì)量” 和 “自然度”，或者說(shuō)現(xiàn)實(shí)世界的再現(xiàn)忠實(shí)程度如何滿足觀看者的期望。多媒體內(nèi)容壓縮算法的發(fā)展推動(dòng)了定義和測(cè)量感知圖像及視頻質(zhì)量方面的諸多進(jìn)展。在汽車領(lǐng)域，“高質(zhì)量” 的含義并非那么簡(jiǎn)單明了，目前尚無(wú)單一明確的定義 [4,5]。而且視頻對(duì)于兩種截然不同的應(yīng)用是必需的：向駕駛員展示（例如，后視和多攝像頭環(huán)視監(jiān)控）以及用于高級(jí)駕駛輔助系統(tǒng)的計(jì)算機(jī)視覺(jué)。在邁向自動(dòng)駕駛平臺(tái)的過(guò)程中，這一點(diǎn)尤為重要，因?yàn)閿z像頭系統(tǒng)是一種多樣且關(guān)鍵的感知傳感器，能夠提供車輛周圍環(huán)境的結(jié)構(gòu)、語(yǔ)義和導(dǎo)航信息。因此，包括深度學(xué)習(xí)在內(nèi)的計(jì)算機(jī)視覺(jué)算法性能有望較以往系統(tǒng)有顯著提升。最初，汽車環(huán)視魚(yú)眼攝像頭是輔助駕駛員的視覺(jué)系統(tǒng)的一部分。在自動(dòng)駕駛應(yīng)用中，此類攝像頭對(duì)于近場(chǎng)監(jiān)控正變得非常重要 [6]。這些不同的應(yīng)用需要不同的場(chǎng)景特征以實(shí)現(xiàn)最佳性能。對(duì)一種應(yīng)用而言構(gòu)成 “高質(zhì)量” 的概念不一定等同于對(duì)另一種應(yīng)用的 “高質(zhì)量” 概念。因此，盡管針對(duì)單色系統(tǒng)基于檢測(cè) / 定向 / 識(shí)別 / 辨認(rèn)的約翰遜準(zhǔn)則已有一些基礎(chǔ)工作被提出 [7]，并由 [8] 進(jìn)一步闡述，但專門(mén)針對(duì)計(jì)算機(jī)視覺(jué)的圖像質(zhì)量方面的現(xiàn)有文獻(xiàn)相較于針對(duì)人類視覺(jué)圖像質(zhì)量的文獻(xiàn)較為稀少，這一點(diǎn)已被例如 [9,10] 所強(qiáng)調(diào)。這促使人們?nèi)ヌ綄z像頭及處理系統(tǒng)中提升計(jì)算機(jī)視覺(jué)效率和性能的機(jī)會(huì)。

將來(lái)自圖像傳感器的原始信號(hào)轉(zhuǎn)換為可觀看的格式涉及多個(gè)步驟，如去馬賽克、去噪和伽馬控制等，這些統(tǒng)稱為圖像信號(hào)處理（ISP）。ISP 通常由硬件引擎完成，這些硬件引擎要么位于傳感器內(nèi)部，要么作為獨(dú)立芯片，要么集成在主片上系統(tǒng)（SoC）內(nèi)。由于圖像分辨率、位深、幀率、曝光次數(shù)（高動(dòng)態(tài)范圍，HDR）以及處理步驟數(shù)量等因素驅(qū)動(dòng)的處理任務(wù)量巨大，專用硬件是必需的。例如，大多數(shù)彩色圖像傳感器采用拜耳彩色濾光片，為了獲得可用 / 可觀看的圖像（例如全 RGB 或 YUV 圖像），在去馬賽克這一過(guò)程中進(jìn)行去拜耳處理是必要的。然而，ISP 的若干步驟旨在為觀看應(yīng)用的終端用戶提供高度靜態(tài)的視覺(jué)性能，例如在傳統(tǒng)的環(huán)視應(yīng)用中。對(duì)于基于計(jì)算機(jī)視覺(jué)的應(yīng)用而言，這可能是不必要的，甚至?xí)m得其反。

計(jì)算機(jī)視覺(jué)研究人員，尤其是學(xué)術(shù)界的人員，通常使用公開(kāi)可用的數(shù)據(jù)進(jìn)行開(kāi)發(fā)、訓(xùn)練和驗(yàn)證，因?yàn)槎ㄖ茢?shù)據(jù)獲取難度大且成本高。硬件設(shè)置通常由現(xiàn)成的成像系統(tǒng)構(gòu)成，其板載 ISP 可重新配置性很低甚至沒(méi)有，并且通過(guò) USB 或以太網(wǎng)接口來(lái)捕獲 YUV 或 RGB 圖像。因此，并不總是能夠捕獲到原始的 ISP 處理前的圖像數(shù)據(jù)。這通常使得計(jì)算機(jī)視覺(jué)研究人員無(wú)奈地忽略了 ISP 的影響。然而，ISP 很可能對(duì)計(jì)算機(jī)視覺(jué)算法性能有著非常重大的影響。這對(duì)于自動(dòng)駕駛應(yīng)用尤為關(guān)鍵，因?yàn)樵谶@類應(yīng)用中必須使傳感器和算法的性能最大化。

在本文中，通過(guò)對(duì) ISP 領(lǐng)域、汽車計(jì)算機(jī)視覺(jué)以及自動(dòng)調(diào)優(yōu)方面進(jìn)行綜述，我們旨在探討使用計(jì)算機(jī)視覺(jué)性能成本度量來(lái)自動(dòng)調(diào)整 ISP 參數(shù)的優(yōu)點(diǎn)。通過(guò)在視覺(jué)算法處理前使用諸如銳化之類的 ISP 代理算法，我們提供了一些證據(jù)來(lái)支持這是一個(gè)重要主題的觀點(diǎn)。除了解釋該主題的重要性之外，另一個(gè)目標(biāo)是鼓勵(lì)研究界創(chuàng)建數(shù)據(jù)集，以便對(duì)這些主題進(jìn)行更系統(tǒng)的評(píng)估，這樣就能徹底研究 ISP 鏈條中每個(gè)組件對(duì)計(jì)算機(jī)視覺(jué)的影響的所有細(xì)節(jié)。本文其余部分結(jié)構(gòu)如下：第 2 節(jié)簡(jiǎn)要概述 ISP 處理模塊、ISP 調(diào)優(yōu)以及計(jì)算機(jī)視覺(jué)算法。由于它們屬于跨學(xué)科主題，這將為這些領(lǐng)域之一的專業(yè)人員提供必要的背景知識(shí)。第 3 節(jié)展示初步結(jié)果并進(jìn)行分析，同時(shí)使用了經(jīng)典計(jì)算機(jī)視覺(jué)算法（AKAZE 算法）以及一種用于行人檢測(cè)的機(jī)器學(xué)習(xí)算法。第 4 節(jié)討論調(diào)優(yōu)算法和雙 ISP 流水線，這是一種硬件選項(xiàng)，能夠在不沖突的情況下針對(duì)計(jì)算機(jī)視覺(jué)和人類觀看應(yīng)用對(duì) ISP 進(jìn)行特定的調(diào)優(yōu)。最后，第 5 節(jié)對(duì)本文進(jìn)行總結(jié)并得出結(jié)論。本文在作者之前的會(huì)議論文 基礎(chǔ)上進(jìn)行了大幅擴(kuò)展。