A. 應(yīng)用
魚眼相機(jī)提供的視場角比標(biāo)準(zhǔn)相機(jī)寬得多，通常具有 180 度甚至更大的視場角。這帶來了諸多優(yōu)勢，尤其是可以使用更少的相機(jī)來實現(xiàn)全方位覆蓋。魚眼相機(jī)首次成功的商業(yè)應(yīng)用是在攝影領(lǐng)域，特別是在娛樂行業(yè)，魚眼鏡頭效果成為了一種風(fēng)格元素。沃克斯（Vox）的一個視頻 [6] 很好地概述了其使用歷史。第二個成功應(yīng)用的領(lǐng)域是視頻監(jiān)控，在現(xiàn)代監(jiān)控系統(tǒng)中常常能看到半球形鏡頭表面 [7]。近來，廣角鏡頭相機(jī)常用于虛擬現(xiàn)實頭戴設(shè)備 [8]。它們也常用于水下機(jī)器人 [9] 以及空中機(jī)器人 [10]。汽車領(lǐng)域是魚眼相機(jī)的重要應(yīng)用領(lǐng)域之一，在該領(lǐng)域需要更先進(jìn)的視覺感知能力。1956 年，通用汽車的別克 “百夫長” 概念車型就配備了首個廣角后視相機(jī)和一臺電視顯示屏。2018 年，美國強(qiáng)制要求配備后視魚眼相機(jī)以減少倒車時的事故 [11]。2008 年，寶馬為停車視野配置了環(huán)視相機(jī) [12]。環(huán)視相機(jī)已成為許多車輛常用的功能配置。隨后，它們被用于諸如交叉交通警報 [13]、物體檢測 [14] 以及自動泊車 [15] 等計算機(jī)視覺應(yīng)用中。圖 1（上圖）展示了環(huán)視系統(tǒng)中相機(jī)的位置以及示例圖像。圖 1（下圖）展示了近場區(qū)域，它構(gòu)成了車輛周邊 360 度感知的主要傳感器。圖中較小的方框內(nèi)還展示了通過拼接四個相機(jī)畫面為駕駛員提供的環(huán)視可視化效果。

圖 3. 標(biāo)準(zhǔn)邊界框?qū)τ隰~眼圖像來說并非良好的物體表示方式。（a）邊界框內(nèi)的紅色像素顯示出大片不包含物體的區(qū)域。定向框（b）和曲線邊界框（c）是更好的表示方式 [14]。

然而，魚眼相機(jī)存在一些挑戰(zhàn)。最明顯的是它們存在強(qiáng)烈的徑向畸變，若要校正這種畸變則會存在一些弊端，包括視場角減小以及周邊出現(xiàn)重采樣畸變偽影 [16]。由于空間變化的畸變，物體的外觀變化更大，對于近處的物體尤其如此。這增加了卷積神經(jīng)網(wǎng)絡(luò)（CNN）的學(xué)習(xí)復(fù)雜度，因為卷積神經(jīng)網(wǎng)絡(luò)將平移不變性作為一種歸納偏置，并且由于模型必須學(xué)習(xí)物體所有畸變版本的外觀，還增加了樣本復(fù)雜度。此外，常用的利用邊界框進(jìn)行物體檢測的應(yīng)用變得更加復(fù)雜，因為邊界框?qū)τ隰~眼畸變物體來說并非最佳適配方式，如圖 3 所示。在 [14] 中探討了使用更復(fù)雜的表示方式（而非矩形框），例如利用魚眼相機(jī)已知徑向畸變的曲線邊界框。魚眼感知是一項具有挑戰(zhàn)性的任務(wù)，盡管其應(yīng)用廣泛，但相較于針孔相機(jī)，對它的探索相對較少。

對于沒有明顯魚眼畸變的相機(jī)而言，與之相關(guān)的一種非常常見的幾何模型是針孔模型。人們可能首先會考慮光線與距離投影中心某一固定距離的單一平面的相交情況。此類相機(jī)因鏡頭產(chǎn)生的所有畸變模型，其設(shè)計初衷就是將平面上的交點位置從投影中心沿徑向進(jìn)行偏移。在某種程度上，由于缺乏統(tǒng)一的幾何模型，魚眼算法的開發(fā)變得復(fù)雜起來。許多模型使用不同的特性來描述魚眼投影。本文的目的之一就是研究常見的模型，并證明其中一些模型彼此之間高度相關(guān)。有幾個模型可以被視為通用透視映射或橢球通用透視映射的特殊情況，這兩種映射在其他科學(xué)領(lǐng)域已經(jīng)為人所知數(shù)十年了 [17]。我們將表明所呈現(xiàn)的部分模型甚至是對現(xiàn)有模型的重新推導(dǎo)。因此，我們嘗試梳理眾多已提出的模型，并將它們分為幾個類別來考慮。例如，我們可以考慮一類基于圖像的模型，在這類模型中，魚眼投影被視作與針孔投影的偏差來進(jìn)行度量，例如 [18] 和 [19]?；蛘?，我們也可以考慮一種在投影中心對光線投影角度進(jìn)行操作的模型（例如 [2]、[20]）。還有一些模型提出利用在不同表面上的一系列投影來對魚眼畸變進(jìn)行建模，例如 [21]、[22] 和 [23]，我們可以將這類模型稱為球面模型。

B. 與其他傳感器的關(guān)系自動泊車系統(tǒng)通常是利用魚眼相機(jī)和聲吶來設(shè)計的 [15]。聲吶通常用于車輛的前后部，它在準(zhǔn)確檢測近場障礙物方面非常可靠 [24]。然而，其探測范圍通常局限于大約 5 米左右。此外，其所提供的信息非常稀疏，無法獲取關(guān)于場景更豐富的信息。通常，一種經(jīng)典的后期融合方法會將魚眼相機(jī)和聲吶的感知輸出進(jìn)行結(jié)合 [15]、[25]。近來，用于城市駕駛應(yīng)用、能提供 360 度覆蓋的短程雷達(dá)（SRR）陣列正被重新用于諸如泊車等近場感知應(yīng)用中。它們比聲吶的密度大得多，探測范圍可達(dá) 30 米。然而，它們無法覆蓋整個近場，存在一些盲區(qū)。此外，雷達(dá)的局限性還在于它無法檢測道路標(biāo)線，并且在物體分類方面性能有限 [26]。在 [27] 中更詳細(xì)地討論了利用短程雷達(dá)進(jìn)行停車位檢測的內(nèi)容。魚眼相機(jī)與短程雷達(dá)的融合通常是在經(jīng)典的動態(tài)占據(jù)柵格融合框架下進(jìn)行的 [28]?；诰矸e神經(jīng)網(wǎng)絡(luò)的融合方法也正在興起 [29]。激光雷達(dá)是一種探測范圍超過 200 米的遠(yuǎn)場傳感器，因此它通常不會與近場魚眼相機(jī)相結(jié)合。瓦爾加等人 [30] 曾嘗試將魚眼相機(jī)和激光雷達(dá)相結(jié)合以提供統(tǒng)一的 360 度環(huán)境模型，但在近場存在盲區(qū)。激光雷達(dá)在物體分類方面的性能極其有限 [26]?？偠灾渌鼒鰝鞲衅鳎ㄈ缋走_(dá)和聲吶）只能獲取場景的有限信息，因此它們無法獨立運行來執(zhí)行近場感知任務(wù)。

本文旨在進(jìn)行廣泛的概述和綜述，以補(bǔ)充我們之前的工作 [31]，之前的工作相對更側(cè)重于我們具體的環(huán)視感知架構(gòu)及實現(xiàn)的狹義討論。我們列舉了一些與本文相關(guān)的其他綜述性論文。在 [15] 中，針對自動泊車這一特定應(yīng)用場景的計算機(jī)視覺進(jìn)行了簡要綜述。在 [12] 中，提供了關(guān)于環(huán)視監(jiān)測的早期綜述，但未討論感知任務(wù)。最后，[32] 對視覺任務(wù)進(jìn)行了全面綜述，但并非專門針對汽車環(huán)視系統(tǒng)。

本文的結(jié)構(gòu)如下。在第二節(jié)中，我們將討論一些常用的模型，并對這些方法進(jìn)行分類，確立它們之間的等效關(guān)系和各自的特點。在第三節(jié)中，我們將介紹由四個魚眼相機(jī)組成的近場環(huán)視系統(tǒng)的汽車配置情況，并討論諸如校準(zhǔn)、校正以及幾何基元等基本構(gòu)造。第四節(jié)將詳細(xì)綜述基于環(huán)視相機(jī)的視覺感知任務(wù)。第五節(jié)將討論該領(lǐng)域有待探索的未來研究方向。第六節(jié)給出總結(jié)性的評論。

二、魚眼相機(jī)模型

在本節(jié)中，我們將對幾種比較流行的魚眼相機(jī)模型進(jìn)行綜述。目的是使用統(tǒng)一的符號來提供一份可能的模型的詳盡列表。對于開發(fā)人員來說，這可被視為一種工具，用以指導(dǎo)針對給定應(yīng)用選擇合適的模型。人們可以嘗試使用更簡單、更具針對性的模型，并且根據(jù)具體應(yīng)用情況，在校準(zhǔn)后某一給定相機(jī)的誤差仍然較高時，將開發(fā)擴(kuò)展到更通用的模型之一。

A.符號和術(shù)語

矩陣用A∈Rm×n表示。將使用普通向量v∈Rn的通常表示法，用n-元組表示。具體來說，r3中的點記為X =（X，Y，Z）T，圖像點I2集合中的一個點記為u =（u，v）T。單位球由S2 = {s∈R3 | ⅡsⅡ = 1}定義，單位球上的點用3個向量表示，即s =（x，y，z）T。

我們可以定義一個從C3?R3到圖像的映射為

其中C3表示定義投影π的點集。i2?r2表示C3投影后的圖像。θ（通常以弧度表示）表示成像點的場角（相對于z軸的角度），θmax表示模型的最大場角。

π的真正逆自然是不可能的。然而，我們可以定義一個非投影函數(shù)映射從圖像域到單位中心投影的球

在某些情況下，解析的非投影π?1(u)不存在或不具有奇點。圖4展示了圖像點和單位球體之間的關(guān)系。

我們還使用Ⅱu Ⅱ = Q(θ)來表示投影函數(shù)的徑向形式。也就是說，這是一個將視場角映射到圖像平面上的徑向距離（從失真中心開始）的函數(shù)。徑向非投影函數(shù)記為θ = Q?1（ⅡuⅡ）。徑向到入射角的非投影是一個真實的逆，不像未投影到圖像球體。偶爾，我們會需要參考兩個圖像點，一個扭曲的點和一個未扭曲的點。在這種情況下，我們將使用下標(biāo)d和u來區(qū)分（例如，ud和uu）。圖像上映射將圖像從其扭曲點徑扭曲到圖像上的未扭曲點（即從ⅡudⅡ到ⅡuuⅡ）。我們將這個映射表示為ⅡuuⅡ = τ（ⅡudⅡ），以及它的逆ⅡudⅡ = τ?1（ⅡuuⅡ）。

在討論下面的模型時，我們使用下標(biāo)來表示每個不同模型的參數(shù)和函數(shù)。具體地說，我們使用下標(biāo)p表示針孔模型，e表示等距，s表示立體圖，o表示正交圖，eo用于擴(kuò)展正字法，div表示除法，fov表示視場，ucm用于統(tǒng)一相機(jī)模型，ds用于雙球。

圖4。魚眼像點u和它在單位球面上的等價點之間的關(guān)系，s與X位于同一射線上。

B. 針孔照相機(jī)型號

針孔攝像機(jī)模型是在計算機(jī)視覺和機(jī)器人技術(shù)的許多領(lǐng)域中使用的標(biāo)準(zhǔn)投影功能，當(dāng)研究僅限于考慮標(biāo)準(zhǔn)的視場攝像機(jī)時。針孔模型由

或者，如果我們把它看作是一個徑向函數(shù)

其中，θ是投影射線的視場角。請注意，參數(shù)f有時被稱為焦距。

未投影函數(shù)為

針孔模型定義為點集C3 = {X∈R3 | Z > 0}。這些點映射到整個圖像平面，即I 2 = R2和θmax = π/2。然而，在實踐中，即使考慮到徑向畸變，針孔模型也很少用于具有場角θ>60?的點。

C. 經(jīng)典幾何模型

我們將本節(jié)中討論的模型稱為經(jīng)典模型，因為它們已經(jīng)被研究了至少60年的[4]。

1)等距投影：在等距魚眼模型中，投影半徑Qe(θ)通過等距參數(shù)f的簡單縮放與場角θ相關(guān)（見圖5a）。而這也是：

未投影函數(shù)為

等距投影對于點C3 = R3 \（0,0,0）T、I 2 = {u∈R2 | Ⅱu Ⅱ≤f π }和θmax = π是有效的。

2)立體投影：與等距模型一樣，在立體投影中，X到投影球面的投影中心為C（圖5b）。因此，該立體投影被描述為

我們以后將需要的非投影函數(shù)是