因此，這里并沒(méi)有顯示出來(lái)。投影的結(jié)構(gòu)域和徑向函數(shù)為

當(dāng)α<為0.5時(shí)，針孔投影點(diǎn)在單位球體內(nèi)，當(dāng)α>為0.5時(shí)在外部，當(dāng)α=為0.5時(shí)在球體上。

3)增強(qiáng)統(tǒng)一相機(jī)模型：UCM由增強(qiáng)UCM[22]（圖6b）擴(kuò)展，它將球形投影推廣到一個(gè)橢球體（或者，實(shí)際上，是一個(gè)一般的二次曲面），并能夠證明一些精度增益。E-UCM是由

其中，d=√β（X2+Y2）+Z2，β為橢圓系數(shù)-

cient.非投影函數(shù)對(duì)于EUCM來(lái)說(shuō)并不漂亮，讀者可以參考的是[22]。有效的點(diǎn)和角度的集合為

4)雙球體模型：后來(lái)，UCM再次被雙球體（DS）模型[23]擴(kuò)展，它增加了第二個(gè)單位球體投影，以實(shí)現(xiàn)更復(fù)雜的建模（圖6c）。

在[23]中給出了令人信服的結(jié)果，以證明了雙球模型的有效性。該模型的非投影函數(shù)為

圖7。一般透視映射的定義是由一個(gè)點(diǎn)到半徑為fs的球體的投影，然后是到焦距為fp的針孔模型的透視投影。這兩個(gè)投影中心被d偏移。與經(jīng)典模型一樣，它在制圖學(xué)中被知道了幾十年的[53]。

投影和非投影的有效范圍為

F. 其他型號(hào)

雖然我們已經(jīng)討論了許多更流行的魚(yú)眼投影模型，但這并不是詳盡的。無(wú)論出于什么原因，我們省略了一些似乎不太受歡迎的模型的細(xì)節(jié)。例如，巴克斯坦和Pajdla [49]提出了對(duì)經(jīng)典模型的兩個(gè)擴(kuò)展。在[18]中也提出了一種基于對(duì)數(shù)的魚(yú)葉眼變換（FET），盡管與其他模型相比，其精度較低。[50]中提出的基于雙曲罪惡的廣角攝像機(jī)[51]模型，后來(lái)用于它，這里沒(méi)有討論，也沒(méi)有級(jí)聯(lián)單參數(shù)分割模型[52]。

G. 照相機(jī)型號(hào)的統(tǒng)一使用

隨著魚(yú)眼模型的普及，人們很自然地會(huì)懷疑一些模型之間是否存在共性，甚至在模型的開(kāi)發(fā)過(guò)程中是否存在重復(fù)。

1)一般透視投影和魚(yú)眼模型：

統(tǒng)一相機(jī)模型屬于一類球體的一般垂直透視投影，在測(cè)測(cè)量學(xué)和制圖領(lǐng)域中有[53]，[54]，其中在球面上添加了中心投影的平凡步驟。立體投影和正交投影也屬于這一類。立體投影的針孔投影中心是在球體的表面上，而正字法投影具有無(wú)限的焦距（因此稱為術(shù)語(yǔ)正字法）。立體投影和UCM之間的聯(lián)系實(shí)際上在[21]中描述。

圖8。各種魚(yú)眼模型與一般透視投影之間的關(guān)系。雙線表示兩個(gè)模型是等價(jià)的，單行表示泛化/專業(yè)化。

讓我們首先檢查圖7所示的一般垂直透視投影，。針孔相機(jī)沿z軸偏移一個(gè)距離d。到球面上的投影是由

這里我們使用s =（x，y，z）T表示半徑為fs的球上的點(diǎn)，以便將其與之前用來(lái)表示單位球上的點(diǎn)區(qū)分開(kāi)來(lái)。點(diǎn)u是s的針孔投影

+d將這些點(diǎn)從球體轉(zhuǎn)換為針孔坐標(biāo)系。因此，通過(guò)這兩個(gè)參數(shù)γ = fp和ξ = d/fs，我們有（24），UCM。另外，如果我們將針孔相機(jī)平面限制在球面表面（即d = fs），并制作fp = 2fs，我們得到立體方程(7)。

E-UCM [22]通過(guò)投影到一個(gè)橢球體而不是一個(gè)球體來(lái)擴(kuò)展UCM。這種類型的投影在測(cè)地學(xué)和制圖學(xué)中被稱為[53]，[54]橢球一般透視投影。我們不會(huì)在這里重新推導(dǎo)方程，而是讓讀者參考原始材料。如前所述，DS模型[23]通過(guò)添加第二個(gè)投影球來(lái)擴(kuò)展對(duì)更復(fù)雜的光學(xué)進(jìn)行建模的UCM。

因此，魚(yú)眼鏡頭的UCM、E-UCM和DS模型可以作為立體圖像相機(jī)模型的推廣。更正確的是，它們所有模型（UCM、E-UCM、DS、分割模型和立體模型）都是一類一般透視模型的一部分。如果我們?cè)试Sfs接近于無(wú)窮大，那么（40）就成為了針孔投影模型。如果我們?cè)试Sfp（因此也允許d）趨于無(wú)窮，那么我們得到正投影。

2)立體圖和除法模型：正如在[55]中所討論的，我們可以將針孔投影(2)與逆立體模型(8)給出

允許一個(gè)= 1/4f 2，這與分割模型相同，（16）。因此，我們可以說(shuō)，分割模型是立體投影的圖像上版本。

3)等距和視場(chǎng)模型：考慮(2)給出的徑向針孔投影，以及等距魚(yú)眼投影模型(4)。將這兩者結(jié)合成與視場(chǎng)模型相似的形式（19）

由于fp和fe是自由參數(shù)，通過(guò)計(jì)算法確定，我們可以將其設(shè)置為

因此我們可以看出，（19）式和（42）式是等效的映射函數(shù)。視場(chǎng)角模型是等距投影的基于圖像的版本。

結(jié)果：為了具體證明球極平面投影 / 除法模型對(duì)以及等距投影 / 視場(chǎng)角模型對(duì)的等效性，我們給出了一組小規(guī)模的結(jié)果。值得一提的是，[23] 中提供了五臺(tái)相機(jī)的一組參數(shù)，其中包括視場(chǎng)角模型的參數(shù)。根據(jù) [23] 中視場(chǎng)角模型的參數(shù)集 ω，我們通過(guò)應(yīng)用（43）式來(lái)獲取等距參數(shù)。見(jiàn)表一。兩者之間的差異處于機(jī)器精度級(jí)別，這證明了這兩個(gè)模型是等效的。[46] 中呈現(xiàn)的結(jié)果（特別是參考表四）支持了球極平面投影模型和除法模型的等效性。我們可以從中看到，當(dāng)將球極平面投影模型與除法模型進(jìn)行對(duì)比時(shí)，殘差為零。我們還可以看到，當(dāng)將統(tǒng)一相機(jī)模型（在 [46] 中稱為通用傳感器模型），或者等效地說(shuō)將通用透視映射與球極平面投影模型和正射投影模型進(jìn)行對(duì)比時(shí)，殘差也為零。

討論：魚(yú)眼相機(jī)應(yīng)用存在大量潛在的模型。在本文中，我們提及了二十種模型，不過(guò)可以肯定的是這并不詳盡。然而，我們已經(jīng)表明許多幾何模型之間存在很強(qiáng)的關(guān)聯(lián)性。至少有七種模型與通用透視投影相關(guān)或直接等效。此外，我們還表明一些近期開(kāi)發(fā)的魚(yú)眼模型在數(shù)學(xué)上與經(jīng)典魚(yú)眼投影是等效的。

圖 9. 環(huán)視相機(jī)可視化效果

幾十年前提出的球極平面投影和等距模型等功能。在圖 8 中，我們給出了與通用透視投影相關(guān)的幾何魚(yú)眼模型示意圖。

三、環(huán)視相機(jī)系統(tǒng)

在本節(jié)中，我們將討論環(huán)視相機(jī)（SVC）的設(shè)置及其感知所需的基本要素。我們先從環(huán)視相機(jī)用于可視化的歷史應(yīng)用情況入手，這有助于理解汽車配置情況。然后我們?cè)儆懻撝T如校準(zhǔn)、校正以及幾何基元等支撐模塊。

A. 可視化

從歷史上看，環(huán)視相機(jī)一直用于在駕駛員儀表盤上顯示，以實(shí)現(xiàn)泊車可視化。首個(gè)可視化應(yīng)用展示的是一個(gè)用于倒車輔助的后視魚(yú)眼相機(jī) [12]。之后通過(guò)對(duì)行人、行車道等物體檢測(cè)的可視化，該應(yīng)用得到了進(jìn)一步改進(jìn) [56]，隨后利用四個(gè)魚(yú)眼相機(jī)將其增強(qiáng)為環(huán)視可視化 [57]。最初的系統(tǒng)基于二維俯視圖，如圖 9（a）所示。這主要用于泊車應(yīng)用，但也可用于其他如交通擁堵輔助等低速操控應(yīng)用場(chǎng)景。二維俯視圖假定地面是平坦的，所以當(dāng)?shù)孛嬗衅鸱鼤r(shí)就會(huì)出現(xiàn)偽影。其他附近物體（如車輛）在這種視圖下會(huì)嚴(yán)重失真。通過(guò)采用一種類似碗狀的曲面（其中心附近是平坦的，朝周邊呈向上彎曲狀）構(gòu)建的三維環(huán)視視圖解決了這些問(wèn)題，如圖 9（b）所示。此外，利用車輛周邊的深度估計(jì)可以調(diào)整碗狀曲面，以實(shí)現(xiàn)最佳視角，減少附近物體的偽影。例如，如果車輛一側(cè)有其他車輛靠近，該區(qū)域的碗狀曲面就會(huì)移到本車前方以避免產(chǎn)生偽影。通常，應(yīng)用程序會(huì)提供一個(gè)用戶界面，供駕駛員動(dòng)態(tài)選擇所需的視角。環(huán)視可視化應(yīng)用通常是作為一個(gè)利用圖形處理單元（GPU）的 OpenGL [58] 渲染應(yīng)用來(lái)實(shí)現(xiàn)的。

傳統(tǒng)上，環(huán)視相機(jī)系統(tǒng)的成像流水線主要是為可視化而設(shè)計(jì)的。然而，這對(duì)于計(jì)算機(jī)視覺(jué)來(lái)說(shuō)并非最優(yōu)，因此 [59] 和 [60] 中提出了雙圖像流水線的概念。圖像流水線的控制回路部分（如自動(dòng)曝光和自動(dòng)增益控制）通常是針對(duì)可視化進(jìn)行調(diào)整的，因?yàn)樗鼈儫o(wú)法聯(lián)合調(diào)整。由于四個(gè)環(huán)視相機(jī)指向四個(gè)不同方向，它們可能處于不同的環(huán)境光照條件下。例如，陽(yáng)光可能直射在車輛前部，相應(yīng)的圖像就會(huì)有很強(qiáng)的眩光和較高的飽和度；而車尾的相機(jī)則處于陰影中，畫(huà)面較暗。為提高視覺(jué)質(zhì)量，在將圖像拼接在一起時(shí)會(huì)對(duì)圖像的亮度和顏色進(jìn)行協(xié)調(diào)統(tǒng)一 [61]。如果這種協(xié)調(diào)統(tǒng)一是在用于可視化和計(jì)算機(jī)視覺(jué)的通用圖像流水線中進(jìn)行的，就可能會(huì)對(duì)計(jì)算機(jī)視覺(jué)產(chǎn)生影響。