圖 13. 魚眼圖像的去畸變：（a）直線校正；（b）分段線性校正；（c）圓柱面校正。左：原始圖像；右：去畸變后的圖像。其主要優(yōu)點(diǎn)在于建筑物上的垂直線條表明垂直物體在校正后依然保持垂直 [81]。因此，掃描線得以保留，以便在兩個(gè)連續(xù)的魚眼圖像（運(yùn)動(dòng)立體視覺(jué)）之間或者在魚眼相機(jī)與窄視場(chǎng)角相機(jī)（非對(duì)稱立體視覺(jué)）之間針對(duì)立體算法進(jìn)行水平搜索。其主要缺點(diǎn)是它本身無(wú)法捕捉到靠近車輛的近場(chǎng)區(qū)域。這可以通過(guò)使用一個(gè)額外的平滑曲面來(lái)覆蓋近場(chǎng)區(qū)域加以解決。此外，附近物體的畸變也會(huì)增大。

四、感知任務(wù)

由于數(shù)據(jù)集有限，關(guān)于魚眼圖像感知任務(wù)的文獻(xiàn)相對(duì)較少。我們將感知任務(wù)分為語(yǔ)義任務(wù)、幾何任務(wù)和時(shí)間任務(wù)。最后，我們將討論聯(lián)合多任務(wù)模型。

A. 語(yǔ)義任務(wù)

在本節(jié)中，我們將討論基于外觀模式識(shí)別的語(yǔ)義任務(wù)。

魚眼圖像語(yǔ)義分割數(shù)據(jù)集。此外，為提高模型的泛化性能，[83] 提出了一種新穎的縮放增強(qiáng)技術(shù)，專門針對(duì)魚眼圖像來(lái)擴(kuò)充數(shù)據(jù)。大量實(shí)驗(yàn)表明了縮放增強(qiáng)技術(shù)的有效性，并且 OPP - Net 在城市交通場(chǎng)景中表現(xiàn)良好。塞斯（Saez）等人 [84] 引入了一種實(shí)時(shí)語(yǔ)義分割技術(shù)，它是對(duì)高效殘差分解網(wǎng)絡(luò)（ERFNet）[85] 針對(duì)魚眼道路序列的一種適配，并基于 “城市景觀”（CityScapes）[86] 為魚眼相機(jī)生成了一個(gè)新的語(yǔ)義分割數(shù)據(jù)集。測(cè)試是在真實(shí)的魚眼圖像序列上進(jìn)行的，不過(guò)由于沒(méi)有真實(shí)標(biāo)注信息，只展示了定性結(jié)果。

鄧等人 [87] 利用環(huán)視相機(jī)來(lái)處理 360 度道路場(chǎng)景分割問(wèn)題，因?yàn)榄h(huán)視相機(jī)已在量產(chǎn)車輛中被廣泛采用。為應(yīng)對(duì)魚眼圖像中的畸變問(wèn)題，他們提出了受限可變形卷積（RDC）。通過(guò)基于輸入特征圖學(xué)習(xí)卷積濾波器的形狀，它能夠?qū)崿F(xiàn)有效的幾何變換建模。此外，作者們還提出了一種縮放增強(qiáng)技術(shù)，用于將透視圖像轉(zhuǎn)換為魚眼圖像。這有助于創(chuàng)建大規(guī)模的環(huán)視相機(jī)圖像訓(xùn)練集。還開發(fā)了一種基于 RDC 的語(yǔ)義分割模型。通過(guò)結(jié)合真實(shí)世界圖像和轉(zhuǎn)換后的圖像，采用多任務(wù)學(xué)習(xí)（MTL）架構(gòu)對(duì)真實(shí)世界的環(huán)視相機(jī)圖像進(jìn)行訓(xùn)練。這些模型在 “城市景觀”（Cityscapes）[86]、“魚眼城市景觀”（FisheyeCityScapes）[88] 和 “合成場(chǎng)景”（SYNTHIA）[89] 數(shù)據(jù)集上進(jìn)行訓(xùn)練，并在真實(shí)的魚眼圖像上進(jìn)行測(cè)試。

克萊門特（Clément）等人 [90] 著重表明可變形卷積可以應(yīng)用于現(xiàn)有的卷積神經(jīng)網(wǎng)絡(luò)之上，而無(wú)需改變其預(yù)訓(xùn)練權(quán)重。這對(duì)依賴多種圖像模態(tài)的系統(tǒng)有所幫助，因?yàn)楝F(xiàn)在每個(gè)模型都可以可靠地進(jìn)行修改，無(wú)需從頭開始重新訓(xùn)練。他們還證明了可變形組件可以獨(dú)立訓(xùn)練（不過(guò)如果進(jìn)行微調(diào)，建議使用批量歸一化）。作者們還指出，不再需要大量帶有標(biāo)注的魚眼圖像數(shù)據(jù)集。在學(xué)習(xí)了可變形組件之后，無(wú)需微調(diào)網(wǎng)絡(luò)權(quán)重就能實(shí)現(xiàn)高性能。

姚祖（Yaozu）等人 [88] 提出了一種 7 自由度（DoF）增強(qiáng)技術(shù)，用于將直線透視圖像轉(zhuǎn)換為魚眼圖像。它包含了世界與魚眼坐標(biāo)系之間的空間關(guān)系（6 自由度）以及虛擬魚眼相機(jī)的焦距變化（1 自由度）。在訓(xùn)練階段，直線透視圖像會(huì)被轉(zhuǎn)換為具有 7 自由度的魚眼圖像，以模擬由位置、方向和焦距各不相同的相機(jī)所拍攝的魚眼圖像。這在處理畸變的魚眼數(shù)據(jù)時(shí)提高了模型的準(zhǔn)確性和魯棒性。7 自由度增強(qiáng)技術(shù)為魚眼相機(jī)的語(yǔ)義分割提供了一種通用解決方案，也為自動(dòng)駕駛的圖像增強(qiáng)提供了明確的參數(shù)設(shè)置，并創(chuàng)建了 “魚眼城市景觀”（FisheyeCityScapes）[88] 數(shù)據(jù)集。

圖14。來(lái)自森林景觀數(shù)據(jù)集[2]上的OmniDet框架的原始魚眼圖像的定性結(jié)果。第一列表示來(lái)自前、左、右、后攝像機(jī)的輸入圖像，第二列表示距離估計(jì)，第三列表示語(yǔ)義分割圖，第四列表示廣義目標(biāo)檢測(cè)表示，第五列表示運(yùn)動(dòng)分割。