arXiv論文“Review on Panoramic Imaging and Its Applications in Scene Understanding“，上傳于2022年5月11日，綜述的作者大多來(lái)自浙江大學(xué)。

隨著高速通信和AI技術(shù)的快速發(fā)展，場(chǎng)景的感知不再局限于小視野（FoV）和低維度場(chǎng)景檢測(cè)設(shè)備。全景成像（Panoramic Imaging）是下一代環(huán)境感知和測(cè)量的智能設(shè)備。然而，在滿足大視野攝影成像需求的同時(shí)，全景成像設(shè)備被期望有高分辨率、無(wú)盲區(qū)、微型化和多維度智能感知等特性，并與AI方法相結(jié)合，更深入地理解360度真實(shí)周圍環(huán)境。幸運(yùn)的是，自由曲面（freeform surfaces）、薄板光學(xué)（thinplate optics）和元曲面（metasurfaces）的最新進(jìn)展提供了解決環(huán)境感知問(wèn)題的新方法，提供了超越傳統(tǒng)光學(xué)成像的希望。

本文介紹全景成像系統(tǒng)的基本原理，以及各種全景成像系統(tǒng)的結(jié)構(gòu)、特點(diǎn)和功能。然后，詳細(xì)討論自由曲面、薄板光學(xué)和元曲面在全景成像中的應(yīng)用前景和設(shè)計(jì)潛力。另外，詳細(xì)分析這些技術(shù)如何幫助提高全景成像系統(tǒng)的性能。進(jìn)一步，詳細(xì)分析全景成像在自動(dòng)駕駛和機(jī)器人場(chǎng)景理解中的應(yīng)用，包括全景語(yǔ)義圖像分割、全景深度估計(jì)、全景視覺定位等。最后，展望全景成像的未來(lái)潛力和研究方向。

與傳統(tǒng)的小視野光學(xué)系統(tǒng)相比，全景成像光學(xué)系統(tǒng)在視場(chǎng)、體量、功耗等方面具有突出的優(yōu)勢(shì)。就成像性能而言，全景成像在滿足機(jī)器視覺等應(yīng)用需求方面面臨著幾個(gè)挑戰(zhàn)，包括視野、分辨率、盲區(qū)和圖像質(zhì)量。另一個(gè)迫切的需求是多維度智能感知，其中全景成像預(yù)計(jì)將與智能傳感器相結(jié)合，記錄、融合和感知有關(guān)周圍環(huán)境的高維信息。此外，全景成像預(yù)計(jì)將朝著輕量化和小型化結(jié)構(gòu)形式發(fā)展，在空間和重量限制更大的場(chǎng)景中應(yīng)用。然而，上述要求通常需要解決不同的因素權(quán)衡問(wèn)題，這使全景成像的設(shè)計(jì)具有挑戰(zhàn)性。

在過(guò)去的十年中，全景成像概念得到重新審視，并迎來(lái)了新的熱潮。自由曲面和元曲面等新興技術(shù)極大地重塑了全景成像系統(tǒng)，為全景成像領(lǐng)域帶來(lái)了光明。這些新興光學(xué)技術(shù)的應(yīng)用有力地推動(dòng)了全景光學(xué)系統(tǒng)架構(gòu)的性能改進(jìn)。同時(shí)，多維全景成像系統(tǒng)的提出豐富了全景成像領(lǐng)域，在不同的應(yīng)用領(lǐng)域發(fā)揮了更強(qiáng)大的作用。

如圖所示是全景成像系統(tǒng)示意圖：（a） 全景成像系統(tǒng)架構(gòu)；（b） 多維度全景成像系統(tǒng)的分類方法。

對(duì)于全景成像系統(tǒng)，光學(xué)系統(tǒng)的性能參數(shù)尤為重要。

在光學(xué)儀器中，被測(cè)目標(biāo)可以通過(guò)以鏡頭為頂點(diǎn)形成的最大范圍兩條邊所夾角度，稱為視野（FoV）。以最常見的魚眼光學(xué)系統(tǒng)為例，其最大半視野是從中心光軸到可觀測(cè)目標(biāo)邊緣的角度。如圖所示：這里存在各種參數(shù)的折衷

FoV決定了光學(xué)儀器觀察周圍場(chǎng)景范圍的能力。與其他常見成像光學(xué)系統(tǒng)相比，魚眼系統(tǒng)全視場(chǎng)通常可以達(dá)到180度或更多。這種獨(dú)特的成像特性可以一次記錄有關(guān)周圍環(huán)境的更多信息。而普通成像系統(tǒng)在全視野一次捕獲的信息更少。因此，全景成像系統(tǒng)比傳統(tǒng)光學(xué)系統(tǒng)具有更多的環(huán)境感知優(yōu)勢(shì)，已成為未來(lái)光學(xué)儀器的熱門發(fā)展方向。

metaverse的概念將增強(qiáng)現(xiàn)實(shí)（AR）和虛擬現(xiàn)實(shí)（VR）顯示領(lǐng)域帶入了新一輪的發(fā)展，也導(dǎo)致了全景環(huán)境感知的興起。

另一個(gè)重要參數(shù)是F-數(shù)，定義為光學(xué)系統(tǒng)的焦距與其孔直徑的比率。F-數(shù)越小，送入光學(xué)系統(tǒng)的光越多，光圈孔徑（aperture diaphragm）的尺寸越大。

小F-數(shù)光學(xué)系統(tǒng)也稱為高速成像系統(tǒng)，通常具有大孔徑和更大的光吞吐量，這可以提高快門速度。在昏暗的光線下，這種光學(xué)系統(tǒng)可以保持更多的光通量（light flux），對(duì)夜間或暗場(chǎng)拍攝很有好處。

在拍攝運(yùn)動(dòng)物體時(shí)，大光圈和小F-數(shù)光學(xué)系統(tǒng)有利于高速快門清晰地拍攝物體。小F-數(shù)光學(xué)系統(tǒng)具有大孔徑和大景深。拍攝時(shí)，景深較小的光學(xué)系統(tǒng)會(huì)在散焦背景的同時(shí)突出目標(biāo)。大型F-數(shù)光學(xué)系統(tǒng)具有較大的景深，能夠同時(shí)在遠(yuǎn)距離和近距離清晰地成像大范圍場(chǎng)景，但相對(duì)照度降低。

F-數(shù)是一個(gè)關(guān)鍵參數(shù)，F(xiàn)-數(shù)越小，透鏡的應(yīng)用范圍越廣。在設(shè)計(jì)成像系統(tǒng)時(shí)，小F-數(shù)設(shè)計(jì)更難設(shè)計(jì)，但有更高的圖像質(zhì)量。因此，全景系統(tǒng)的F-數(shù)通常設(shè)計(jì)為較小，以實(shí)現(xiàn)較大的光通量。

焦距也是全景成像系統(tǒng)設(shè)計(jì)中的一個(gè)關(guān)鍵參數(shù)。透鏡設(shè)計(jì)通常遵循五種經(jīng)典投影模型，即gnomonic projection模型、equidistant projection模型、equisolid angle projection模型、orthographic projection模型和stereographic projection模型。

equidistant projection模型通常用于大視野光學(xué)系統(tǒng)的設(shè)計(jì)，其表達(dá)為：

其中f是焦距，θ是半視野角，y是像高。當(dāng)全景光學(xué)系統(tǒng)的FoV保持不變時(shí)，焦距越大，像高越大，系統(tǒng)的尺寸越大，匹配的傳感器分辨率也越高。

為了便于表征和比較全景系統(tǒng)的緊湊性，更好的方法是使用全景系統(tǒng)的緊湊性比，作為體量緊湊性參數(shù)。

如下所示，全景系統(tǒng)緊湊性比，定義為全景系統(tǒng)的最大直徑與傳感器圖像的直徑大小之比：

其中Rcompact是緊湊性比，Dsensor是傳感器上成像的最大直徑，Dpanoramic是全景光學(xué)系統(tǒng)的最大橫向直徑。

光學(xué)系統(tǒng)的成像質(zhì)量主要取決于像差（aberration）、調(diào)制傳遞函數(shù)（MTF）和相對(duì)照明度。光學(xué)系統(tǒng)的成像分辨率與波長(zhǎng)和光圈孔徑大小有關(guān)。具體來(lái)說(shuō)，波長(zhǎng)越短，光圈孔徑越大，光學(xué)系統(tǒng)的分辨率越高。

極紫外光刻（Extreme ultraviolet lithography）光學(xué)系統(tǒng)是一種超高分辨率光學(xué)系統(tǒng)。

• 多攝像機(jī)拼接和單攝像機(jī)掃描

在全景光學(xué)系統(tǒng)的設(shè)計(jì)過(guò)程中，往往追求更大的視野。視場(chǎng)增大將給像差校正帶來(lái)更大的困難。在全景光學(xué)系統(tǒng)開發(fā)之初，通常使用多攝像機(jī)拼接（stitching）或單攝像機(jī)掃描（scanning）技術(shù)。

單攝像機(jī)掃描要求高速度、高幀率和高精度，以保持掃描穩(wěn)定性。然而，這種方法無(wú)法實(shí)時(shí)捕獲周圍環(huán)境。另一方面，多攝像機(jī)拼接技術(shù)需要依靠后處理算法拼接和校正，鏡頭標(biāo)定和校正仍存在誤差。多攝像頭拼接方法通常會(huì)帶來(lái)設(shè)備尺寸和功耗加大，還有不可避免的高價(jià)和高算力開銷。

魚眼光學(xué)系統(tǒng)的后續(xù)發(fā)展使用折射（refractive）光路進(jìn)行單鏡頭大視野成像。通常在前方使用更多的負(fù)片透鏡（negative lenses）來(lái)偏轉(zhuǎn)大視野的光路方向，這樣滿足大視野像差校正的光路顯得平滑。為了減少使用的透鏡數(shù)、還有設(shè)計(jì)、加工和組裝的難度，設(shè)計(jì)中經(jīng)常使用高折射率材料。雖然高折射率材料折射光線的能力更強(qiáng)，但也往往更昂貴。

為了進(jìn)一步縮小系統(tǒng)尺寸，出現(xiàn)了折反射（catadioptric ）全景系統(tǒng)、超半球透鏡、全景環(huán)形透鏡等新的全景成像結(jié)構(gòu)。這些新結(jié)構(gòu)通常使用折射光路將大視野光線收集到中繼（relay）透鏡組中，然后執(zhí)行像差校正。不同全景成像系統(tǒng)架構(gòu)的參數(shù)比較如表所示。

為了提供對(duì)真實(shí)環(huán)境的高維度檢測(cè)，紅外、可見光和紫外線波長(zhǎng)的全景成像系統(tǒng)被相繼設(shè)計(jì)。多維全景感知將拓寬人類對(duì)真實(shí)環(huán)境的理解，加深對(duì)真實(shí)世界的理解和認(rèn)識(shí)。同時(shí)，變焦全景光學(xué)系統(tǒng)可以在全景范圍內(nèi)的大FOV和小FOV之間切換，實(shí)現(xiàn)對(duì)關(guān)鍵感興趣區(qū)域的詳細(xì)檢測(cè)。

為了獲得更寬的觀測(cè)視野，還有多通道全景（multi- channel panoramic）系統(tǒng)。這些成像系統(tǒng)通常具有較大的視野。與單通道全景相比，具有某些優(yōu)勢(shì)。拍攝彎曲反射（bending-reflection）全景圖的光學(xué)系統(tǒng)通常有一個(gè)中心盲區(qū)。為了消除這個(gè)棘手污點(diǎn)，引入了二向色性薄膜（dichroic films ）和偏振（polarization）技術(shù)。

傳統(tǒng)的全景系統(tǒng)是球面設(shè)計(jì)。隨著FoV的增加，校正光學(xué)像差變得更加困難，通常會(huì)使用更多透鏡。這種設(shè)計(jì)也使裝配更加困難，不可避免地帶來(lái)尺寸和價(jià)格的增加。幸運(yùn)的是，高精度加工技術(shù)使新光學(xué)曲面成為可能。自由曲面、薄板光學(xué)和元曲面技術(shù)為全景成像系統(tǒng)的小型化和成像高性能提供了強(qiáng)大的引擎。

如圖是全景圖像FoV拼接技術(shù)：（a） 單攝像機(jī)掃描拍攝；（b） 移動(dòng)電話單相機(jī)拍攝大視野圖像；（c） 手機(jī)生成的大視野圖像；（d） 多攝像機(jī)拼接；（e） 六個(gè)可見光攝像頭FoV拼接；（f） 六臺(tái)環(huán)繞陣列可見光攝像機(jī)的成像結(jié)果。

• 魚眼光學(xué)系統(tǒng)

與FoV拼接方法獲取全景圖像相比，單攝像機(jī)掃描方法具有系統(tǒng)結(jié)構(gòu)簡(jiǎn)單、無(wú)需拼接、成本低和安裝穩(wěn)定等優(yōu)點(diǎn)。最經(jīng)典的方法是使用魚眼光學(xué)系統(tǒng)，該系統(tǒng)的稱呼是因?yàn)槠渥钋懊娴耐哥R突出，其結(jié)構(gòu)類似于魚眼，如圖所示：（a） 魚眼模仿的魚眼攝像頭；（b） 注水針孔相機(jī)原理；（c） 瞳孔位于曲率中心的半球透鏡原理；（d） 天空透鏡原理；（e） 現(xiàn)代魚眼鏡頭的原型；（f） 魚眼鏡頭Entaniya M12-280拍攝的全景圖像。

魚眼光學(xué)系統(tǒng)的FoV通常超過(guò)180度, 是一種超廣角光學(xué)系統(tǒng)。這種大視野成像光學(xué)系統(tǒng)通常由兩三個(gè)負(fù)彎月面透鏡（negative meniscus lenses）作為前光組成，將被攝目標(biāo)的大視野壓縮到常規(guī)透鏡所需的視野，然后通過(guò)后續(xù)透鏡組進(jìn)行像差校正。

由于魚眼光學(xué)系統(tǒng)的光路需要通過(guò)前端多個(gè)鏡（mirror）組折疊，因此光學(xué)系統(tǒng)的畸變較大，F(xiàn)-θ畸變通常大于20%。寬視野鏡頭的畸變控制尤為重要。

此外，魚眼光學(xué)系統(tǒng)的第一個(gè)透鏡的直徑通常比后校正透鏡的直徑大五倍。相對(duì)而言，由前后透鏡組之間的大直徑差導(dǎo)致魚眼光學(xué)系統(tǒng)緊湊性較差。魚眼系統(tǒng)的中心沒有盲區(qū)，但邊緣FoV失真會(huì)壓縮圖像。

因此，在設(shè)計(jì)之初，需要考慮系統(tǒng)結(jié)構(gòu)的緊湊性、顏色校正和失真校正。對(duì)于超廣角全景系統(tǒng)，每個(gè)FoV的離軸點(diǎn)（off-axis point）目標(biāo)有兩種像差：離軸點(diǎn)目標(biāo)的孔徑射線像差和主射線像差。

在魚眼光學(xué)系統(tǒng)中，除了畸變校正外，場(chǎng)曲率（field curvature）的波像差（way aberration）矯正和各光學(xué)表面的色差校正也非常重要。

在圖像采集方面，魚眼圖像可以通過(guò)精確的數(shù)字圖像處理算法進(jìn)行提取。用兩個(gè)魚眼鏡頭進(jìn)行圖像拼接可以獲得更大的全景視野。通過(guò)棱鏡折射光路，可以獲得更緊湊的體量。在溫度?40? ～ + 60? 真空環(huán)境中，空間魚眼系統(tǒng)仍然可以確保穩(wěn)定的成像性能。光纖紅外廣角成像系統(tǒng)可以實(shí)時(shí)捕獲寬視野和大景深的紅外圖像。

• 全景圖成像

最近有一種新全景光學(xué)系統(tǒng)，稱全景圖成像（panomorph imaging），具有更高的傳感器面積使用率和更多的感興趣區(qū)域像素。如圖所示：（a） 全景圖成像的典型光路；（b） 魚眼透鏡的圖像尺寸分布（左）和全景圖成像系統(tǒng)的圖像尺寸分布（右）；（c） 兩個(gè)全景圖成像系統(tǒng)（左）及其圖像結(jié)果（右）；（d） 魚眼鏡頭（左）和全景圖鏡頭（中）拍攝的圖像，使用全景圖鏡頭提高分辨率（右）。

• 折反射全景系統(tǒng)

折反射全景系統(tǒng)主要由兩部分組成，一部分是反射光學(xué)元件，另一部分是折射光學(xué)元件。反射元件通常是折反射系統(tǒng)前部元件的反射鏡。

與魚眼光學(xué)系統(tǒng)不同，折反射全景光學(xué)系統(tǒng)使用鏡子反射周圍360度光線進(jìn)入后續(xù)透鏡組，而魚眼光學(xué)系統(tǒng)使用多個(gè)負(fù)彎月面透鏡進(jìn)行折射，再壓縮進(jìn)入中繼透鏡組的光線方向。折反射全景光學(xué)系統(tǒng)的折射元件是后續(xù)透鏡組，用于校正成像的像差。反射鏡位于光圈和后續(xù)透鏡組的前面，可以是單透鏡的形式，也可以是兩個(gè)甚至多個(gè)透鏡的形式。

此外，由于成像視野較大，這種全景光學(xué)系統(tǒng)的F-θ畸變通常大于20%。與魚眼光學(xué)系統(tǒng)相比，它的前透鏡數(shù)更少，并且聚焦于環(huán)視成像。由于折反射成像的特點(diǎn)，該光學(xué)系統(tǒng)將自身成像在圖像的中心，也可以視為盲區(qū)或非感興趣區(qū)域。由于特征點(diǎn)定位不準(zhǔn)確，棋盤圖像失真會(huì)影響全景相機(jī)標(biāo)定的精度。與傳統(tǒng)方法相比，迭代細(xì)化方法可以將特征點(diǎn)的重投影誤差降低39%。

如圖所示：（a） 折反射全景系統(tǒng)成像原理；（b） 單鏡（mirror）折反射全景系統(tǒng)；（c）由單鏡（mirror）折反射全景系統(tǒng)拍攝的圖像；（d） 單鏡（mirror）折反射全景系統(tǒng)光路圖；（e） 雙鏡（mirror）同方向彎曲的紅外折反射全景系統(tǒng)；（f） 雙鏡（mirror）反方向彎曲的紅外折反射全景系統(tǒng)。

• 單中心全景鏡頭系統(tǒng)

復(fù)眼（Compound eye）是自然界節(jié)肢動(dòng)物（arthropod）的典型特征。與單孔徑視覺系統(tǒng)相比，復(fù)眼具有許多優(yōu)異的成像特性，例如體積小、視野寬、運(yùn)動(dòng)感知能力強(qiáng)以及光敏感性。有設(shè)計(jì)一種單中心（monocentric）監(jiān)控鏡頭光學(xué)系統(tǒng)。單中心系統(tǒng)的FoV為140度，焦距7.88mm，總長(zhǎng)度14.47mm，F(xiàn)/1.5。

還有提出一種具有多孔徑集成的單中心透鏡。這種光學(xué)系統(tǒng)的特點(diǎn)是所有光學(xué)表面都是球面，并共享一個(gè)共同曲率中心。具有緊湊成像體的單中心透鏡沒有昏光或散光（astigmatic）像差。與商用F/4攝像機(jī)相比，F(xiàn)/1.35、3000萬(wàn)像素、126度光纖耦合單中心透鏡成像原型，大大減小了寬視野成像系統(tǒng)的尺寸。圖像處理方法可以顯著提高光纖中繼的原型圖像質(zhì)量。

有一種新的伽利略單中心多尺度（GMMS）和開普勒單中心多尺度（KMMS）分析模型，該模型比近軸（paraxial）形式更精確。該模型避免了對(duì)不同單中心透鏡形式的費(fèi)力分析，保留了單中心多尺度（MMS）系統(tǒng)的關(guān)鍵點(diǎn)。GMMS系統(tǒng)具有較好的像差性能。該研究為單中心透鏡系統(tǒng)的進(jìn)一步應(yīng)用和發(fā)展提供了有益的參考。

如圖所示：（a） 典型的天然昆蟲復(fù)眼（蜻蜓）；（b） CurvACE原型；（c） 帶有光纖束的單中心透鏡，用于圖像中繼到平面?zhèn)鞲衅?；（d）F/1.35、3000萬(wàn)像素、126度 FoV光纖耦合單中心透鏡成像原型與類似FoV的商用F/4攝像頭尺寸比較；（e） 處理后的光纖中繼的原型圖像；（f） GMMS（頂部）系統(tǒng)和KMMS（底部）系統(tǒng)的光路圖。

• 超半球鏡頭成像

普通全景鏡頭的FoV大于200度，為了實(shí)現(xiàn)超大視場(chǎng)成像，設(shè)計(jì)了一種超半球透鏡。這個(gè)超廣角系統(tǒng)的視野角是360度×260度。有一種特殊設(shè)計(jì)是，雙焦（bifocal）超半球透鏡。

如圖所示：（a） 雙焦超半球鏡頭；（b） 用雙焦超半球鏡頭拍攝的圖像；（c） 雙通道超半球鏡頭系統(tǒng)的結(jié)構(gòu)和雙通道超半球鏡頭中物體的成像分布；（d） 超半球鏡頭原型（左上）、超半球鏡頭記錄的原始圖像（右上）和超半球鏡頭的展開圖像（底部）。

• 全景環(huán)形鏡頭

大自然是人類的老師。在自然界中，扇貝（scallop）通常擁有一個(gè)由多達(dá)200只眼睛組成的視覺系統(tǒng)，通過(guò)貝殼上的縫隙觀察周圍環(huán)境。全景環(huán)形透鏡的光路來(lái)自扇貝（pecten）眼睛的特殊結(jié)構(gòu)。整個(gè)系統(tǒng)主要由三部分組成：全景環(huán)形透鏡塊、中繼透鏡組和傳感器。根據(jù)平圓柱（flat cylinder）投影原理，系統(tǒng)可以形成360度具有半視野β的環(huán)形圖像，因此稱為全景環(huán)形透鏡。由于小反射器的遮擋，F(xiàn)oV中心將形成半FoVα的盲區(qū)。

如圖所示：（a） 200多只眼睛的扇貝；（b） 全景環(huán)形系統(tǒng)成像及組成；（c） 平圓柱投影原理；（d） 全景環(huán)形成像系統(tǒng)原型（左）、全景環(huán)形成像系統(tǒng)捕獲的原始圖（中）、全景環(huán)形成像系統(tǒng)捕原始圖像的展開圖（右）。

全景成像系統(tǒng)的新引擎介紹如下：

• 自由曲面

隨著先進(jìn)制造技術(shù)和測(cè)試技術(shù)的不斷發(fā)展，自由曲面光學(xué)元件使緊湊和高成像質(zhì)量的光學(xué)系統(tǒng)成為可能。與傳統(tǒng)球面相比，自由曲面可以提供更多的自由度，顯著改善成像系統(tǒng)的光學(xué)性能，并減小系統(tǒng)的尺寸。這項(xiàng)技術(shù)極大地促進(jìn)了從科學(xué)到廣泛領(lǐng)域的應(yīng)用，如極紫外光刻（extreme ultraviolet lithography）和空間光學(xué)方面。自由曲面光學(xué)是一個(gè)結(jié)合了設(shè)計(jì)、制造、測(cè)試和裝配的并行工程型過(guò)程。

傳統(tǒng)的全景透鏡設(shè)計(jì)采用球面透鏡。為了提高光學(xué)設(shè)計(jì)師在設(shè)計(jì)全景系統(tǒng)時(shí)的自由度，旋轉(zhuǎn)對(duì)稱非球形表面（symmetric aspheric surfaces）的使用為全景成像系統(tǒng)提供一個(gè)新機(jī)會(huì)。由于非球面的多自由度設(shè)計(jì)參數(shù)，全景成像系統(tǒng)可以實(shí)現(xiàn)傳統(tǒng)方法難以實(shí)現(xiàn)的系統(tǒng)參數(shù)、結(jié)構(gòu)和功能。

眾多提出的設(shè)計(jì)，比如奇數(shù)非球面、偶數(shù)非球面、Q型非球面、擴(kuò)展多項(xiàng)式非球面、環(huán)形拼接非球面和卵形（ogive）非球面和偶數(shù)卵形（even Ogive）非球面，已成功應(yīng)用于全景系統(tǒng)的設(shè)計(jì)。非對(duì)稱自由曲面也使全景光學(xué)系統(tǒng)具有新的變焦功能，包括Alvarez曲面自由曲面和XY多項(xiàng)式非球面。

• 薄板光學(xué)

與傳統(tǒng)的光學(xué)成像不同，計(jì)算成像技術(shù)可以根據(jù)成像原理，從信息獲取、信息傳輸和信息轉(zhuǎn)換的各個(gè)方向?qū)鈱W(xué)儀器捕獲的光學(xué)信息進(jìn)行編碼和解碼。計(jì)算成像可以通過(guò)散射、偏振和仿生（bionic）技術(shù)獲取和分析光場(chǎng)的多維信息，在實(shí)現(xiàn)大探測(cè)距離、高分辨率、高信噪比、多維信息、輕量、簡(jiǎn)單和便宜等方面具有許多優(yōu)勢(shì)。

幾十年來(lái)，光學(xué)研究人員一直致力于設(shè)計(jì)大視野、輕重量的緊湊型光學(xué)系統(tǒng)。菲涅耳透鏡（fresnel lens）在保持透鏡曲率形狀的同時(shí)，減小透鏡厚度，并可作為傳統(tǒng)連續(xù)表面透鏡的輕型替代品。由于其能夠減小光學(xué)系統(tǒng)的厚度，廣泛應(yīng)用于照明、太陽(yáng)能聚光器和準(zhǔn)直器等非成像領(lǐng)域。

當(dāng)光學(xué)透鏡表面的處理接近成像頻帶的光波長(zhǎng)時(shí)，光透射將不再符合幾何光學(xué)的三個(gè)透射定律（直傳、折射和反射），并將發(fā)生衍射效應(yīng)。此時(shí)，該光學(xué)元件被稱為衍射（diffraction）光學(xué)元件。采用衍射元件設(shè)計(jì)的光學(xué)系統(tǒng)需要確保整個(gè)光學(xué)系統(tǒng)具有較高的衍射效率。

將計(jì)算成像技術(shù)與菲涅耳/衍射光學(xué)元件相結(jié)合，形成了薄板光學(xué)（thin plate optics）技術(shù)。使用衍射編碼透鏡，針對(duì)不同的光譜分布形成明顯不同的點(diǎn)擴(kuò)散函數(shù)，聯(lián)合計(jì)算成像技術(shù)可以實(shí)現(xiàn)有效的相位差恢復(fù)和圖像重建。借助計(jì)算成像技術(shù)，使用菲涅耳透鏡或衍射光學(xué)元件的大視野輕型光學(xué)系統(tǒng)，可以實(shí)現(xiàn)接近傳統(tǒng)復(fù)雜光學(xué)系統(tǒng)的成像質(zhì)量，從而實(shí)現(xiàn)對(duì)大視野的簡(jiǎn)單系統(tǒng)感知。這種采用菲涅耳或折射-衍射混合和計(jì)算成像的下一代成像光學(xué)系統(tǒng)，可用于構(gòu)建計(jì)算成像的未來(lái)，以實(shí)現(xiàn)薄輕全景成像應(yīng)用。

• 元表面

目前，隨著光學(xué)技術(shù)和微納加工技術(shù)的飛速發(fā)展，光學(xué)系統(tǒng)的小型化已成為研究的熱點(diǎn)。對(duì)于場(chǎng)景感知、可穿戴設(shè)備、醫(yī)療設(shè)備、航空攝影和其他領(lǐng)域，微型光學(xué)系統(tǒng)備受青睞。傳統(tǒng)光學(xué)系統(tǒng)的小型化設(shè)計(jì)以高分辨率、高成像質(zhì)量和可加工性相互制衡，這給設(shè)計(jì)帶來(lái)了很大的挑戰(zhàn)和加工難度。

作為一種新的微納（micro-nano）表面技術(shù)，元表面（metasurface）顯示出巨大的潛力，去克服傳統(tǒng)光學(xué)透鏡物理限制的能力。元表面是一種二維元材料（metamaterial）。元材料通常由亞波長(zhǎng)金屬或電介質(zhì)單元組成，這些單元顯示出與現(xiàn)有材料不同的電磁特性，如負(fù)折射、光學(xué)隱身（optical stealth）等。

傳統(tǒng)光學(xué)透鏡通過(guò)厚度變化積累光路，產(chǎn)生相位梯度，實(shí)現(xiàn)波陣面的調(diào)制。當(dāng)光擊中亞波長(zhǎng)散射體時(shí)，其相位將發(fā)生突然變化，即不連續(xù)變化。將該散射體布置到表面中，然后精確控制每個(gè)單元的結(jié)構(gòu)以控制光的相位，可以使光會(huì)聚到一個(gè)點(diǎn)。這叫做元透鏡（metalens）。與傳統(tǒng)光學(xué)透鏡相比，元表面具有超薄的尺寸和體積。光束可以聚焦到衍射極限，并且具有超短焦距。

為了實(shí)現(xiàn)大視野，非彩色、寬帶、以及元透鏡的其他特性，研究人員對(duì)元透鏡進(jìn)行了一系列深入研究，下表顯示了一些代表性的工作。

元透鏡技術(shù)作為超薄光學(xué)元件，為全景系統(tǒng)提供了新的設(shè)計(jì)思路，小尺寸、高性能的商用全景成像系統(tǒng)將成為可能。

如圖所示：（a） 緊湊、高性能的自由曲面光學(xué)系統(tǒng)；（b） 衍射編碼透鏡和計(jì)算成像技術(shù)使圖像恢復(fù)成為可能；（c） 具有超寬視野（左）的單層平面元透鏡，基于中間紅外Huygens元表面（中）、衍射限制的聚焦和成像原理示例性設(shè)計(jì)側(cè)視圖，運(yùn)行在180度FoV的元透鏡樣品和元原子（meta-atoms）的掃描電子顯微鏡圖像（右）。

全景成像系統(tǒng)的應(yīng)用方面。

如圖所示全景場(chǎng)景分割用于語(yǔ)義環(huán)境理解：（a） 使用多個(gè)魚眼攝像頭進(jìn)行環(huán)視圖感知；（b） 全景環(huán)形語(yǔ)義分割，通過(guò)單全景攝像頭實(shí)現(xiàn)對(duì)周圍環(huán)境的無(wú)縫感知；（c） 基于針孔圖像無(wú)監(jiān)督域自適應(yīng)全景語(yǔ)義分割；（d） 全景分割，通過(guò)密集的對(duì)比預(yù)訓(xùn)練，提供像素級(jí)語(yǔ)義和實(shí)例信息，實(shí)現(xiàn)整體環(huán)境理解。

如圖所示用于幾何環(huán)境理解的全景深度估計(jì)：（a） 單目360度深度估計(jì)監(jiān)督方法示例，該方法雙向融合等矩形（equirectangular）和立方體圖（cube-map）投影表示；（b） 無(wú)監(jiān)督方法的示例，該方法利用基于卷積神經(jīng)網(wǎng)絡(luò)的自動(dòng)編碼器、基于深度圖像的渲染（DIBR）、極角度失真補(bǔ)償層和空洞空間金字塔池的組合。

如圖所示是全景視覺定位、視覺里程計(jì)和視覺SLAM：（a） 全景視覺定位方法的示例，其中全景圖像被處理并饋送到NetVLAD網(wǎng)絡(luò)以形成活躍深度的描述符，并且序列匹配被用于生成定位結(jié)果；（b） 具有專門設(shè)計(jì)的初始化、跟蹤和深度濾波器（depth filter）模塊的全景視覺里程計(jì)示例，用于處理快速運(yùn)動(dòng)和動(dòng)態(tài)場(chǎng)景；（c） 全景視覺SLAM方法的示例，其中捕獲的全向RGB圖像用彩色編碼的半致密深度信息覆蓋，并重建3D深度圖。

如圖所示全景光流估計(jì)、目標(biāo)檢測(cè)、布局估計(jì)和顯著性預(yù)測(cè)。（a） 為場(chǎng)景時(shí)域理解，360度真實(shí)世界環(huán)境視圖的全景光流估計(jì)示例；（b） 用于識(shí)別周圍目標(biāo)和感興趣位置的全景目標(biāo)檢測(cè)示例；（c） 用于室內(nèi)場(chǎng)景理解的全景3D布局估計(jì)示例；（d） 360度內(nèi)容中反映像素重要性的全景顯著性預(yù)測(cè)示例。（注：漏了插圖）

在場(chǎng)景理解領(lǐng)域，全景圖像語(yǔ)義分割和全景深度估計(jì)受到了極大的關(guān)注，因?yàn)槿皵z像頭提供了超寬視野（FoV）以實(shí)現(xiàn)密集和全面的感知，整個(gè)360度可以獲得像素級(jí)語(yǔ)義和幾何信息。視覺定位、里程計(jì)和SLAM也從全景成像中受益匪淺，這有助于克服這些挑戰(zhàn)。