1.ISP的定義和功能

2.ISP的組成

3.ISP的作用與工作流程

4.ISP的挑戰(zhàn)與發(fā)展趨勢

1.ISP的定義和功能

       由前文“”可知，攝像頭主要由鏡頭、感光元器件、濾光片、圖像信號處理器ISP (Image Signal Processor)、圖像傳輸接口等組成。

        其中圖像信號處理器ISP是攝像頭的核心組件，其主要作用是對前端感光元件（CMOS/CCD）輸出的原始信號進行后期處理，通過一系列復(fù)雜的算法處理，實時處理圖像信號，最終輸出高質(zhì)量的圖像。它是相機成像流程中的關(guān)鍵一環(huán)，對圖像質(zhì)量有著決定性的影響。        ISP的功能涵蓋了整個圖像處理的方方面面，從最初的信號處理到最后的圖像優(yōu)化。包括自動曝光AE (Automatic Exposure）、自動白平衡AWB ( Auto White Balance)、自動對焦AF (Auto Focus)、壞點校正、去噪、強光抑制、背光補償、色彩增強、鏡頭陰影校正、圖像裁剪、顏色空間轉(zhuǎn)換、圖像穩(wěn)定等功能。

       ISP的架構(gòu)方案主要分為外置ISP和內(nèi)置ISP兩種：
        外置ISP：在AP (Application Processor，應(yīng)用處理器）外部單獨布置ISP芯片用于圖像信號處理。

       內(nèi)置ISP：封裝在AP內(nèi)部，與AP緊密聯(lián)系在一起。
       在激烈的市場競爭下，能夠存活到現(xiàn)在的外置ISP生產(chǎn)廠商在此領(lǐng)域一般都有很深的造詣，積累了豐富的影像質(zhì)量調(diào)試經(jīng)驗，能夠提供比內(nèi)置ISP更優(yōu)秀的性能和效果。因此，選用優(yōu)質(zhì)的外置ISP能提供專業(yè)且優(yōu)秀的圖像質(zhì)量。
       外置ISP的選型基本不受AP的影響，因此可以從各個優(yōu)秀ISP芯片供應(yīng)商的眾多產(chǎn)品中甄選最合適的器件，從而設(shè)計出更多優(yōu)秀的產(chǎn)品。

       相對的，外置ISP也就意味著更高的價格。

2.ISP的組成

        ISP包括固件及運行在上面的邏輯部分 （軟件），它內(nèi)部包含中央處理器CPU (Central Processing Unit)、功能模塊SUB IP、圖像傳輸接口IF等設(shè)備，可以認為是一個獨立的SOC (System on Chip，系統(tǒng)級芯片）。

        CPU：即中央處理器，可以運行AF（自動對焦）、LSC(鏡頭陰影校正）等各種圖像處理算法，控制外圍設(shè)備?，F(xiàn)代的ISP內(nèi)部的CPU一般都是基于ARM架構(gòu)的，例如ARM Cortex-A系列，其中Cortex-A5和Cortex-A7是較為常見的型號，適用于入門級智能手機、低成本手機和智能移動終端等設(shè)備。ISP對實時圖像處理的需求需要CPU具備高性能、低功耗的特點。

       SUB IP：是各種功能模塊的通稱，對圖像進行各自專業(yè)的處理。常見的SUB IP如DIS（數(shù)字圖像穩(wěn)定）、CSC （色彩空間轉(zhuǎn)換）、VRA(視覺識別算法）等。
        IF：即圖像傳輸接口，主要分兩種，并口ITU和串口CSI。在手機相機、車載一體機領(lǐng)域，廣泛使用MIPI-CSI接口傳輸圖像數(shù)據(jù)和各種自定義數(shù)據(jù)。MIPI CSI全稱為Mobile Industry Processor Interface Camera Serial Interface，移動產(chǎn)業(yè)處理器接口相機串行接口，是由MIPI聯(lián)盟開發(fā)的一種高性能、低功耗、低成本的串行通信接口標(biāo)準(zhǔn)。
        MIPI CSI主要用于連接攝像頭模塊和處理器，支持高帶寬的數(shù)據(jù)傳輸。它包含應(yīng)用層、協(xié)議層和物理層。物理層定義了傳輸介質(zhì)、輸入/輸出電路信號的電氣特性和時鐘機制，主要使用的物理層協(xié)議有D-PHY、C-PHY和A-PHY。其中，D-PHY和C-PHY主要用于短距通信（例如幾厘米，一般是板內(nèi)通信），A-PHY適用于長距離通信（例如十幾米），并被應(yīng)用于車載領(lǐng)域。
      外置ISP一般包含MIPI-CSIS (Camera Serial Interface Sender，相機串行接口發(fā)送器）和MIPI-CSIM (CameraSerial Interface Master，相機串行接口主設(shè)備）兩個接口，內(nèi)置ISP一般只需要MIPIC-SIS接口。

       此外，ISP還包含通用外圍設(shè)備，如I2C (Inter-Integrated Circuit，兩線式串行總線）、 SPI (Serial Peripheral Interface，串行外設(shè)接口）、PWM (Pulse Width Modulation， 脈沖寬度調(diào)制）、 UART (Universal Asynchronous Receiver/Transmitter，通用異步收發(fā)傳輸器）、WATCHDOG等。

     I2C控制器，用于讀取OTP (One Time Programmable，一次性可編程）信息，控制VCM (Voice Coil Motor，音圈馬達） 等。對于外置ISP，ISP本身還是I2C從設(shè)備，應(yīng)用處理器AP可以通過I2C控制ISP的工作模式，獲取其工作狀態(tài)等。

3.ISP的作用與工作流程

        ISP的主要作用是對前端圖像傳感器輸出的信號做后期處理，大致流程如下：
        從傳感器獲取原始數(shù)據(jù)：圖像傳感器（通常為CMOS傳感器&CCD傳感器）首先捕捉圖像的原始數(shù)據(jù)。這些數(shù)據(jù)通常是帶有噪聲、缺少顏色信息和對比度較低的RAW圖像數(shù)據(jù)。

        數(shù)據(jù)預(yù)處理：原始圖像數(shù)據(jù)經(jīng)過初步的處理，如信號放大、模數(shù)轉(zhuǎn)換等，以準(zhǔn)備進入后續(xù)的圖像處理階段。
       圖像處理：ISP對原始數(shù)據(jù)進行復(fù)雜的處理，包括去噪、色彩校正、去馬賽克、動態(tài)范圍優(yōu)化、銳化等，最終得到一張視覺效果優(yōu)化的圖像。        輸出和顯示：經(jīng)過處理后的圖像可以傳輸?shù)斤@示屏，或者存儲到存儲介質(zhì)中。

黑電平補償 BLC(Black level Correction)
       物理器件不可能是理想的，由于雜質(zhì)、受熱等原因的影響，即使沒有光照射到感光器件上，感光器件也會產(chǎn)生電荷，這些電荷產(chǎn)生了暗電流。而且，暗電流與光照產(chǎn)生的電荷很難進行區(qū)分。

Black Leve 是用來定義圖像數(shù)據(jù)為0時對應(yīng)的信號電平。由于暗電流的影響，傳感器出來的實際原始數(shù)據(jù)（數(shù)據(jù)不為0）并不是我們需要的黑平衡。所以，為減少暗電流對圖像信號的影響，可以采用的有效的方法是從已獲得的圖像信號中減去參考暗電流信號。
       一般情況下，在傳感器中，實際像素要比有效像素多，像素區(qū)頭幾行作為不感光區(qū)（實際上，這部分區(qū)域也做了RGB 的color filter)，用于自動黑電平校正，其平均值作為校正值，然后在下面區(qū)域的像素都減去此矯正值，那么就可以將黑電平矯正過來了。沒做黑電平矯正的圖片會比較亮，影響圖像的對比度。

線性糾正        

通過校正傳感器輸出的非線性信號，使圖像信號與實際光線強度成線性關(guān)系，確保成像精度。

噪聲去除
       噪聲可能由多種因素引起，如傳感器噪聲、傳輸錯誤或環(huán)境干擾。圖像處理器能夠減少或消除圖像中的噪聲成份，使得最終輸出的圖像更加清晰、細節(jié)更加豐富。常用的去噪方法包括：
        高斯濾波：一種平滑線性濾波器，通過加權(quán)平均的方式去除噪聲，但會損失部分邊緣和細節(jié)紋理特征。
        中值濾波：一種統(tǒng)計排序濾波器，通過取鄰域內(nèi)像素的中值來去除噪聲，適合處理離散的點噪聲，但可能會破壞圖像的細節(jié)紋理。        P-M方程去噪：基于熱傳導(dǎo)方程的圖像去噪方法，能夠去除高斯噪聲并保護邊緣不被平滑。

TV法去噪：以全變分理論為基礎(chǔ)，能夠去除高斯噪聲和孤立點噪聲，同時保護圖像邊緣和細節(jié)。

某些ISP還集成了基于機器學(xué)習(xí)的去噪算法，以更智能地處理復(fù)雜的噪聲場景。

      由于鏡頭的光學(xué)構(gòu)造，導(dǎo)致了經(jīng)過鏡頭進入sensor的光線中間多四周少，進而導(dǎo)致了數(shù)字圖像出現(xiàn)中間區(qū)域亮，四周區(qū)域暗(shading)的情況。期望通過暗角校正后，圖像的四周和中心亮度一致。
       校正算法原理：測定shading的分布情況，采用多項式擬合或同同心圓補償?shù)姆椒▽ζ湫Ｕ?br />         鏡頭陰影有兩種表現(xiàn)形式，分別是：
        Luma shading，又稱Vignetting，指由于鏡頭通光量從中心向邊緣逐漸衰減導(dǎo)致畫面邊緣亮度變暗的現(xiàn)象。        Chroma shading，指由于鏡頭對不同波長的光線折射率不同引起焦平面位置分離導(dǎo)致圖像出現(xiàn)偽彩的現(xiàn)象。

自動曝光AE（Automatic Exposure）

根據(jù)外界光線的強弱自動調(diào)整曝光參數(shù)，防止曝光過度或不足，以獲得最佳的圖像質(zhì)量。
       曝光量是指光線作用于感光元件（如膠片或傳感器）上的總量，由以下三個因素共同決定：
        光圈：鏡頭內(nèi)光圈葉片的孔徑大小，影響通光面積。光圈越大（數(shù)值越?。﹩挝粫r間內(nèi)通過的光線越多。
        快門：決定曝光時間，即感光元件受光線照射的時間。快門速度越快，曝光時間越短；反之，曝光時間越長。        ISO：感光度，衡量底片（或感光元件）對光的靈敏程度。ISO值越高，對光的靈敏度越高，但也可能導(dǎo)致噪點增加。
       在自動曝光系統(tǒng)中，相機通過測光系統(tǒng)測量被攝畫面的亮度，并根據(jù)曝光方程計算出合適的曝光量，然后自動調(diào)整光圈、快門速度和ISO等參數(shù)以達到該曝光量。
       曝光環(huán)路算法是最常見的自動曝光算法，該算法通過一個閉環(huán)控制系統(tǒng)流來實現(xiàn)，其中包括：
        初始曝光估值計算：根據(jù)當(dāng)前場景的亮度，通過傳感器采集圖像象數(shù)據(jù)來估算初始曝光值。

       曝光調(diào)整：根據(jù)初始估值結(jié)果調(diào)整快門速度、光圈和ISO設(shè)置。        反饋：拍攝一張圖像并計算其亮度，反饋到算法中，進行曝光調(diào)整。
       為了實現(xiàn)準(zhǔn)確的自動曝光，相機通常提供多種測光模式，包括：
        平均測光（或稱分割測光）：將取景畫面分割為若干區(qū)域，計算各區(qū)域的加權(quán)平均值以確定曝光量。
        局部測光：對畫面的某一局部區(qū)域進行測光，以該區(qū)域的亮度為準(zhǔn)來確定曝光量。
        點測光：只對很小的區(qū)域進行測光，通常用于拍攝特寫或需要精確控制曝光量的場景。        中央重點平均測光：偏重于取景器中央?yún)^(qū)域的亮度，同時考慮整個場景的亮度分布來確定曝光量。

自動白平衡AWB ( Auto White Balance)
       自動白平衡是通過算法調(diào)整圖像的色彩平衡，將不同色溫的環(huán)境光下成像后的白色還原成真實的白色(通常為自然日光環(huán)境下人觀察到的白色）。

       其原理基于顏色恒常性，即如果一個物體表面對光線的反射特性不隨光照條件而變化（大多數(shù)物體都滿足這一條件），那么該表面的光亮度與環(huán)境光亮度的比值也恒等。攝像機或數(shù)碼相機通過內(nèi)置的傳感器和算法，自動探測環(huán)境光的色溫，并調(diào)整紅、綠、藍三路信號的相對增益，使輸出的三基色電壓相等，從而在屏幕上重現(xiàn)出標(biāo)準(zhǔn)白色。

去馬賽克(Demosaicing)
       去馬賽克(Demosaicing)用于將圖像傳感器(CMOS/CCD傳感器)捕獲的原始數(shù)據(jù)轉(zhuǎn)換為完整的彩色圖像。由于圖像傳感器使用的顏色濾光陣列CFA（Color Filter Array）通常是單一的，每個像素只采集一種顏色(紅、綠或藍),因此需要進行去馬賽克處理來恢復(fù)到完整的彩色圖像，重建每個像素的RGB值。
       去馬賽克算法可以分為兩類：線性插值方法和非線性插值方法。根據(jù)不同的策略，算法的復(fù)雜性和效果會有所不同。
        線性插值方法通過對鄰域像素進行加權(quán)平均來推算缺失的顏色值，通常簡單但計算速度較快。

        非線性插值方法通過更復(fù)雜的算法推算缺失的顏色值，這些方法能夠在去噪、銳化和細節(jié)保留方面表現(xiàn)得更好。
        近年來，深度學(xué)習(xí)方法在圖像去馬賽克中取得了顯著的進展。通過訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)(DNN)來學(xué)習(xí)去馬賽克的過程，能夠更好地重建缺失的顏色信息。       去馬賽克的主要挑戰(zhàn)就是在每個像素點上，利用周圍鄰域的信息推測出丟失的顏色值，同時盡量保留圖像的細節(jié)、避免顏色失真和避免過度平滑。去馬賽克算法需要在去噪、銳化、細節(jié)保留等方面找到平衡。

銳化       銳化是補償圖像的輪廓，增強圖像的邊緣及灰度跳變的部分，使圖像變得清晰的過程。銳化分為空間域處理和頻域處理兩類。

動態(tài)范圍優(yōu)化
        動態(tài)范圍是指圖像中最亮和最暗部分之間的亮度范圍。動態(tài)范圍優(yōu)化旨在改善圖像的亮度分布，使其更加適合人眼觀察或后續(xù)處理。常用的方法包括：
       平滑處理法：對圖像的鄰點進行平均，類似于視頻過濾，但這種方法不會降低本底噪聲。
       平均值法：通過多次掃描取平均值來降低噪聲功率，從而改善動態(tài)范圍。       降低中頻帶寬：通過降低數(shù)字濾波器的帶寬來濾除噪聲，從而降低本底噪聲并改善動態(tài)范圍。

4.ISP的挑戰(zhàn)與發(fā)展趨勢

        隨著ISP芯片性能的不斷提升和AI技術(shù)的深度融合，AI-ISP結(jié)合人工智能技術(shù)和傳統(tǒng)ISP的圖像處理能力，提供了更強的圖像處理效果。通過引入深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)，ISP將實現(xiàn)更高級的功能，如更智能的自動對焦、復(fù)雜場景下的多幀合成，以及動態(tài)場景識別下的自動參數(shù)調(diào)整等。AI-ISP能夠進行像素級的智能處理，提升圖像的清晰度、降噪效果和動態(tài)范圍的表現(xiàn)力。
       但與此同時，AI-ISP的發(fā)展也面臨不少的挑戰(zhàn)。
       第一個重大目顯而易見的挑戰(zhàn)就是算力，隨著圖像分辨率的提升和處理復(fù)雜度的增加，ISP所需的算力也在不斷增加。目前，很多端側(cè)芯片難以滿足AI-ISP的算力需求，這成為了一個顯著的挑戰(zhàn)。
       第二個挑戰(zhàn)是圖像質(zhì)量的檢測，目前AI-ISP算法通常采用的是基于數(shù)據(jù)集的模型訓(xùn)練，但數(shù)據(jù)集的獲取和圖像質(zhì)量的判斷都是復(fù)雜且困難的問題。目前，還沒有統(tǒng)一的圖像質(zhì)量檢測標(biāo)準(zhǔn)，這影響了訓(xùn)練模型效果的判斷。       第三個是復(fù)雜的應(yīng)用場景，不同應(yīng)用場景對圖像處理的要求各異，如高幀率視頻監(jiān)控需要保持圖像的清晰度和穩(wěn)定性，而無人機則需在低功耗條件下處理深度信息和物體識別。ISP需要適應(yīng)這些多樣化需求，提高產(chǎn)品的競爭力。

未來AI-ISP的發(fā)展將主要聚焦于以下幾個方面：

       解決極端場景問題：繼續(xù)提升AI-ISP在夜間、霧天和高動態(tài)范圍場景下的表現(xiàn)，使其在復(fù)雜光照條件下保持圖像質(zhì)量的穩(wěn)定輸出。
        技術(shù)標(biāo)準(zhǔn)化：隨著AI-ISP技術(shù)的快速發(fā)展，逐漸形成統(tǒng)一的行業(yè)標(biāo)準(zhǔn)，幫助開發(fā)者在不同設(shè)備和平臺間更好地實現(xiàn)技術(shù)對接和兼容。       擴大端側(cè)使用場景：通過優(yōu)化AI-ISP效果，進一步擴大其在常用場景的使用頻率，降低其實現(xiàn)難度并提高與傳統(tǒng)的ISP效果差別，以滿足更廣泛的實時處理需求。