4. 未來工作：面向計算機視覺的專用圖像信號處理器（ISP）
4.1. 調優(yōu)算法
調優(yōu)算法通常需要一個可優(yōu)化的標量度量指標。度量指標既可以在圖像層面定義，也可以在計算機視覺算法層面定義。針對人類觀看需求進行的圖像信號處理器（ISP）調優(yōu)傳統(tǒng)上是基于各測試對象偏好分數的匯總，以主觀方式完成的。也存在客觀的圖像質量度量指標，如均方誤差（MSE）、結構相似性（SSIM）等，但它們通常與感知相似性并不對應。對于計算機視覺算法的調優(yōu)而言，直接對算法的關鍵性能指標（KPI）進行調優(yōu)效果更好。通常會有多個應用，如深度學習、運動恢復結構、視覺同時定位與地圖構建（SLAM）等，各個算法的不同精度需要通過加權求和來進行衡量。在對多個算法關鍵性能指標（KPI）進行調優(yōu)時，主要挑戰(zhàn)在于每次迭代的時間復雜度，對于參數搜索空間較大的情況，這可能變得不切實際。因此，必須采用一些高效的策略?？梢韵葘D像質量度量指標進行調優(yōu)，以便為計算機視覺算法調優(yōu)方法提供良好的初始值。值得注意的是，就深度學習算法而言，可能根本不需要圖像信號處理器（ISP）組件，因為深度學習網絡能夠隱式地學習必要的變換。不過，在深度學習網絡中顯式地對其進行建模以利用成像方面的先驗知識，或許效果會更好。戴蒙德等人 利用這一思路對一個可微的圖像信號處理器（ISP）模塊進行建模，該模塊可與識別網絡一起進行端到端的訓練。
一旦確定了調優(yōu)度量指標和策略，優(yōu)化算法就會找出最佳參數集。最簡單的方法是手動試錯，即由開發(fā)算法的專家根據經驗對參數集進行調整。通常，會將計算機視覺領域常用的標準參數集作為起點，再進一步細化。一般來說，這是一個繁瑣的手動過程，無法系統(tǒng)地得出最優(yōu)參數集。對于具有數百個參數的圖像信號處理器（ISP）的大型搜索空間而言，手動調優(yōu)尤其困難。最簡單的優(yōu)化算法是網格搜索和隨機搜索。在網格搜索中，會基于所有可能的組合在網格上定義參數范圍，然后使用暴力搜索的方式對其進行評估。對于參數組合較多的情況，這種方法并不實用。一種改進的方法是隨機搜索，即采用一種巧妙的采樣策略隨機選擇參數。在 [95] 中，針對大型搜索空間已成功展示了這種方法。然而，它并不能保證收斂到最優(yōu)參數集。
近來，出現了許多更智能的、適用于大型搜索空間問題的優(yōu)化方法。貝葉斯優(yōu)化 [96] 是一種常用于優(yōu)化大規(guī)模問題（特別是評估函數計算成本較高的情況）的形式化方法。原則上，它有可能將其他搜索啟發(fā)式方法（如遺傳算法或群優(yōu)化技術）融入先驗模型中。因此，它是一種更通用且更強大的方法。從形式上講，問題可定義如下：一個算法有一個參數空間 P = {p1, p2, …, pn }，它是由所有可能的參數配置組成的集合。參數通常是數值型的，也可以是類別型的，如啟用 / 禁用某個模塊。每個參數的分辨率和范圍將是關鍵的設計選擇。對于具有數百個參數的圖像信號處理器（ISP）配置，集合 P 的基數可能會超過 102?，暴力搜索是不可行的。
算法調優(yōu)問題可定義如下：popt = argmax (pi∈P)(Faccuracy (p))，其中 popt 是使精度成本函數 Faccuracy (p) 最大化的最優(yōu)參數配置。通常，會有多個算法，其精度需要聯合優(yōu)化。標準方法是通過加權求和將不同的精度標量化。也有多目標優(yōu)化方法，其目的是在多維空間中同時優(yōu)化關鍵性能指標（KPI）。通常，這種方法相對復雜，也需要大量的人工干預?；谛蛄心Ｐ偷乃惴ㄅ渲茫⊿MAC3）（是一款用于優(yōu)化配置的熱門工具，它結合了貝葉斯優(yōu)化、梯度下降以及其他啟發(fā)式方法。
單圖像信號處理器（ISP）與雙圖像信號處理器（ISP）
人類視覺（HV）和計算機視覺（CV）的需求可能不同。傳統(tǒng)上，出于成本考慮，在處理片上系統(tǒng)（SOC）板載或配套芯片上只有一個圖像信號處理器（ISP），而且通常是針對人類視覺進行調優(yōu)的。來自同一流水線的圖像被用于機器視覺應用。已有研究表明，針對人類視覺（HV）和計算機視覺（CV）優(yōu)化的圖像信號處理器（ISP）是不同的 [94,97]。我們也將在下一節(jié)展示更多這方面的實證證據。將圖像信號處理器（ISP）拆分為分別用于人類視覺（HV）和計算機視覺（CV）的獨立流水線，能夠對二者分別進行獨立調優(yōu)，以便各自實現性能最大化。這對于機器學習算法尤其重要，因為機器學習算法理想情況下是基于特定的圖像信號處理器（ISP）設置進行訓練的。雙圖像信號處理器（ISP）流水線如圖 19 所示。人們對獨立圖像信號處理器（ISP）的重要性有了更深入的理解，而且現在大多數汽車片上系統(tǒng)（SOC）都具備了支持雙圖像信號處理器（ISP）流水線的計算能力和內存帶寬。盡管采用了多個圖像信號處理器（ISP）的實現方式，但存在一個關鍵限制，即動態(tài)反饋回路算法必須由一個主控制器來控制。相應圖像傳感器的底層行為，例如特定曝光下某個像素的曝光時間，必須進行唯一控制。

圖 19. 雙圖像信號處理器（ISP）示意圖