摘要

行人檢測目前是智能汽車領(lǐng)域的一個研究熱點(diǎn)，如何高效、準(zhǔn)確地識別行人是技術(shù)關(guān)鍵。然而我們所提取到的圖像往往為灰度圖像，忽略了顏色特征，文章結(jié)合全局先驗(yàn)及局部圖像特征，提出了一種新的方法來自動彩色化灰度圖像。基于深度卷積神經(jīng)網(wǎng)絡(luò)，可以很好的融合局部特征。此外，不同于現(xiàn)有的大部分基于CNN的方法，文章的架構(gòu)可以處理任何分辨率的圖像。與目前一般水平相比，文章通過用戶研究證實(shí)了自身方法的優(yōu)越性。此外，證明本文的方法可以適用于許多不同類型的圖像。

引言

行人檢測是目前智能車輛研究的一個熱點(diǎn)，許多的研究機(jī)構(gòu)、高校以及汽車廠商目前已經(jīng)做了大量研究。研究行人檢測可以減少行人和車輛碰撞造成的傷亡數(shù)量和事故等級，并在危險狀況下警告駕駛員和自動減速；同時行人檢測也是實(shí)現(xiàn)低速自動駕駛重要的一步。行人檢測通過傳感器獲取目標(biāo)行人的信息特征，由于顏色特征可增強(qiáng)圖像識別的準(zhǔn)確率，為了提高行人檢測的效率，本文提出了一種自動彩色化灰度圖像模型。灰度圖像彩色化的算法主要有基于優(yōu)化拓展的彩色化算法、基于最短距離和色度混合的彩色化算法以及基于顏色轉(zhuǎn)移的彩色化算法。

CNN的基本結(jié)構(gòu)包括兩層，其一為特征提取層，每個神經(jīng)元的輸入與前一層的局部接受域相連，并提取該局部的特征。一旦該局部特征被提取后，它與其它特征間的位置關(guān)系也隨之確定下來；其二是特征映射層，網(wǎng)絡(luò)的每個計(jì)算層由多個特征映射組成，每個特征映射是一個平面，平面上所有神經(jīng)元的權(quán)值相等。由于CNN的特征檢測層通過訓(xùn)練數(shù)據(jù)進(jìn)行學(xué)習(xí)，所以在使用CNN時，避免了顯示的特征抽取，而隱式地從訓(xùn)練數(shù)據(jù)中進(jìn)行學(xué)習(xí)；再者由于同一特征映射面上的神經(jīng)元權(quán)值相同，所以網(wǎng)絡(luò)可以并行學(xué)習(xí)，這也是卷積網(wǎng)絡(luò)相對于神經(jīng)元彼此相連網(wǎng)絡(luò)的一大優(yōu)勢。卷積神經(jīng)網(wǎng)絡(luò)以其局部權(quán)值共享的特殊結(jié)構(gòu)在語音識別和圖像處理方面有著獨(dú)特的優(yōu)越性，其布局更接近于實(shí)際的生物神經(jīng)網(wǎng)絡(luò)，權(quán)值共享降低了網(wǎng)絡(luò)的復(fù)雜性，特別是多維輸入向量的圖像可以直接輸入網(wǎng)絡(luò)這一特點(diǎn)避免了特征提取和分類過程中數(shù)據(jù)重建的復(fù)雜度。

在經(jīng)典彩色化灰度圖像方法及卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，本文提出了：

·  無用戶干擾的灰度圖像彩色化方法；

·  一種新的端到端的網(wǎng)絡(luò)，學(xué)習(xí)圖像的全局及局部特征；

·  利用分類標(biāo)簽來提高學(xué)習(xí)性能；

·  深度評估我們用戶學(xué)習(xí)的模型及許多不同的例子。

1 全局和局部結(jié)合模型

本文基于卷積神經(jīng)網(wǎng)絡(luò)理論，從大量的訓(xùn)練數(shù)據(jù)中訓(xùn)練檢測模型。本文的網(wǎng)絡(luò)由形成有向無環(huán)圖（DAG）的幾個子部分組成，并包括了與廣泛使用的標(biāo)準(zhǔn)模型的重要差異，尤其該模型可以處理任何分辨率的圖像，可結(jié)合全局圖像先驗(yàn)進(jìn)行局部預(yù)測及將其轉(zhuǎn)換為另一種顏色的圖像。模型及子部分的描述見圖1。由圖可知，模型由四個主要部分組成：底層特征網(wǎng)絡(luò)、中層特征網(wǎng)絡(luò)、全局特征網(wǎng)絡(luò)及彩色化網(wǎng)絡(luò)。


圖1 自動彩色化灰度圖像模型

1.1 深度網(wǎng)絡(luò)

深度神經(jīng)網(wǎng)絡(luò)具有多層結(jié)構(gòu)。給定一個輸入即可預(yù)測連續(xù)值，函數(shù)形式如下所示：

         (1)

其中，，，x為輸入，y為輸出，w為權(quán)重，b為偏置。

卷積神經(jīng)網(wǎng)絡(luò)具有權(quán)值共享的特性，權(quán)值共享降低了網(wǎng)絡(luò)的復(fù)雜性，特別是多維輸入向量的圖像可以直接輸入網(wǎng)絡(luò)這一特點(diǎn)避免了特征提取和分類過程中數(shù)據(jù)重建的復(fù)雜度。一般來說，向量x、y的分量是通過笛卡爾坐標(biāo)以及通道號被像素檢索的，一層是由多個通道的2D圖像組成。綜上，公式(1)可變?yōu)槿缦滦问剑?br />
               （2）

由以上公式可以看出，權(quán)值W可以在神經(jīng)元之間互相傳遞，實(shí)現(xiàn)共享。

該模型中，層與層之間是連續(xù)的連接，大多數(shù)分類網(wǎng)絡(luò)最初使用卷積層，最后使用常規(guī)的全連接層來使輸出為一個特定尺寸的向量，但這樣的網(wǎng)絡(luò)只能處理固定大小的圖像，為了解決此問題，本文提出了自動彩色化灰度圖像模型，可處理任何分辨率大小的圖像。

1.2 全局與局部特征彩色化融合

將全局特征與局部特征進(jìn)行融合，全局特征可確定輸入圖像的類型。假設(shè)輸入圖像尺寸為W，卷積核尺寸為F，步幅（stride）為S（卷積核移動的步幅），Padding使用P（用于填充輸入圖像的邊界，一般填充0）。在本文中，使用3×3卷積內(nèi)核及1×1的空隙作為輸入來保證輸出圖像是同等的尺寸大?。ㄈ舨椒鶠?，則輸出圖像尺寸減半）。共享功能的結(jié)構(gòu)如表1所示。

表1 底層特征網(wǎng)絡(luò)


1.2.1 全局圖像特征

全局圖像特征是通過四個卷積層進(jìn)一步處理底層特征，再通過三個全連接層獲得，其詳細(xì)內(nèi)容如表2所示。

表2 全局特征網(wǎng)絡(luò)


由于該網(wǎng)絡(luò)中線性層的性質(zhì)，底層特征的輸入固定尺寸為224×224像素。

1.2.2 中層特征

中層特征是通過兩個卷積層進(jìn)一步處理底層特征得到的。輸出從底層特征的512通道數(shù)變?yōu)橹袑犹卣鞯?56通道數(shù)，與全局圖像特征不同的是，底層特征與中層特征均為全卷積網(wǎng)絡(luò)，中層特征網(wǎng)絡(luò)的輸出尺寸大小為，H、W為原始圖像的高度與寬度，具體如下表所示：

表3 中層特征網(wǎng)絡(luò)


1.2.3 全局與局部特征融合

為了結(jié)合全局圖像的256維向量特征與局部（中層）圖像特征，本文介紹了一種融合層，該層用于將全局特征融入局部特征，融合方式如下：

          （5）

其中，為融合特征，為全局特征向量，為中層特征，W為256×512權(quán)重矩陣，為偏置，W與b均為可訓(xùn)練學(xué)習(xí)的系數(shù)。

1.2.4 彩色化網(wǎng)絡(luò)

全局特征與局部特征融合后，再經(jīng)過一組卷積層和上采樣層，上采樣層，為跨度轉(zhuǎn)置卷積（Strided Transposed Convolutions）,跨度為S，即上采樣層將為該層的每個輸入產(chǎn)生S個輸出。在輸出是原始輸入的一半大小之前，這些層是交替出現(xiàn)的。彩色化網(wǎng)絡(luò)的輸出層有具有Sigmoid傳遞函數(shù)的卷積層組成，輸出為輸入灰度圖像的色度，具體如下表所示：

表4 彩色化網(wǎng)絡(luò)


本文采用均方誤差（MSE）標(biāo)準(zhǔn)來訓(xùn)練網(wǎng)絡(luò)，給定一張彩色圖像作為訓(xùn)練樣本，將其轉(zhuǎn)換為灰度和CIE L*a*b*顏色空間。模型的輸入是灰度圖像而目標(biāo)輸出是CIE L*a*b顏色空間的a*b*分量，a*b*分量被全局歸一化，因此它們在Sigmoid函數(shù)的[0,1]范圍內(nèi)，然后，我們將目標(biāo)輸出縮放至彩色化網(wǎng)絡(luò)輸出的大小，并計(jì)算輸出與目標(biāo)輸出之間的MSE作為損失，最后將通過所有網(wǎng)絡(luò)（全局特征、中層特征、底層特征）將此損失反向傳播，更新模型中的參數(shù)。

1.3 優(yōu)化與學(xué)習(xí)

該模型能處理任何大小的圖像，當(dāng)輸入圖像為224×224像素時，效率最高，若輸入圖像具有不同的分辨率，底層特征的權(quán)重共享時，需要重新調(diào)節(jié)全局特征網(wǎng)絡(luò)圖像大小為224×224像素。這需要通過底層特征網(wǎng)絡(luò)出了原始圖像及重新縮放圖像，增加了內(nèi)存消耗與計(jì)算時間，在學(xué)習(xí)過程中必須多次處理數(shù)百上千張圖像，尤其在訓(xùn)練階段，節(jié)省時間變得至關(guān)重要。因此，本文僅僅采用尺寸為224×224像素的圖像來訓(xùn)練模型。

本文在訓(xùn)練階段對整個網(wǎng)絡(luò)使用批量歸一化處理，一旦網(wǎng)絡(luò)被訓(xùn)練，批量標(biāo)準(zhǔn)化的平均值和標(biāo)準(zhǔn)偏差就可以被并入到每層的權(quán)重和偏置中。

2 實(shí)驗(yàn)結(jié)果與討論

車輛的顏色相對來說比較單一，在彩色化車輛圖像時無須考慮太多顏色過渡區(qū)域的細(xì)節(jié)處理，但一般行人的著裝具有多樣性，衣服顏色比較復(fù)雜，在進(jìn)行彩色化時需要處理很多顏色過渡區(qū)域，為了測試本文所提出的自動彩色化灰度圖像模型的性能，采集各種不同類型的行人及其他圖片，評估包括黑白圖像及特寫圖像在內(nèi)的大量不同圖像，同時本文還闡述了如何通過利用在不同圖像上計(jì)算的全局特征，直接使用模型進(jìn)行樣式轉(zhuǎn)換。在訓(xùn)練階段開始前，我們需要預(yù)先過濾一遍圖像來濾除灰度圖像及具有較小顏色差異的圖像。對訓(xùn)練圖像進(jìn)行隨機(jī)的分類并將其用于優(yōu)化我們模型的參數(shù)。

2.1 彩色化結(jié)果

本文的彩色化模型利用全局特征與局部特征的融合，使其能夠正確地對行人、車輛等進(jìn)行彩色化，所有這些結(jié)果均為自動生成，無須人為干預(yù)，具體彩色化結(jié)果如圖2所示。

2.2 對比分析

通常情況下，我們無法對圖像的重點(diǎn)區(qū)域進(jìn)行顏色處理，如圖3縮放區(qū)域所示，尤其是在顏色變化區(qū)域，由于行人衣著以及環(huán)境顏色的多樣化，我們在進(jìn)行彩色化的時候要將行人和環(huán)境的顏色進(jìn)行比較好的融合處理。本文采用一致的方式對所有圖像進(jìn)行彩色化，譬如在圖3中，最左邊為灰度圖像，中間的為采用基準(zhǔn)的方法彩色化的圖片，最右邊為采用本文的模型進(jìn)行彩色化的圖片。由圖中對比可以看到，第一幅圖斑馬線處的藍(lán)色線條，采用傳統(tǒng)的基準(zhǔn)的方法并沒有將其彩色化，將其忽略；警察的制服顏色彩色化的程度也不太明顯，還有后邊車輛的車牌處也沒有達(dá)到比較好的彩色化效果；同樣，在第二幅圖中，黃色的斑馬線沒有被彩色化，最前面女孩的衣服和背包也沒有達(dá)到很好的彩色化效果。由以上結(jié)果，我們可以看出，采用傳統(tǒng)的彩色化方法不能很好的處理顏色過渡區(qū)域，只能較好的處理比較單一的顏色區(qū)域，而在我們現(xiàn)實(shí)生活中，行人的著裝、發(fā)色、裝飾以及所處的環(huán)境的顏色具有多樣性，此時采用本文的自動彩色化模型可以達(dá)到較為理想的彩色化效果。


圖2 部分彩色化圖像


圖3 彩色化模型對比

全局特征值是基于灰度像素值的描述，可以分為直方圖特征、顏色特征及輪廓特征。由于采用基準(zhǔn)的方法進(jìn)行彩色化時不包含全局特征，（RGB為非均勻的顏色空間，而基準(zhǔn)為L，a、b的均勻顏色空間）所以在采用基準(zhǔn)彩色化灰度圖像時，圖片處理時會有誤差，可能達(dá)不到理想的效果。而本文所提出的自動彩色化灰度圖像的模型是將全局特征及局部特征進(jìn)行融合，可以更好的提取圖片的顯著特征，經(jīng)過統(tǒng)計(jì)計(jì)算，在真實(shí)場景的自然度為97.7%時，采用基線與本模型的自然度分別為69.8%與92.6%。

本文在不同分辨率的圖像上運(yùn)行自動彩色化灰度圖像模型，并將其在CPU和GPU上平均運(yùn)行時間做了對比，通過對比，可以得到使用GPU，速率提高了接近5倍，并且在GPU中能在短時間內(nèi)處理大圖像，詳細(xì)內(nèi)容見表5。

表5 CPU與GPU運(yùn)行時間對比


3 結(jié)論

針對于車輛及行人圖片，通過融合全局及局部特征，本文提出了一種新的彩色化灰度圖像的模型。首先，該模型基于卷積神經(jīng)網(wǎng)絡(luò)的理論，無需任何干預(yù)，可以自動進(jìn)行彩色化。其次，在訓(xùn)練模型階段，本文采用端到端的方式訓(xùn)練網(wǎng)絡(luò)，采用隨機(jī)梯度下降法更新權(quán)值，能夠處理任何分辨率的圖像。最后在評估模型時，收集了大量室內(nèi)與室外的圖像，并產(chǎn)生了較好的實(shí)驗(yàn)結(jié)果，證明了此模型的可信性與優(yōu)越性。