摘要:車牌識別作為現(xiàn)代化智能交通系統(tǒng)中重要的環(huán)節(jié)，對提升路網(wǎng)效率以及緩解城市交通壓力等問題具有重要的社會意義，然而弱光照車牌圖像識別仍然具有重大的挑戰(zhàn)。構(gòu)建了一個基于差分卷積神經(jīng)網(wǎng)絡(luò)的弱光照車牌圖像增強網(wǎng)絡(luò)，將車牌的紋理信息解耦為水平垂直和對角線兩個方向，對不同尺度空間的低照度圖像進行紋理增強。為了避免增強結(jié)果局部過曝或低曝，該方法使用YCbCr顏色空間的損失函數(shù)來優(yōu)化模型。

圖像增強實驗結(jié)果表明，所提出的方法較傳統(tǒng)的低照度圖像增強方法相比，圖像客觀質(zhì)量結(jié)果峰值信噪比提升了0.47 dB。同時，在仿真車牌和真實場景的車牌識別實驗結(jié)果也證明了所提算法對于低照度圖像感知質(zhì)量提升的有效性。

引言

隨著現(xiàn)代化進程的推進，中國的汽車數(shù)量大幅增加，相關(guān)的社會問題也日益突出，如交通阻塞、交通安全事故、能源消耗以及尾氣造成的環(huán)境污染等，因此面向城市公共交通規(guī)劃和管理的現(xiàn)代化智能交通系統(tǒng)應(yīng)運而生。通過基于人工智能的算法對攝像頭等采集設(shè)備獲取的車輛圖像進行拍照，并進行車牌和型號等信息識別，應(yīng)用于車輛監(jiān)控和電子警察等場景，實現(xiàn)對車輛的智能化管理，有效提升路網(wǎng)的效率，減少車輛尾氣排放，實現(xiàn)對行人、車輛、道路和外部環(huán)境等四大交通因素進行合理規(guī)劃。

車牌識別技術(shù)是智能交通系統(tǒng)中最基礎(chǔ)也是最關(guān)鍵的技術(shù)之一，通過對車輛的車牌進行監(jiān)管進而實現(xiàn)對汽車的監(jiān)管，該技術(shù)也是近年來的研究熱點之一。然而中國的車牌主要由代表省份縮寫的中文、字母和數(shù)字組成，同時存在雙車牌和三車牌，相較于只由圖像和數(shù)字組成的車牌識別難度更高。且實際的車輛圖像采集場景較為復(fù)雜，如夜間或惡劣天氣下光線不足，圖像無法正常曝光，導(dǎo)致圖像中字符模糊難以精準(zhǔn)識別，即低照度/弱光照圖像場景，真實成像場景下的弱光照車牌圖像如圖1所示，人眼亦無法準(zhǔn)確識別車牌中的字符。

圖1弱光照車牌圖像

圖像增強技術(shù)能通過一種或者多種數(shù)據(jù)增強的方式來調(diào)整圖像的整體或局部特征[1]，進而實現(xiàn)圖像的顏色、亮度、對比度和飽和度等增強，提升圖像的視覺質(zhì)量。早期的低照度圖像增強方法主要分為基于直方圖均衡化的方法和基于Retinex理論的方法兩大類[2]。前者通過使用不同的先驗約束信息來提升圖像的對比度，如上下文信息[3]、差分信息[4]，但無法有效去除圖像噪聲。后者模擬了人眼成像原理，提出圖像由不受光照影像的反射分量和代表像素動態(tài)范圍的照明分量組成假設(shè)，在保持反射分量不變的前提下增強照明分量，反推重建圖像，實現(xiàn)低照度圖像的增強，包括單一尺度Retinex[5]和多尺度Retinex[6-7]等框架。

近年來，隨著硬件設(shè)備以及深度學(xué)習(xí)理論的發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)憑借其強大的特征提取能力，在諸如動作檢測[8-9]、圖像融合[10]和目標(biāo)檢測[11]等圖像視覺任務(wù)中取得了卓越的性能。考慮到高性能的深度學(xué)習(xí)模型依賴于大量訓(xùn)練樣本，Lore等[12]提出了低照度圖像成像模型生成模擬數(shù)據(jù)，即低照度圖像由伽馬變換和圖像噪聲兩部分組成，并首次將卷積神經(jīng)網(wǎng)絡(luò)引入到低照度圖像增強任務(wù)中，通過構(gòu)建堆疊稀疏自編碼網(wǎng)絡(luò)，對低照度圖像進行增強和去噪，算法性能較傳統(tǒng)算法提升顯著。Wei等[13]基于Retinex理論構(gòu)建了分解-修正卷積神經(jīng)網(wǎng)絡(luò)，通過分解網(wǎng)絡(luò)將圖像分解為光照分量和反射分量，并使用修正網(wǎng)絡(luò)對光照分量進行修正，再與反射分量重建得到增強后的圖像。Lü等[14]提出了多分支網(wǎng)絡(luò)結(jié)構(gòu)，分別從圖像的背景、結(jié)構(gòu)和區(qū)域信息層面進行優(yōu)化，進而提升重建圖像質(zhì)量。Ren等[15]構(gòu)建了內(nèi)容和邊緣兩個分支，分別學(xué)習(xí)低光照圖像的內(nèi)容和顯著性結(jié)構(gòu)，使用感知損失優(yōu)化生成令人愉悅的細(xì)節(jié)。Jiang等[16]首次將生成對抗網(wǎng)絡(luò)引入到非成對的低照度圖像增強任務(wù)中，通過構(gòu)建全局-局部判決網(wǎng)絡(luò)，確保生成網(wǎng)絡(luò)生成更加真實的自然光，避免結(jié)果中出現(xiàn)局部過曝或低曝現(xiàn)象。

不同于通用的低照度圖像，車牌圖像由深色背景和字符組成，為了服務(wù)于后續(xù)車牌識別的感知應(yīng)用，低照度車牌圖像增強任務(wù)應(yīng)在光照恢復(fù)的基礎(chǔ)上增強字符的邊緣信息。本文以低照度的車牌圖像為研究對象，提出了一種基于差分卷積神經(jīng)網(wǎng)絡(luò)的車牌圖像增強算法。與主流的圖像增強方法進行比較，在合成數(shù)據(jù)試驗中的主客觀結(jié)果均證明了所提方法的有效性，同時在真實的低照度增強車牌識別實驗中也證明了該算法的魯棒性和泛化性。

差分卷積神經(jīng)網(wǎng)絡(luò)

局部二值模式是一種傳統(tǒng)的手工特征提取算子，其原理為以局部某一像素為閾值，將鄰域像素與該像素進行差分比較，進而反映出細(xì)膩度的區(qū)域紋理信息，且該特征具有一定的魯棒性。Yu等[17]基于此思想提出了中心差分卷積應(yīng)用于人臉活體檢測應(yīng)用中，通過圖像的梯度來反映目標(biāo)本質(zhì)的細(xì)節(jié)信息。相較于普通的卷積模塊，差分特征具有更強的光照不變性以及細(xì)粒度。對于3×3的鄰域空間,差分卷積公式如下：

式中，y為輸出特征；x為輸入特征；表示當(dāng)前的空間位置；表示鄰域空間中其他的位置。

車牌圖像中的紋理信息相對簡單，而中心差分卷積的計算涉及了所有領(lǐng)域，因此存在較大的信息冗余。為了更好地優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)與效率，本文使用交叉的差分卷積模塊，將差分信息解耦為水平垂直方向和對角線方向，結(jié)構(gòu)如圖2所示。其中，水平垂直方向的算子由中心像素點的相鄰點組成，對角線方向的算子則由鄰域空間中與中心像素點不相鄰的點組成。隨后，不同方向的差分信息以連接的形式進行特征融合。

圖2差分卷積

基于差分卷積的增強網(wǎng)絡(luò)

本文提出的基于差分卷積的增強網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，該模型網(wǎng)絡(luò)由編碼網(wǎng)絡(luò)和解碼組成。對于訓(xùn)練車牌圖像對{},網(wǎng)絡(luò)目標(biāo)生成增強車牌圖像，其中為低照度圖像，為原始真值圖像。低照度圖像經(jīng)由半實例歸一化模塊（half instance normalization，HIN）進行淺層特征提取，隨后輸入由兩個具有下采樣功能的差分卷積模塊組成的編碼網(wǎng)絡(luò)中，且所有的卷積核大小均為3×3×64。經(jīng)過上述操作，輸出的特征分辨率降低了4倍。為進一步提取深度特征，下采樣后的特征被輸入至殘差通道注意力機制模塊（residual channel attention block,RCAB）中，網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

圖3基于差分卷積的圖像增強網(wǎng)絡(luò)

圖4通道注意力機制模塊

不同于傳統(tǒng)的殘差模塊[18]，半實例歸一化模塊使用3×3的卷積對輸入特征進行中間特征提取，隨后將中間特征劃分為均等的兩個部分。一部分使用實例歸一化方法進行歸一化處理，此操作不僅可以加速模型的收斂，還能保證不同特征之間的獨立性以及更多的尺度信息，而另一部分則不進行任何操作以保持內(nèi)容信息，直接與歸一化的特征沿通道維度進行連接。然后使用3×3的卷積提取殘差特征與輸入特征的跳躍特征（經(jīng)由1×1的卷積處理）相加得到最終輸出圖像特征。

普通卷積操作對于所有的特征通道和像素點賦予相同的權(quán)重，為了讓特征集中于感興趣的區(qū)域，本文使用了通道注意力機制模塊，通過全局池化層對圖像特征壓縮，并使用Sigmoid函數(shù)對注意力機制權(quán)重歸一化到0~1，并將特征圖與輸入特征相乘，實現(xiàn)通道層的特征縮放。

解碼網(wǎng)絡(luò)則由具有上采樣功能的卷積組成，且所有的卷積核大小均為3×3×64。為了避免網(wǎng)絡(luò)中信息的傳輸損失，編碼網(wǎng)絡(luò)和解碼網(wǎng)絡(luò)的多尺度特征直接進行跳躍連接，實現(xiàn)多尺度淺層特征和多尺度語義特征融合，從而盡可能恢復(fù)出車牌中的特征細(xì)節(jié)信息。

為了優(yōu)化提出的深度學(xué)習(xí)模型，本文使用像素域、亮度域和結(jié)構(gòu)域聯(lián)合損失函數(shù)，總體的損失函數(shù)公式如下：

式中，為結(jié)構(gòu)相似性（structural similarity,SSIM）損失函數(shù)；、和為不同損失函數(shù)項之間的平衡參數(shù)，且==1，=0.001。不同于RGB顏色空間,表示將圖像從RGB顏色空間轉(zhuǎn)換到Y(jié)CbCr顏色空間，并在亮度分量進行監(jiān)督學(xué)習(xí)，促進亮度增強結(jié)果亮度更加自然。

實驗

4.1數(shù)據(jù)集

在本文中，數(shù)據(jù)集的訓(xùn)練樣本包括高質(zhì)量藍(lán)底和黃底的合成車牌圖像各10 000張,數(shù)量共計20 000張，合成車牌分辨率為800×280像素。同時為了提升算法的數(shù)據(jù)魯棒性，合成數(shù)據(jù)并非完全對齊。本文使用的驗證車牌數(shù)據(jù)集來自于真實場景監(jiān)控視頻低照度圖像，主要包括雙行7字符的車牌和單行車牌兩類數(shù)據(jù)，其中單行車牌由7字符組成的藍(lán)色普通機動車車牌和8字符組成的綠色新能源汽車車牌。

真實數(shù)據(jù)集由于拍攝角度和距離的問題，圖像質(zhì)量較合成數(shù)據(jù)差，主要由分辨率分別為96×32、96×48和96×64像素的圖像組成?？紤]到真實場景圖像缺乏原始圖像，為了定量評估圖像增強算法的客觀性能，使用200張合成車牌圖像作為測試數(shù)據(jù)集，其中藍(lán)底和黃底各100張，測試圖像均被歸一化到96×48像素大小以模擬真實的拍攝場景。本文使用峰值信噪比（peak signal-to-noise ratio,PSNR）、SSIM和特征相似性（feature similarity，F(xiàn)SIM）來定量評估重建圖像的客觀結(jié)果。

為了增加低照度數(shù)據(jù)樣本數(shù)量，本文使用合成的車牌圖像作為真值，將圖像從RGB顏色空間轉(zhuǎn)換到Y(jié)CbCr顏色空間，通過伽馬變換對Y顏色通道的像素進行非線性變化得到，隨后還原至RGB顏色空間，上述過程可以表示為：

式中,A為常數(shù)；指數(shù)為隨機圖像對比度控制參數(shù)，本文中取值范圍為[2,5]。生成的弱光照圖像如圖5所示。

圖5生成的弱光照圖像效果圖

4.2實現(xiàn)細(xì)節(jié)

本文的低照度增強方法均基于PyTorch框架，同時采用自適應(yīng)矩估計（adaptive moment estimation,Adam）對模型進行優(yōu)化，超參數(shù)設(shè)置為=0.9，=0.999，訓(xùn)練的批尺寸為16，初始學(xué)習(xí)率設(shè)置為1×10－4。模型的總迭代數(shù)設(shè)置為1 000個周期，學(xué)習(xí)率在第500個周期衰減為1×10－5。所有算法均運行于兩張顯存為12 GB的NVIDIA 2080ti，Intel（R）Core（TM）i7-7820X CPU@3.60 GHz，軟件配置為CUDA 10.2，CUDNN 7.5的Ubuntu 18.04服務(wù)器。圖像隨機裁剪41×41大小的圖像塊用于模型訓(xùn)練。

4.3圖像增強實驗結(jié)果

為了直觀地評估圖像增強結(jié)果，使用PSNR、SSIM和FSIM分別從像素、結(jié)構(gòu)和特征三個層面進行定量分析，并與幾種具有代表性的基于深度學(xué)習(xí)圖像增強和圖像修復(fù)方法進行對比，包括LLCNN[19]、RDN[20]和SCI[21]，結(jié)果如表1所示?？梢钥闯?，本文方法取得了最優(yōu)的PSNR、SSIM和FSIM結(jié)果，相較于SCI[21]方法,客觀結(jié)果分別提升0.47 dB、0.000 1、0.000 8，表明了本文方法的有效性。

表1低照度圖像增強網(wǎng)絡(luò)的實驗結(jié)果對比

為了進一步驗證算法的性能，圖6展示了不同算法的低照度圖像增強主觀結(jié)果圖。從圖6可以看出，所有方法都能較好地恢復(fù)出車牌圖像的背景顏色，但本文方法能重建出更令人愉悅的視覺效果以及更清晰的字符紋理信息，如第一行車牌中的“渝A”和第二行車牌中的“8”，這也說明本文使用的差分卷積對于圖像紋理信息恢復(fù)的有效性。

圖6低照度增強結(jié)果圖

車牌處理應(yīng)用任務(wù)對于模型和運行時間要求較高，本文方法在輸入96×48像素大小的車牌圖像時，使用NVIDIA 2080ti，算法的測試時間為0.009 4 s，滿足實時視頻處理對于幀數(shù)的要求。

4.4車牌識別實驗結(jié)果

§3.3從定量和定性兩個角度驗證了本文方法在圖像照度增強任務(wù)的有效性，本節(jié)使用由卷積遞歸神經(jīng)網(wǎng)絡(luò)組成的飛槳PaddleHub中文字符識別網(wǎng)絡(luò)，通過車牌識別任務(wù)進一步驗證低照度增強對于車牌感知質(zhì)量的提升。

表2為圖像增強前后測試數(shù)據(jù)集下的車牌識別率結(jié)果，其中準(zhǔn)確率為正確識別車牌數(shù)量與總車牌數(shù)量（共200張）之比。由表2中可知,增強后的車牌圖像相較于低照度車牌圖像的文字識別率提升了6%，這進一步證明本文方法對于圖像感知質(zhì)量的提升。

表2圖像增強對車牌識別準(zhǔn)確率的影響

為進一步對識別進行定性分析并探究數(shù)據(jù)的魯棒性，表3展示了PaddleHub對于車牌識別結(jié)果，其中圖片結(jié)果為合成車牌數(shù)據(jù)，預(yù)測結(jié)果為真實場景的車牌數(shù)據(jù)。代表省份縮寫的漢字相較于數(shù)字和英文字母更為復(fù)雜，如鄂、粵和藏等,這也導(dǎo)致低照度圖像中的漢字更容易錯分為其他字符，如“川”被錯識別為“H”,“鄂”被錯識別為“U”。置信度越大，表示預(yù)測的結(jié)果更可信，從表3中結(jié)果可以發(fā)現(xiàn),低照度圖像的預(yù)測結(jié)果均獲得較大的置信度，這也說明低照度字符中具有判決性的特征被污染，導(dǎo)致錯分時置信度仍然較大。而增強后的圖像亮度顯著提升，無論是合成數(shù)據(jù)還是真實數(shù)據(jù)集，識別結(jié)果都更為準(zhǔn)確，這也意味著圖像感知質(zhì)量顯著提升，證明了本文提出的低照度增強網(wǎng)絡(luò)的有效性。

表3車牌識別結(jié)果

結(jié)語

車牌識別是智慧交通系統(tǒng)中的一個關(guān)鍵技術(shù)點，本文針對低照度環(huán)境下車牌識別難度較大的問題，提出了一種基于差分卷積神經(jīng)網(wǎng)絡(luò)的低照度車牌圖像增強網(wǎng)絡(luò)。采用差分卷積將圖像中的差分信息解耦為水平垂直和對角線兩個方向，實現(xiàn)高效的邊緣信息提取。同時在通道注意力機制模塊和多尺度框架中引入半實例歸一化模塊，提升模塊的特征表達(dá)能力。

實驗從主觀、客觀和感知質(zhì)量3個層面證明了本文方法在低照度車牌圖像增強任務(wù)中的有效性。未來希望面向更復(fù)雜的低照度交通場景，如運動模糊和噪聲，提出更具魯棒性和泛化能力的圖像修復(fù)模型。