在本文中，我們提出了一種用于從真實世界中的低質(zhì)量圖像中進行車牌識別的算法。我們的算法建立在降噪和校正的框架上，并且每個任務(wù)都是由卷積神經(jīng)網(wǎng)絡(luò)來執(zhí)行。在先前的研究中，降噪和校正任務(wù)分別被一個神經(jīng)網(wǎng)絡(luò)來處理。不同以往，我們提出了一種可訓(xùn)練的端到端的圖像恢復(fù)網(wǎng)絡(luò)，即“單噪聲圖像降噪和校正”網(wǎng)絡(luò)（SNIDER），致力于一起解決這兩個問題。此外，我們提出了一種利用輔助任務(wù)優(yōu)化多任務(wù)訓(xùn)練損失的方法。在兩個具有挑戰(zhàn)性的LPR數(shù)據(jù)集AOLP-RP和VTLPs進行了大量的實驗，證明了我們提出的方法的有效性，并且在從低質(zhì)量的車牌圖像中恢復(fù)高質(zhì)量的車牌圖像時本方法優(yōu)于其他的SOAT方法。

一、研究背景

真實世界中的車牌識別（LPR）是多種智能運輸系統(tǒng)（ITS）應(yīng)用程序，如車輛重識別，戶外場景理解，用于隱式保護的去識別等的基本問題之一。過去幾年，LPR已經(jīng)在理論，實驗和數(shù)理方面得到了廣泛的研究，以提供魯棒的圖像特征表示。一些LPR方法可以捕獲圖像和噪聲的結(jié)構(gòu)屬性，以進行嚴(yán)格的約束。雖然已經(jīng)取得了一些成果，但由于外觀，噪聲，角度和光照的變化，在野外進行車牌識別仍不能取得令人滿意的效果。近年來，由于卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展，許多計算機視覺任務(wù)取得了很大進步例如目標(biāo)檢測，語義分割，人臉識別等。同時CNN引導(dǎo)的LPR方法也被廣泛用于解決識別現(xiàn)實世界中捕獲的車牌。然而，現(xiàn)有的LPR方法仍然無法學(xué)習(xí)到野外所有類型的樣本，這些算法實際上是將高質(zhì)量的圖像作為輸入。通常，在現(xiàn)實世界中收集的車牌可能包含質(zhì)量很低的圖像，從而導(dǎo)致LPR性能下降。因此，在真實世界場景中開發(fā)魯棒的LPR框架是必要的。

在本文中，我們基于多個輔助任務(wù)設(shè)計了一個端到端的單噪聲圖像降噪和校正網(wǎng)絡(luò)（SNIDER）以實現(xiàn)更好的LPR。Figure1展示了我們的框架，其中SNIDER和預(yù)訓(xùn)練的LPR網(wǎng)絡(luò)（這里是基于Darknet的YOLOV3網(wǎng)絡(luò)）相結(jié)合。SNIDER包括兩個子網(wǎng)絡(luò)：降噪網(wǎng)絡(luò)和校正網(wǎng)絡(luò)。基于U-Net在恢復(fù)圖像細節(jié)方面的成功，我們采用U-Net結(jié)構(gòu)作為圖像恢復(fù)骨干網(wǎng)洛，嘗試從結(jié)構(gòu)級別的細節(jié)中提取視覺內(nèi)容。在去噪子網(wǎng)絡(luò)（DSN）中，我們嘗試將低質(zhì)量的圖像直接逐像素地轉(zhuǎn)換為高質(zhì)量的圖像。DSN可以懲罰噪聲和無噪聲圖像對之間的損失，從而獲得無噪和有精細紋理的輸出圖像。但僅僅使用DSN，去噪圖像仍不能令人滿意，因為圖像仍然具有隨機的幾何變化。因此，校正網(wǎng)絡(luò)（RSN）被提出用于校正去噪后車牌圖像的幾何畸變。此外，我們提出利用新的輔助任務(wù)進一步優(yōu)化SNIDER的DSN和RSN網(wǎng)絡(luò)。一共有兩個輔助任務(wù)：一個文本計數(shù)模塊和一個分割預(yù)測模塊。具體來說，我們使用CNN作為編碼器來解決每個輔助模塊。計數(shù)模塊用來預(yù)測圖像中的文本數(shù)量，被當(dāng)作分類問題。在此模塊中，盡管連續(xù)文本的邊界模糊，文本計數(shù)模塊仍可區(qū)分單個文本，從而使圖像質(zhì)量更適合于文本檢測。在分割預(yù)測模塊中，我們提出了一種二值分割方法來強調(diào)前景而不是背景，生成的分割結(jié)果使得車牌更加干凈以進行文本識別。最后，學(xué)習(xí)輔助任務(wù)將引導(dǎo)圖像恢復(fù)網(wǎng)絡(luò)的中間特征，從而增加幾何變化和低質(zhì)量信息等困難。更重要的是，我們引入了新的損失函數(shù)，用于訓(xùn)練SNIDER和輔助任務(wù)，為LPR提供了更高質(zhì)量的車牌數(shù)據(jù)。

Figure 1

二、相關(guān)工作

在本節(jié)中，我們簡要回顧與這項工作最相關(guān)的低質(zhì)量圖像恢復(fù)方法和車牌識別方法。

2.1低質(zhì)量圖像恢復(fù)

為了獲得高質(zhì)量的圖像，大多數(shù)現(xiàn)有的方法都依賴于這樣的假設(shè)：信號和噪聲都是通過手工算法從特定的統(tǒng)計規(guī)律中產(chǎn)生。此外，一些非參數(shù)模型被開發(fā)來模擬圖像噪聲，但由于有限的觀測結(jié)果，它們對野外不受約束的環(huán)境并不具有魯棒性。近來，由于深度學(xué)習(xí)的發(fā)展，大多數(shù)降噪算法都是采用深度神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)和數(shù)據(jù)驅(qū)動的方法設(shè)計的，而非依靠先驗技術(shù)。盡管文本分類器對于清晰圖像很有用，但由于文本幾何形狀不規(guī)則，因此仍難以識別。與現(xiàn)有方法不同，我們使用基于U-Net的CNN對圖像進行去噪和校正。據(jù)我們所知，我們的研究可能是首個將上訴兩個模塊同時應(yīng)用于LPR。

2.2 車牌識別

在深度學(xué)習(xí)出現(xiàn)之前，大多數(shù)傳統(tǒng)的LPR方法都采用雙階段的處理流程，包括文本檢測和文本識別。隨著深度學(xué)習(xí)的發(fā)展，許多方法采用了單階段流程即不進行文本檢測。Li等通過將RNN與LSTM結(jié)合來提取深層特征表示，以獲取車牌的連續(xù)特征。Bulan等基于完全卷積網(wǎng)絡(luò)估計目標(biāo)域和多個原域之間的域轉(zhuǎn)換，以產(chǎn)生具有最佳識別性能的域。但這些方法僅考慮高質(zhì)量的車牌圖像，這容易導(dǎo)致模型在現(xiàn)實場景中性能下降。而且這些方法很少努力去改善圖像樣本質(zhì)量，同時也占用了大量計算力。在我們的工作中，我們在真實場景中采用低質(zhì)量圖像恢復(fù)以提升LPR的性能。這是我們首次應(yīng)用復(fù)雜的圖像恢復(fù)技術(shù)來處理有挑戰(zhàn)的真實環(huán)境，雖然有額外恢復(fù)模塊，但我們的方法仍具有較高的計算效率和實時識別能力。

三、方法

我們提出的方法由三部分組成：1）主任務(wù)預(yù)測網(wǎng)絡(luò)包括去噪網(wǎng)絡(luò)和校正網(wǎng)絡(luò)。2）輔助任務(wù)預(yù)測網(wǎng)絡(luò)包括文本計數(shù)分類網(wǎng)絡(luò)和分割網(wǎng)絡(luò)。3）用于文本檢測和分類的網(wǎng)絡(luò)LPR。整個框架可以用Figure2來表示。

Figure 2

在訓(xùn)練中，用于主任務(wù)和輔助任務(wù)的數(shù)據(jù)集可以通過簡單旋轉(zhuǎn)（用于校正）和縮小尺寸（用于降噪）獲得，如圖Figure3所示。

Figure 3具體來說，一張原始圖像通過旋轉(zhuǎn)不同的角度可以產(chǎn)生四張訓(xùn)練圖像，其中用于，用于，用于，c用于，，主任務(wù)的和網(wǎng)絡(luò)從輸入圖像恢復(fù)為高質(zhì)量圖像。然后，LPR網(wǎng)絡(luò)獲取

進行文本檢測和識別。

3.1去噪和校正網(wǎng)絡(luò)

我們的主任務(wù)網(wǎng)絡(luò)包括兩個子網(wǎng)絡(luò)（即去噪子網(wǎng)絡(luò)和校正子網(wǎng)絡(luò)），第一個子網(wǎng)絡(luò)以低質(zhì)量圖像為輸入，輸出為恢復(fù)圖像。在本文中，我們設(shè)計了校正網(wǎng)絡(luò)對來自降噪網(wǎng)絡(luò)的輸出結(jié)果進行校正。圖像恢復(fù)結(jié)果［15］顯示了U-Net的有效性，因為它可以提升圖像中目標(biāo)的細節(jié)信息，而不會對圖像生成產(chǎn)生負面影響。因此，我們采用基于U-Net的結(jié)構(gòu)，同時添加了跳躍連接，可以共享圖像低級語義信息。

為了實現(xiàn)主任務(wù)，我們首先將輸入到網(wǎng)絡(luò)產(chǎn)生去噪后的結(jié)果。給定一對輸入圖像和未校正的去噪標(biāo)簽圖像

，的損失函數(shù)是逐像素的MSE損失，如等式（1）所示：

其中是去噪網(wǎng)絡(luò)的參數(shù)。這種損失函數(shù)讓網(wǎng)絡(luò)不僅能提取輸入圖像語義信息也能生成像素級的高質(zhì)量圖像。然后校正網(wǎng)絡(luò)從的輸出開始處理，產(chǎn)生校正后的高質(zhì)量圖像，以更有利于LPR網(wǎng)絡(luò)進行文本識別。訓(xùn)練圖像對用

表示，網(wǎng)絡(luò)使用L1損失函數(shù)，如等式（2）所示：

其中w是校正網(wǎng)絡(luò)的參數(shù)。

和L2損失不同，像素級別的L1損失有助于保留目標(biāo)的外觀，例如圖像顏色，亮度等。因此，在校正過程中，我們只會進行幾何變換而不會對圖像造成外觀損傷，這對識別器是有用的。

3.2輔助任務(wù)預(yù)測

由于真實環(huán)境的復(fù)雜性，如文本的幾何形態(tài)及其不規(guī)則，圖像背景很復(fù)雜等導(dǎo)致車牌的二值化信息往往存在噪聲。盡管我們希望和可以捕獲魯棒的特征來進行圖像恢復(fù)，但是這種結(jié)構(gòu)的結(jié)果并不能總是保證有良好的圖像質(zhì)量提升輸出。因此，我們使用了兩個輔助任務(wù)，即二值分割和計數(shù)估計，這將有助于我們的主任務(wù)網(wǎng)絡(luò)產(chǎn)生更具區(qū)分性的代表特征。針對這個問題，我們將編碼器最后一層的權(quán)值相加，以指導(dǎo)輔助任務(wù)網(wǎng)絡(luò)更有效地從低質(zhì)量圖像中提取關(guān)鍵信息。

對于二值分割任務(wù)，我們介紹基于U-Net結(jié)構(gòu)的分割解碼器。的細節(jié)如Table1所示：

接收主任務(wù)編碼器求和后的特征集F并輸出車牌分割結(jié)果，每個像素位置的值代表該像素值屬于車牌區(qū)域的概率。此外，用于分割的標(biāo)簽樣本可以使用論文［4］中的OTSU算法得到，如Figure3所示。雖然［4］中的分割注釋不能完全反映圖像的實際細節(jié)，但我們的實驗表明，這種輔助學(xué)習(xí)的策略在圖像恢復(fù)方面取得了有效的進展。給定F和語義分割標(biāo)簽，的損失函數(shù)為二元交叉熵損失，如公式（3）所示：

其中代表是否屬于車牌區(qū)域。

同時，我們發(fā)現(xiàn)恢復(fù)的樣本通常不能區(qū)分連續(xù)的文本。所以我們增加了一個計數(shù)解碼器來預(yù)測圖像中字符的個數(shù)。因此，我們的扮演兩個角色，第一個是使得相鄰字符之間的分割更加清晰，另外一個角色是促進每個主任務(wù)的編碼器產(chǎn)生更高質(zhì)量的圖像。的損失函數(shù)為L2損失，如公式（4）所示：

其中，是預(yù)測值，是標(biāo)簽。

最終網(wǎng)絡(luò)訓(xùn)練的損失函數(shù)如公式（5）所示：

優(yōu)化此損失函數(shù)更新網(wǎng)絡(luò)的參數(shù)即可。

四、結(jié)果

我們在兩個大型的車牌數(shù)據(jù)集AOLP-RP和VTLPs上測試了我們的算法，我們在AOLP數(shù)據(jù)集上達到了驚人的99.18%的準(zhǔn)確率，相比于直接使用YOLOV3做檢測提升了近10個點，證明了我們算法的魯棒性和有效性。在兩個數(shù)據(jù)集上的測試結(jié)果如表Table3和Table4所示：

我們的算法在精度SOAT的同時，速度也可以達到實時，具有較好的實用價值。測試結(jié)果如圖Table5所示：

五、結(jié)論

本文提出了一種新的端到端的可訓(xùn)練的圖像恢復(fù)方法用于真實世界中的車牌識別。我們提出的恢復(fù)網(wǎng)絡(luò)由兩個子網(wǎng)絡(luò)組成，即去噪子網(wǎng)絡(luò)和校正子網(wǎng)絡(luò)。特別地，我們設(shè)計了使用兩個輔助任務(wù)來協(xié)助車牌圖像恢復(fù)網(wǎng)絡(luò)，從而使得恢復(fù)網(wǎng)絡(luò)提取的特征更加魯棒，以對抗現(xiàn)實場景中的幾何變化和模糊數(shù)據(jù)。此外，一個新的損失函數(shù)被引入到骨干網(wǎng)絡(luò)中，以提供正則化影響和提高恢復(fù)圖像質(zhì)量。在各種數(shù)據(jù)集上進行的廣泛實驗證明了在車牌恢復(fù)和識別方面的卓越性能。審核編輯：郭婷