1、引言

圖像信息作為人類感知世界最直觀的信息之一，為我們認(rèn)識(shí)世界提供了極大的幫助。近代以來(lái)隨著微電子技術(shù)的不斷發(fā)展，圖像信息經(jīng)過(guò)了從無(wú)到有，從模擬到數(shù)字，從黑白到彩色，從可見(jiàn)光到多光譜等的不斷演進(jìn)，圖像質(zhì)量（分辨率、清晰度等）也有了極大提高。同時(shí)人類對(duì)圖像質(zhì)量要求也在不斷提高，其中可見(jiàn)光圖像由于跟人眼成像最為相近其觀感對(duì)人的影響更大，因而對(duì)其質(zhì)量要求更高。但受可見(jiàn)光傳輸及成像機(jī)理所限，所成圖像往往會(huì)受天氣如霧霾、光線不足等從成像過(guò)程暫時(shí)尚無(wú)法克服問(wèn)題的困擾，需要對(duì)其進(jìn)行事后處理。同時(shí)，在圖像跟蹤等應(yīng)用領(lǐng)域，對(duì)圖像進(jìn)行處理所帶來(lái)的時(shí)間延遲對(duì)伺服系統(tǒng)又是一種致命的缺點(diǎn)?；谝陨蠁?wèn)題，本文設(shè)計(jì)了一種基于TI TMS320C6455+FPGA的實(shí)時(shí)圖像去霧增強(qiáng)系統(tǒng)，并將其應(yīng)用于工程實(shí)際。

2、系統(tǒng)結(jié)構(gòu)和工作原理

2.1、系統(tǒng)結(jié)構(gòu)

本圖像去霧增強(qiáng)系統(tǒng)采用DSP+FPGA架構(gòu)完成。其中DSP使用TI公司生產(chǎn)的高速定點(diǎn)數(shù)字信號(hào)處理芯片TMS320C6455，該芯片是TI公司基于第三代高速C6000平臺(tái)開(kāi)發(fā)而成，主頻1.2GHz，片上存儲(chǔ)器L1P程序緩存256kbit，L1D數(shù)據(jù)緩存256kbit，L2緩存16Mbit，64位通路的EDMA控制器，EMIF接口支持16bit、32bit、64bit寬度，速度可達(dá)100MHz。FPGA采用ALTERA高端StratixII系列芯片，型號(hào)為EP2S系列EP2S60-F1020C5，該芯片具有邏輯單元60440，RAM總數(shù)318024kbit，DSPblocks36個(gè)，18bit×18bit乘法器144個(gè)，PLL12個(gè)，最大使用IO數(shù)718個(gè)。視頻編解碼使用3M公司芯片DS90CR285和DS90CR286實(shí)現(xiàn)。

2.2、系統(tǒng)工作原理

本系統(tǒng)結(jié)構(gòu)框圖如圖1所示。

圖1 ?實(shí)時(shí)圖像去霧增強(qiáng)系統(tǒng)硬件框圖

基于DSP+FPGA架構(gòu)的圖像處理系統(tǒng)是當(dāng)前一種比較成熟穩(wěn)定且廣泛應(yīng)用的硬件結(jié)構(gòu)，該結(jié)構(gòu)系統(tǒng)中，F(xiàn)PGA通常作為一種調(diào)度使用，圖像處理算法實(shí)現(xiàn)主要靠高速處理信號(hào)處理芯片DSP完成，在跟蹤等領(lǐng)域圖像數(shù)據(jù)只需單向進(jìn)入DSP，處理后輸出相應(yīng)參數(shù)即可，在實(shí)時(shí)視頻圖像處理中大量圖像數(shù)據(jù)只需通過(guò)EMIF輸入，且輸出數(shù)據(jù)量較小可以實(shí)時(shí)完成。但在去霧增強(qiáng)過(guò)程中圖像不僅要輸入處理后還需要輸出，為了不造成DSP芯片EMIF口阻塞只能實(shí)行輸入、輸出分時(shí)進(jìn)行，對(duì)于連續(xù)圖像數(shù)據(jù)來(lái)說(shuō)就需要做緩存，如此則會(huì)帶來(lái)相應(yīng)的數(shù)據(jù)延遲。為了去除這一延時(shí)，本圖像去霧增強(qiáng)系統(tǒng)僅將參數(shù)求取放入DSP中進(jìn)行，而去霧增強(qiáng)算法最終實(shí)現(xiàn)由FPGA來(lái)完成。這樣去除了圖像數(shù)據(jù)在DSP與FPGA之間傳輸時(shí)的時(shí)延，且FPGA屬于純硬件實(shí)現(xiàn)因此實(shí)時(shí)性更好。

去霧增強(qiáng)系統(tǒng)采用香港微軟亞洲研究院何凱明先生的“暗通道”原理并對(duì)其改進(jìn)后完成，由于該原理基本公式是一項(xiàng)不可求解的病態(tài)過(guò)程，實(shí)際應(yīng)用中去霧算法的實(shí)現(xiàn)主要是公式中光介質(zhì)傳輸系數(shù)t（x）和大氣背景光強(qiáng)度A兩參數(shù)的估計(jì)約束，由于這兩項(xiàng)參數(shù)求解需要對(duì)全幅圖像進(jìn)行濾波等處理得出，運(yùn)算量極大且理論上無(wú)法達(dá)到實(shí)時(shí)，因此本系統(tǒng)采取DSP與FPGA分工處理的方法進(jìn)行。其中DSP主要完成上述兩項(xiàng)參數(shù)的估計(jì)，F(xiàn)PGA對(duì)圖像每個(gè)像素灰度值進(jìn)行計(jì)算，該系統(tǒng)硬件工作分工及過(guò)程如圖2所示。具體算法將在下節(jié)介紹。

圖2 ? 實(shí)時(shí)圖像去霧增強(qiáng)系統(tǒng)硬件工作分工及過(guò)程圖

3、去霧增強(qiáng)算法

3.1、“暗通道”基本原理

在圖像處理領(lǐng)域，對(duì)因霧霾等影響造成圖像模糊應(yīng)用比較廣泛的數(shù)學(xué)模型如式（1）所示：

I（x）=J（x）·t（x）+A［1-t（x）］（1）

其中I（x）表示成像設(shè)備對(duì)真實(shí)場(chǎng)景所成的觀察圖像即受霧霾影響所成圖像，J（x）表示真實(shí)場(chǎng)景圖像即不受霧霾影響的理想圖像，t（x）表示成像設(shè)備對(duì)光線的接收比例即光介質(zhì)傳輸系數(shù)，A表示大氣背景光強(qiáng)度。對(duì)圖像進(jìn)行去霧處理的實(shí)質(zhì)是對(duì)公式（1）從左至右的逆推過(guò)程即已知觀察圖像I（x）求理想圖像J（x）。在實(shí)際的應(yīng)用場(chǎng)景中，因?yàn)榭諝饩哂凶灾髁鲃?dòng)性，在有限空間內(nèi)可以認(rèn)為大氣介質(zhì)是均勻的其光傳輸系數(shù)不變可用式（2）進(jìn)行表示：

t（x）=e-βd（x）（2）

其中β表示大氣散射系數(shù)，d（x）表示場(chǎng)景圖像的深度信息。結(jié)合公式（1）、（2）可以看出由于t（x）、J（x）、A同為未知量，是一個(gè)不可解過(guò)程。

HE的“暗通道”原理認(rèn)為一副圖像中由于成像場(chǎng)景中陰影、色彩或暗表面等的影響，彩色圖像某一色彩通道、黑白圖像的某一局部區(qū)域有比較小甚至趨近于零的亮度值。某一圖像I（x）可用公式（3）表示：

Idark（x）=c∈{r，g，b}min（y∈ω（x）min（Ic（y）））→0（3）

式（3）中Ic表示圖像I的某一色彩通道，對(duì)于灰度圖像則表示圖像灰度值。ω（x）表示圖像中坐標(biāo)x處周?chē)笮∫欢ǖ膱D像塊。HE等經(jīng)過(guò)對(duì)大量圖片試驗(yàn)證明無(wú)霧霾影響情況下Idark都比較小甚至趨近于零，這一發(fā)現(xiàn)就稱為“暗通道”原理。

3.2、圖像去霧處理

在“暗通道”原理支撐下HE在文獻(xiàn)［3］中綜合公式（1）~（3）對(duì)光介質(zhì)傳輸系數(shù)t（x）進(jìn)行估計(jì)約束，由于大氣背景光強(qiáng)度A始終為正值，假設(shè)其為已知值的情況下可得出公式（4）表示的估計(jì)值槇t（x）：

通過(guò)打量圖片試驗(yàn)證明大氣背景光強(qiáng)度A可用先前選定的“暗通道”中最亮像素點(diǎn)灰度值的0.1%來(lái)進(jìn)行估計(jì)。在對(duì)大氣背景光強(qiáng)度A和光介質(zhì)傳輸系數(shù)t（x）有了合理估計(jì)約束后不難得出圖像去霧增強(qiáng)求解公式（5）：

J（x）=（（I（x）-A）/max（t（x），t0））+A（5）

對(duì)去霧增強(qiáng)圖像求解的難點(diǎn)及重點(diǎn)是光介質(zhì)傳輸系數(shù)t（x）的合理估計(jì)及對(duì)求解結(jié)果的優(yōu)化處理。為此本系統(tǒng)采用傳統(tǒng)的具有保邊效果的中值濾波來(lái)進(jìn)行處理。實(shí)驗(yàn)證明該簡(jiǎn)化處理不僅能完全滿足實(shí)時(shí)處理要求，且最終處理結(jié)果同樣令人滿意。

4、實(shí)驗(yàn)結(jié)果

為驗(yàn)證本實(shí)時(shí)圖像去霧增強(qiáng)系統(tǒng)的有效性，搭建了實(shí)時(shí)仿真平臺(tái)，該平臺(tái)將輸入視頻在FP-GA中分兩路輸出，一路視頻輸出原始圖像，另一路輸出去霧后圖像，完全同時(shí)、同場(chǎng)景圖像的對(duì)比。

圖3 ?彩色相機(jī)實(shí)驗(yàn)結(jié)果圖（ａ、ｂ、ｃ、ｄ）

實(shí)驗(yàn)分兩組，實(shí)驗(yàn)一采用彩色相機(jī)在薄霧天氣下進(jìn)行，分別列出在光線較強(qiáng)、光線較弱、光線正常視場(chǎng)較小、光線正常視場(chǎng)較大的4種條件下所得（a）（b）（c）（d）4組實(shí)驗(yàn)結(jié)果對(duì)比圖，如圖3所示。

圖4 ?黑白相機(jī)實(shí)驗(yàn)結(jié)果圖

實(shí)驗(yàn)二采用黑白相機(jī)在比較濃的霧天下進(jìn)行，分別列出（a）（b）（c）3組觀察霧天中塔吊不同部位的實(shí)驗(yàn)結(jié)果，如圖4所示。

分析圖3實(shí)景實(shí)驗(yàn)圖片可以看出，本系統(tǒng)對(duì)霧霾天氣下成像有了明顯改善，使圖像清晰度顯著提高，圖3（b）可以看出本系統(tǒng)同時(shí)具有圖像增強(qiáng)功能，在光照條件極差情況下，經(jīng)本系統(tǒng)處理能清晰顯示圖像內(nèi)容。圖4實(shí)驗(yàn)采用黑白相機(jī)在霧霾比較重環(huán)境下進(jìn)行，可以看出該條件下本系統(tǒng)同樣具有較好的處理效果。需要指出的是，該系統(tǒng)在有霧或光照條件差的情況下能有效去除這些不利條件影響，而在成像條件好的情況下不對(duì)圖像施加其他不利影響。

5、結(jié)論

設(shè)計(jì)了一款基于DSP+FPGA的嵌入式實(shí)時(shí)圖像去霧增強(qiáng)處理系統(tǒng)。實(shí)驗(yàn)表明，該系統(tǒng)能穩(wěn)定有效去除霧霾對(duì)圖像造成的影響，提高圖像清晰度，且對(duì)光照條件差的圖像具有明顯的增強(qiáng)效果。訪系統(tǒng)可有效提高成像系統(tǒng)環(huán)境適應(yīng)性，在監(jiān)控、偵察等軍民領(lǐng)域都具有廣泛的應(yīng)用前景。