在一些特定環(huán)境下，紅外傳感器無法探測到目標(biāo)時，需要將偏振技術(shù)與紅外技術(shù)相融合。為了獲得更清楚的融合圖像，可采用一種基于多尺度結(jié)構(gòu)分解的圖像融合方法實(shí)現(xiàn)紅外光強(qiáng)與偏振圖像融合。

據(jù)麥姆斯咨詢報道，近期，西安工程大學(xué)電子信息學(xué)院的科研團(tuán)隊(duì)在《紅外技術(shù)》期刊上發(fā)表了以“基于結(jié)構(gòu)與分解的紅外光強(qiáng)與偏振圖像融合”為主題的文章。該文章第一作者為陳錦妮碩士生導(dǎo)師，主要從事信息與信號處理方面的研究工作；通訊作者為陳宇洋，主要從事圖像融合方面的研究工作。

本文提出一種反正切權(quán)值函數(shù)與應(yīng)用在紅外與可見光圖像融合算法相結(jié)合，通過均值濾波器，將圖塊級的融合轉(zhuǎn)換成圖像級的融合，在不同尺度下通過不同權(quán)值，充分提取基礎(chǔ)層與細(xì)節(jié)層中的特征，有效地提高融合圖像的對比度、保留更多的紋理細(xì)節(jié)、提升了客觀指標(biāo)。

多尺度圖像分解融合方法原理

本文研究一種基于多尺度結(jié)構(gòu)分解的紅外光強(qiáng)與偏振圖像融合方法。首先，多尺度的優(yōu)勢可以在融合圖像中感知信息結(jié)構(gòu)、抑制目標(biāo)周圍的偽影。其次，將紅外光強(qiáng)與偏振圖像通過滑動窗口進(jìn)行精確圖像分解與融合，并且轉(zhuǎn)換為圖像級濾波融合，可以降低計算復(fù)雜度。

多尺度圖像分解的基本框架

結(jié)構(gòu)圖塊分解的基本思想是將一個大小為k × k的圖像塊分解為3個概念上獨(dú)立的部分：平均強(qiáng)度、信號強(qiáng)度和信號結(jié)構(gòu)。在平均強(qiáng)度融合方面，采用加權(quán)平均計算強(qiáng)度分量，以使紅外信息與偏振信息都能在融合圖像中得到體現(xiàn)。一般采取兩張輸入圖像進(jìn)行融合。

控制權(quán)重函數(shù)非線性曲線如圖1所示。不同的目標(biāo)物在不同環(huán)境下的紅外特性與偏振特征不同，所反應(yīng)出紅外光強(qiáng)與偏振圖像的平均強(qiáng)度各有高低，通過不同λ的選擇，可以擴(kuò)大紅外光強(qiáng)和偏振圖塊平均強(qiáng)度的權(quán)重差。λ較大表示更多偏振特征可以在融合結(jié)果中得到體現(xiàn)，目標(biāo)的偏振特征也會得到增強(qiáng)。

圖1 控制權(quán)重函數(shù)非線性曲線

信號強(qiáng)度的融合結(jié)果將會直接影響到圖像的局部對比度。信號強(qiáng)度越大，圖像的對比度將會越強(qiáng)、細(xì)節(jié)更清晰。通過獨(dú)立融合的平均強(qiáng)度、信號強(qiáng)度、信號結(jié)構(gòu)的3個分量，逆分解可以計算出局部融合圖塊x?。

圖塊級轉(zhuǎn)換成圖像級濾波融合

圖塊級融合通常可以通過滑動窗口實(shí)現(xiàn)，對每個圖塊進(jìn)行相應(yīng)的分解融合，然后放回原處，在圖像重疊處采用像數(shù)平均原則，在選擇較大尺寸的圖塊時圖塊級的分解與融合計算代價非常高。為了解決計算代價過高的問題，本文將圖塊級的分解融合轉(zhuǎn)換成圖像級的濾波融合。

多尺度結(jié)構(gòu)分解方法

了進(jìn)一步解決融合圖像中目標(biāo)邊緣模糊和細(xì)節(jié)丟失等問題，本文采用多尺度的方法，可以讓不同尺度上的特征與細(xì)節(jié)得到充分的利用，文中采取的多尺度方法與Li H的方法一致。通過下采樣可以將圖片分解成J層，其中包括J－1層細(xì)節(jié)層和一層基礎(chǔ)層。算法再分解尺度為4時的融合過程如圖2所示。當(dāng)中第一行和第三行分別是4種尺度下的紅外圖像與偏振圖像，第二行展示不同尺度下的融合過程與最終的融合結(jié)果。

圖2 展示多尺度結(jié)構(gòu)分解算法在J＝4時的融合過程

融合圖像主客觀分析

在進(jìn)行圖像評價之前，應(yīng)該確定本算法中參數(shù)λ。進(jìn)行6組不同λ參數(shù)的融合對比實(shí)驗(yàn)，根據(jù)實(shí)驗(yàn)結(jié)果，當(dāng)λ＝5時，本算法在7項(xiàng)評價指標(biāo)中4項(xiàng)領(lǐng)先，所以這里采用λ＝5。分解層數(shù)J是由圖像的H和W與一個可變常數(shù)T所自適應(yīng)確定，這里約定使用T＝3，細(xì)節(jié)層為2×2，中間層與基礎(chǔ)層分別為2×2與1×1，表1詳細(xì)說明本算法在5組融合圖像下不同融合參數(shù)的平均質(zhì)量評價。從中可以看到當(dāng)λ＝5時算法在信息熵（EN）、視覺保真度（VIF）、多尺度結(jié)構(gòu)相似度測量（MS_SSIM）、結(jié)構(gòu)相似度測量（SSIM），4種指標(biāo)上取得優(yōu)勢，而其它的指標(biāo)也有不俗的表現(xiàn)。

表1 5組融合圖像下不同λ的平均質(zhì)量評價

主觀評價

選取常見數(shù)據(jù)集中的5組圖像進(jìn)行相應(yīng)的融合，并對比8種多尺度算法在紅外偏振融合的結(jié)果，其中包括CP、DWT、GP、LP、PCA、RP、SIDWT以及本文所提出的算法。如圖3~圖7所示。

圖3 Airport在8種多尺度融合算法的結(jié)果圖：(a)紅外圖像；(b)偏振圖像；(c)對比度金字塔；(d)離散小波變換；(e)梯度金字塔；(f)拉普拉斯金字塔；(g)主成分分析；(h)低通金字塔；(i)平移不變小波變換；(j)本文算法

圖4 Road在8種多尺度融合算法的結(jié)果圖：(a)紅外圖像；(b)偏振圖像；(c)對比度金字塔；(d)離散小波變換；(e)梯度金字塔；(f)拉普拉斯金字塔；(g)主成分分析；(h)低通金字塔；(i)平移不變小波變換；(j)本文算法

圖5 Car在8種多尺度融合算法的結(jié)果圖：(a)紅外圖像；(b)偏振圖像；(c)對比度金字塔；(d)離散小波變換；(e)梯度金字塔；(f)拉普拉斯金字塔；(g)主成分分析；(h)低通金字塔；(i)平移不變小波變換；(j)本文算法

圖6 Windows在8種多尺度融合算法的結(jié)果圖：(a)紅外圖像；(b)偏振圖像；(c)對比度金字塔；(d)離散小波變換；(e)梯度金字塔；(f)拉普拉斯金字塔；(g)主成分分析；(h)低通金字塔；(i)平移不變小波變換；(j)本文算法

圖7 Outdoor在8種多尺度融合算法的結(jié)果圖：(a)紅外圖像；(b)偏振圖像；(c)對比度金字塔；(d)離散小波變換；(e)梯度金字塔；(f)拉普拉斯金字塔；(g)主成分分析；(h)低通金字塔；(i)平移不變小波變換；(j)本文算法

從5組融合圖像中可以得知，通過CP算法融合的圖像，容易產(chǎn)生噪聲，并且大部分在圖像中出現(xiàn)噪聲，部分圖像目標(biāo)周圍出現(xiàn)偽影。DWT的融合思想，首先對源圖像進(jìn)行變換，然后按照一定規(guī)則對變換系數(shù)進(jìn)行合并，最后對合并后的系數(shù)進(jìn)行逆變換得到融合圖像。而DWT目標(biāo)周圍發(fā)生嚴(yán)重的偽影，以及少部分的紋理丟失。

GP與LP都是基于金字塔的多尺度分解方法，將源圖像分別分解到不同的空間頻帶上，融合過程是在各空間頻率層上分別進(jìn)行的，這樣就可以針對不同分解層的不同頻帶上的特征與細(xì)節(jié)，采用不同的融合算子以達(dá)到突出特定頻帶上特征與細(xì)節(jié)的目的。PCA融合結(jié)果整體平滑，但將關(guān)鍵偏振信息丟失。

RP融合通過許多低頻信息，導(dǎo)致融合圖中存在許多噪聲導(dǎo)致融合結(jié)果不清晰。SIDWT也是采用不同的融合策略將高頻信息與低頻信息分別融合，最后逆變換獲得最終圖像，整體融合結(jié)果對比度較低。最后本文所改進(jìn)的算法，在紅外光強(qiáng)與偏振圖像的融合中，圖像對比度得到整體提高以及更多的紋理信息，且目標(biāo)周圍偽影得到有效處理。

客觀評價

除了主觀評價之外，為了對此方法與其他融合方法進(jìn)行定量對比，選取7種圖像質(zhì)量的評價指標(biāo)，其中包括：EN信息熵、QAB/F基于梯度的融合性能、差異相關(guān)（SCD）、標(biāo)準(zhǔn)差（SD）、VIF視覺保真度、MS_SSIM多尺度結(jié)構(gòu)相似度測量、SSIM結(jié)構(gòu)相似度測量，評價指標(biāo)的具體數(shù)值如表2所示。EN主要是度量圖像包含信息量多少的評價指標(biāo)；QAB/F代表圖像邊緣的保留程度；SCD的值度量融合后圖像與源圖像差異性，并且與人類視覺主觀評價相似；SD代表圖像的灰度級分布；VIF用于量化整個圖像的信息保真度；所選取7個評價指標(biāo)的數(shù)值越大，代表融合圖像的質(zhì)量越好。

表2 融合圖像的客觀評價指標(biāo)

結(jié)論

本文根據(jù)傳統(tǒng)多尺度融合方法在紅外光強(qiáng)與偏振圖像中存在的對比度低、目標(biāo)偏振特征不明顯、紋理細(xì)節(jié)不夠清晰等問題，提出一種反正切函數(shù)作為權(quán)重函數(shù)與多尺度結(jié)構(gòu)分解相結(jié)合的融合算法應(yīng)用在紅外光強(qiáng)與偏振融合中。詳細(xì)說明多尺度結(jié)構(gòu)分解的融合算法，將圖塊級融合的方式轉(zhuǎn)換為圖像級的濾波融合。然后通過參數(shù)實(shí)驗(yàn)結(jié)果對比，選取較好的融合參數(shù)進(jìn)行融合。

在主觀上具有較好的效果，提高融合圖像整體對比度，有效地抑制了目標(biāo)周圍偽影以及保留了更多的紋理細(xì)節(jié)。在常用的公共數(shù)據(jù)集中進(jìn)行主觀評價與客觀評價，實(shí)驗(yàn)結(jié)果表明，本方法具有良好的主觀視覺效果，有效解決融合圖像對比低、目標(biāo)偏振特征不突出、紋理細(xì)節(jié)不夠清晰、目標(biāo)偽影等問題，并且在與傳統(tǒng)多尺度算法的7種客觀評價指標(biāo)的比較中取得4種指標(biāo)領(lǐng)先的結(jié)果，說明該算法在紅外與偏振的融合圖像中具有較多優(yōu)勢以及多場景的適應(yīng)性與穩(wěn)定性。

審核編輯：劉清