圖像融合旨在將來(lái)自不同源圖像的互補(bǔ)信息融合在一起，生成一幅具有更高質(zhì)量、更多信息量和更清晰的圖像。紅外與可見(jiàn)光圖像融合（IVIF）是圖像融合領(lǐng)域的研究熱點(diǎn)。

據(jù)麥姆斯咨詢報(bào)道，近期，江蘇海洋大學(xué)電子工程學(xué)院的科研團(tuán)隊(duì)在《激光與光電子學(xué)進(jìn)展》期刊上發(fā)表了以“紅外與可見(jiàn)光圖像融合：統(tǒng)計(jì)分析，深度學(xué)習(xí)方法和未來(lái)展望”為主題的文章。該文章第一作者為吳一非，通訊作者為楊瑞。

本文將依次回顧紅外與可見(jiàn)光圖像融合傳統(tǒng)方法和基于深度學(xué)習(xí)的方法，并對(duì)前沿深度學(xué)習(xí)方法做重點(diǎn)論述。同時(shí)，對(duì)圖像融合領(lǐng)域的性能評(píng)價(jià)方法進(jìn)行系統(tǒng)分類和介紹；最后，對(duì)全文進(jìn)行了總結(jié)以及對(duì)IVIF方法的展望。

圖像融合方法

傳統(tǒng)方法

IVIF傳統(tǒng)方法的融合框架主要包括三個(gè)關(guān)鍵部分：圖像配準(zhǔn)與變換、特征提取與選擇和融合規(guī)則設(shè)計(jì)。

基于多尺度變換的方法

IVIF傳統(tǒng)方法中，基于多尺度變換是最受歡迎的方法之一。它的主要步驟包括三個(gè)階段：第一階段，將源圖像分解成一系列的多尺度表示；第二階段，根據(jù)手工設(shè)計(jì)的融合規(guī)則融合多尺度變換；最后，利用多尺度逆變換得到融合圖像。經(jīng)典的多尺度變換方法包括金字塔變換、小波變換、多尺度幾何分析和邊緣保持濾波器。

基于稀疏表示的方法

與帶前綴基函數(shù)的多尺度變換IVIF方法不同，基于稀疏表示（SR）的方法通過(guò)學(xué)習(xí)過(guò)完備字典，能夠有效地表示和提取圖像信息。然而，配準(zhǔn)誤差或噪聲可能會(huì)對(duì)融合后的多尺度表示系數(shù)造成偏差，造成視覺(jué)偽影。SR利用滑動(dòng)窗口技術(shù)將圖像分成多個(gè)重疊的塊，將其矢量化以減少偽影并提高對(duì)配準(zhǔn)不良的魯棒性。

基于SR的IVIF方法有三個(gè)關(guān)鍵步驟：構(gòu)建過(guò)完備字典、稀疏編碼和融合策略。過(guò)完備字典的質(zhì)量決定了稀疏編碼的信號(hào)表示能力，可以將基于SR的方法按照構(gòu)建過(guò)完備字典分為兩類：固定基和基于學(xué)習(xí)的方法。用固定基構(gòu)建過(guò)完備字典簡(jiǎn)單且計(jì)算效率高，而基于學(xué)習(xí)方法構(gòu)建的過(guò)完備字典更靈活有效。

基于子空間的方法

基于子空間的方法，是傳統(tǒng)方法中比較常用的一種方法。這種方法通過(guò)將高維輸入圖像投影到低維空間或子空間中，捕獲源圖像的內(nèi)部結(jié)構(gòu)。典型的基于子空間的方法包括主成分分析、獨(dú)立成分分析和非負(fù)矩陣分解。

基于顯著性的方法

基于顯著性的IVIF方法可以保持顯著目標(biāo)區(qū)域的完整性，減少噪聲、模糊和其他干擾，從而提高融合圖像的視覺(jué)質(zhì)量和清晰度。權(quán)重計(jì)算和提取顯著對(duì)象是紅外與可見(jiàn)光融合中兩種常見(jiàn)的顯著性方法。

基于深度學(xué)習(xí)的方法

基于自動(dòng)編碼器（AE）的方法

由于神經(jīng)網(wǎng)絡(luò)在數(shù)據(jù)驅(qū)動(dòng)模式下具有較強(qiáng)的非線性擬合能力，為了進(jìn)一步提高圖像融合質(zhì)量,研究者們提出了一系列基于AE的融合方法，融合框架如圖1所示。該類方法一般由兩個(gè)步驟組成：首先，使用大型數(shù)據(jù)集預(yù)訓(xùn)練自動(dòng)編碼器，其中編碼器用于特征提取，解碼器用于圖像重建。然后，大多結(jié)合手工設(shè)計(jì)的融合策略將編碼特征進(jìn)行融合以實(shí)現(xiàn)最終的圖像融合。

圖1 基于AE的IVIF框架

基于AE的方法都采用了手動(dòng)設(shè)計(jì)的融合策略，盡管取得了不錯(cuò)的融合效果，但融合結(jié)果可能并不理想。解決手工設(shè)計(jì)融合策略問(wèn)題是改進(jìn)基于AE方法的一個(gè)研究方向。

基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的方法

CNN是一種典型的神經(jīng)網(wǎng)絡(luò)模型，具有很強(qiáng)的特征提取能力?；贑NN的IVIF方法（如圖2）通常依靠神經(jīng)網(wǎng)絡(luò)強(qiáng)大的擬合能力，在精心設(shè)計(jì)的損失函數(shù)或真值標(biāo)簽下實(shí)現(xiàn)有效信息的提取和重構(gòu)。

圖2 基于CNN的IVIF框架

基于生成對(duì)抗網(wǎng)絡(luò)（GAN）的方法

隨著生成對(duì)抗網(wǎng)絡(luò)（GAN）的出現(xiàn)，由于其能夠生成信息豐富、視覺(jué)效果良好的圖像，因此在圖像IVIF領(lǐng)域得到了廣泛應(yīng)用?；贕AN的圖像融合網(wǎng)絡(luò)（如圖3）主要由生成器和判別器組成，通過(guò)利用判別器對(duì)生成器生成的融合圖像與判別依據(jù)進(jìn)行判別，其中判別依據(jù)可以是源圖像，也可以是其他方法生成的融合圖像。如果判別為假，通過(guò)不斷調(diào)整生成器的參數(shù)重新生成融合圖像，直到判別器判別為真，通過(guò)上述對(duì)抗過(guò)程最終生成更高質(zhì)量的融合圖像。

圖3 基于生成對(duì)抗網(wǎng)絡(luò)GAN的IVIF框架

基于變換器（Transformer）的方法

現(xiàn)有的基于深度學(xué)習(xí)的方法通常采用卷積操作進(jìn)行特征提取，捕獲圖像局部特征；但容易忽略圖像中存在的遠(yuǎn)距離依賴關(guān)系，訓(xùn)練過(guò)程中會(huì)損失一定的全局信息。近年來(lái)，一些最新的圖像融合研究工作發(fā)現(xiàn)，Transformer在處理序列數(shù)據(jù)和建模遠(yuǎn)距離依賴關(guān)系方面表現(xiàn)出色，研究人員提出了很多基于Transformer的IVIF方法，融合框架如圖4所示。

圖4 基于Transformer的IVIF框架

IVIF性能評(píng)價(jià)方法

IVIF技術(shù)已廣泛應(yīng)用于目標(biāo)識(shí)別、視頻監(jiān)控和醫(yī)療衛(wèi)生等領(lǐng)域。然而，不同融合方法得到的融合圖像具有不同特點(diǎn)，而融合圖像的質(zhì)量很大程度上影響著實(shí)際應(yīng)用中的性能。因此，研究人員提出了許多方法來(lái)評(píng)估融合圖像的質(zhì)量，這些方法可以分為主觀評(píng)價(jià)方法和客觀評(píng)價(jià)方法。

主觀評(píng)價(jià)方法

主觀評(píng)價(jià)方法是最直接的評(píng)價(jià)方法，可以反映人類對(duì)多種因素（如清晰度、對(duì)比度、顏色自然度等）的主觀感知，從而更真實(shí)地評(píng)估圖像融合結(jié)果對(duì)視覺(jué)的影響，更接近實(shí)際應(yīng)用中人們的實(shí)際感受。然而，受主觀性和主觀偏見(jiàn)等因素的影響，為了更準(zhǔn)確地評(píng)估圖像融合算法，通常會(huì)將主觀評(píng)價(jià)與客觀評(píng)價(jià)方法相結(jié)合，以獲得更全面、可靠的評(píng)價(jià)結(jié)果。

客觀評(píng)價(jià)方法

客觀評(píng)價(jià)方法旨在量化評(píng)估融合圖像與源圖像之間的差異，以判斷融合算法的性能和效果。這些方法利用各種指標(biāo)和技術(shù)來(lái)測(cè)量融合后圖像的質(zhì)量、信息保留程度、對(duì)比度、顏色平衡等方面的特征。

綜上所述，紅外與可見(jiàn)光圖像融合的客觀評(píng)價(jià)指標(biāo)主要從融合圖像的信息量、特征、結(jié)構(gòu)、視覺(jué)效果和相關(guān)系數(shù)等方面進(jìn)行評(píng)價(jià)。其中，信息論類指標(biāo)主要關(guān)注圖像信息的增益，特征類指標(biāo)反映圖像的亮度、對(duì)比度等特征，結(jié)構(gòu)相似性類指標(biāo)注重衡量圖像結(jié)構(gòu)的相似性，視覺(jué)感知類指標(biāo)強(qiáng)調(diào)圖像視覺(jué)信息的保留量，而相關(guān)性類指標(biāo)主要考慮圖像之間的相關(guān)性。因此，在實(shí)際應(yīng)用中可以根據(jù)任務(wù)需求選擇適當(dāng)?shù)闹笜?biāo)類別，或者根據(jù)具體情況綜合考慮不同類別的指標(biāo)來(lái)評(píng)價(jià)融合結(jié)果的性能。

總結(jié)與展望

本文對(duì)三大工程類在線文獻(xiàn)數(shù)據(jù)庫(kù)近20年相關(guān)論文發(fā)表情況進(jìn)行了分析，并單獨(dú)對(duì)各類基于深度學(xué)習(xí)的IVIF算法文獻(xiàn)發(fā)表數(shù)量統(tǒng)計(jì)分析，研究發(fā)展趨勢(shì)，為IVIF的新技術(shù)研究提供參考。同時(shí)，在此基礎(chǔ)上回顧了IVIF技術(shù)的研究現(xiàn)狀，介紹了傳統(tǒng)方法，并詳細(xì)比較了基于深度學(xué)習(xí)的方法。此外，還對(duì)五大類IVIF圖像融合性能評(píng)價(jià)方法進(jìn)行了比較分析。

目前紅外與可見(jiàn)光圖像融合技術(shù)已經(jīng)許多成果，但是仍有還存在許多問(wèn)題亟待研究者們?nèi)ソ鉀Q。在未來(lái)一段時(shí)間內(nèi)，改進(jìn)紅外與可見(jiàn)光圖像融合方法將包括以下幾個(gè)方面：

（1）圖像配準(zhǔn)方法的研究?，F(xiàn)有融合算法大多都是基于已配準(zhǔn)的源圖像。然而，在實(shí)際應(yīng)用中，不同類型傳感器很難捕獲空間嚴(yán)格對(duì)齊的圖像，空間信息的不匹配將極大影響融合圖像的質(zhì)量。因此，精確的配準(zhǔn)算法的研究就顯得尤為重要。

（2）融合圖像色彩保真度問(wèn)題?，F(xiàn)有IVIF方法大多只關(guān)注于融合可見(jiàn)光圖像的梯度信息和紅外圖像的強(qiáng)度信息，很少注意到保留可見(jiàn)光圖像中顏色信息的重要性。但是從Yue等人研究中可以清楚地發(fā)現(xiàn)具有高色彩保真度的圖像更適合人類的視覺(jué)感知。因此，在保留強(qiáng)度信息和梯度信息的同時(shí)，保留可見(jiàn)光圖像的色彩保真度是未來(lái)提升融合圖像質(zhì)量的一個(gè)重要研究方向。

（3）提升圖像融合的效率。近年來(lái)研究者基于深度學(xué)習(xí)的方法，提出了更大更深的模型來(lái)提升圖像融合的性能，但同時(shí)影響了圖像的融合效率。未來(lái)IVIF方法的高效性也是研究者的重點(diǎn)關(guān)注方向之一。

（4）創(chuàng)新基于Transformer的方法。目前，已經(jīng)涌現(xiàn)了很多基于Transformer的IVIF方法，但是，將Transformer應(yīng)用到IVIF任務(wù)中還處于起步狀態(tài)，未來(lái)將會(huì)浮現(xiàn)出更多基于Transformer的IVIF方法，Transformer解決全局依賴關(guān)系的能力會(huì)被更多、更好的挖掘。

（5）結(jié)合高級(jí)視覺(jué)任務(wù)?，F(xiàn)有的大部分IVIF 方法都能夠很好的加強(qiáng)紅外與可見(jiàn)光融合的圖像視覺(jué)質(zhì)量，獲得不錯(cuò)的定量指標(biāo)。但是，目前方法中針對(duì)下游應(yīng)用任務(wù)的要求考慮較少，不能很好的滿足下游應(yīng)用的具體需求。所以，在保持良好圖像融合效果的情況下，又能符合具體視覺(jué)任務(wù)需求將是今后研究的一個(gè)重要課題之一。

（6）完善的性能評(píng)價(jià)方法。紅外與可見(jiàn)光圖像融合由于沒(méi)有真值標(biāo)簽，如何準(zhǔn)確評(píng)估融合算法的性能沒(méi)有統(tǒng)一完善的標(biāo)準(zhǔn)。不同的研究需求和應(yīng)用領(lǐng)域可能會(huì)選擇不同的評(píng)價(jià)指標(biāo)，這使得比較不同方法的結(jié)果變得有挑戰(zhàn)性。所以，需要進(jìn)一步建立一種更為通用、公平和能被廣泛接受的圖像融合評(píng)價(jià)標(biāo)準(zhǔn)。

審核編輯：劉清