圖像復(fù)原又來(lái)新突破了！還記得性能超越SwinIR（基于Transformer）的MambaIR嗎？一種基于Mamba的圖像復(fù)原基準(zhǔn)模型，登上ECCV 2024。最近原作者又開(kāi)發(fā)了新版本MambaIRv2，更高性能、更高效率！另外還有ACM MM 2024上的Freqmamba方法，在圖像去雨任務(wù)中取得了SOTA性能！

顯然，這種基于Mamba的方法在圖像復(fù)原領(lǐng)域，比基于CNN和Transformer的方法更受歡迎。得益于Mamba全局感受野、線性計(jì)算復(fù)雜度、高效遠(yuǎn)程依賴處理等諸多優(yōu)勢(shì)，它在圖像復(fù)原（比如超分辨率、去噪等）任務(wù)上實(shí)現(xiàn)了更高的復(fù)原質(zhì)量和更低的計(jì)算成本！可以說(shuō)是圖像增強(qiáng)領(lǐng)域的研究焦點(diǎn)。

目前這方向研究熱情高漲，頂會(huì)成果多，為了幫論文er抓緊機(jī)會(huì)，我已經(jīng)挑選好了10篇Mamba做圖像復(fù)原的高質(zhì)量論文供大家參考，基本都有代碼，想速發(fā)論文拿下頂會(huì)的別錯(cuò)過(guò)啦。

MambaIRv2: Attentive State Space Restoration

方法：論文提出了一種基于Mamba架構(gòu)的圖像復(fù)原方法MambaIRv2，通過(guò)引入非因果建模能力，類似于ViT，來(lái)增強(qiáng)Mamba的圖像復(fù)原性能。這種方法特別關(guān)注解決Mamba在因果建模中的局限性，允許模型在整個(gè)圖像中更有效地利用像素信息，從而提高圖像復(fù)原任務(wù)的性能，如超分辨率、去噪和JPEG壓縮減少等。

創(chuàng)新點(diǎn)：

提出了“注意力狀態(tài)空間恢復(fù)”的新方法，通過(guò)將注意力機(jī)制與狀態(tài)空間模型結(jié)合，克服了Mamba架構(gòu)的因果建模限制。

通過(guò)語(yǔ)義引導(dǎo)的鄰域重構(gòu)，作者將相似像素在一維序列中重新排列，使其更加接近。

Freqmamba: Viewing mamba from a frequency perspective for image deraining

方法：論文提出了一種名為FreqMamba的圖像復(fù)原方法。FreqMamba結(jié)合了Mamba模型和頻率分析，專注于圖像去雨任務(wù)。該方法通過(guò)結(jié)合頻率分析和Mamba的狀態(tài)空間模型來(lái)提高去雨效果，包括空間Mamba、頻率帶Mamba和傅里葉全局建模三個(gè)交互結(jié)構(gòu)，旨在利用Mamba捕捉局部相關(guān)性的能力，同時(shí)通過(guò)頻率分析增強(qiáng)對(duì)全局退化的感知。

創(chuàng)新點(diǎn)：

FreqMamba 是一種創(chuàng)新性的去雨網(wǎng)絡(luò)，通過(guò)結(jié)合空間域序列建模和頻率域全局建模，以應(yīng)對(duì)圖像去雨的挑戰(zhàn)。

引入了一種新穎的三分支結(jié)構(gòu)用于低光圖像增強(qiáng)，成功應(yīng)對(duì)照明不足和噪聲放大的場(chǎng)景。

頻率SSM模塊利用多尺度U-Net架構(gòu)，并結(jié)合不同尺度的降解圖像生成注意力圖，捕獲不同尺度的降解分布。

Multi-dimensional Visual Prompt Enhanced Image Restoration via Mamba-Transformer Aggregation

方法：論文提出了一個(gè)名為MTAIR的方法，通過(guò)充分利用Mamba和Transformer的互補(bǔ)優(yōu)勢(shì)，在不犧牲計(jì)算效率的情況下，處理包括圖像去噪、去雨和去霧等多種圖像退化問(wèn)題。MTAIR通過(guò)在空間和通道維度上設(shè)計(jì)多維提示學(xué)習(xí)模塊，來(lái)動(dòng)態(tài)調(diào)整特征分布并挖掘與特定退化任務(wù)相關(guān)的上下文信息，從而提高了“全能型”圖像復(fù)原模型的性能。

創(chuàng)新點(diǎn)：

結(jié)合了Mamba和Transformer的優(yōu)勢(shì)，通過(guò)選擇性掃描機(jī)制在空間維度進(jìn)行長(zhǎng)距離依賴建模，同時(shí)利用Transformer的自注意力機(jī)制在通道維度進(jìn)行判別特征學(xué)習(xí)。

設(shè)計(jì)了一種新穎的多維提示學(xué)習(xí)模塊，能夠從多尺度層中學(xué)習(xí)提示流，有助于從空間和通道角度揭示各種退化的底層特征，從而增強(qiáng)"多合一"模型解決各種恢復(fù)任務(wù)的能力。

Cu-mamba: Selective state space models with channel learning for image restoration

方法：論文介紹了一個(gè)名為CU-Mamba的模型，該模型結(jié)合了U-Net架構(gòu)和雙狀態(tài)空間模型框架，用于圖像復(fù)原任務(wù)。CU-Mamba模型利用空間SSM模塊進(jìn)行全局上下文編碼，以及通道SSM組件來(lái)保留通道相關(guān)特征，兩者都具有相對(duì)于特征圖大小的線性計(jì)算復(fù)雜度。

創(chuàng)新點(diǎn)：

提出了一種新型的通道感知U形Mamba模型（CU-Mamba），通過(guò)結(jié)合U-Net框架與雙向選擇性狀態(tài)空間模型（SSM），顯著提升了圖像復(fù)原能力。

在CU-Mamba模型中，作者創(chuàng)新性地在通道維度引入選擇性SSM機(jī)制，以彌補(bǔ)現(xiàn)有Mamba-based U-Net在捕獲通道信息方面的不足。