本文復(fù)現(xiàn)的是CVPR2019 Oral論文Side Window Filtering。
作者：梁德澎
首發(fā)知乎：https://zhuanlan.zhihu.com/p/79254846

論文：Side Window Filtering（文末可以直接下載）
鏈接：https://arxiv.org/pdf/1905.07177.pdf

剛開始看到這篇論文的時(shí)候，我就很感興趣想去復(fù)現(xiàn)一把看看效果。這篇論文是 CVPR2019 oral 且不是深度學(xué)習(xí)方向的，其核心貢獻(xiàn)點(diǎn)就是：不管原來的濾波器保不保邊，運(yùn)用了side-window思想之后，都可以讓它變成保邊濾波！

于是利用業(yè)余時(shí)間，參考作者開源的matlab代碼，我用C++實(shí)現(xiàn)了一下Side-window 盒子濾波，其他濾波器有時(shí)間再試下，下面是github的鏈接，讀者可以去跑下代碼看看效果玩下，從實(shí)驗(yàn)結(jié)果上看我覺得算是復(fù)現(xiàn)了論文的效果：

• side window 盒子濾波C++復(fù)現(xiàn)代碼：
• side window 中值濾波C++復(fù)現(xiàn)代碼

我們來看下復(fù)現(xiàn)論文的效果，對(duì)于一張普通圖片，經(jīng)典的盒子濾波和side-window 盒子濾波的效果對(duì)比：

從濾波結(jié)果對(duì)比上可以看到，經(jīng)典的盒子濾波隨著對(duì)同一張圖片反復(fù)應(yīng)用盒子濾波的迭代次數(shù)的增加，視覺效果是越來越模糊，到了30次迭代的時(shí)候已經(jīng)糊的沒法看了，但是Side-window盒子濾波即使迭代了30次，對(duì)于邊緣的保持還很好，和原圖基本看不出大的區(qū)別，就是邊緣細(xì)節(jié)有些丟失。

然后對(duì)原圖加上椒鹽噪聲，再對(duì)比下濾波效果：

從濾波結(jié)果對(duì)比上可以看到，經(jīng)典的盒子濾波到了10次迭代的時(shí)候，雖然椒鹽噪聲已經(jīng)很好的消除了，但是圖片也變得很模糊，邊緣都細(xì)節(jié)都丟失了，但是Side-window盒子濾波卻能很好的消除椒鹽噪聲的同時(shí)，對(duì)于邊緣的保持還很好，基本上算是還原了原圖。

下面從我的理解上去簡單解讀下這篇論文的核心思想，還有我在復(fù)現(xiàn)過程中的一些實(shí)現(xiàn)細(xì)節(jié)介紹。

目前的經(jīng)典濾波算法基本都是，以某個(gè)像素點(diǎn)為中心，按照濾波半徑，把這個(gè)包括像素點(diǎn)和其鄰域加權(quán)線性組合得到輸出，一般公式如下：

Ω是以像素點(diǎn) i 為中心的濾波窗口，w是濾波權(quán)值，q是原圖像素值，I'是輸出結(jié)果。但是這樣以一個(gè)像素為中心去濾波會(huì)導(dǎo)致的問題是，如果一個(gè)像素點(diǎn)處在邊緣位置（這里的邊緣不是指圖片的大小邊界，而是指圖像中物體的邊緣）的話，以像素為中心去濾波會(huì)導(dǎo)致濾波結(jié)果的邊緣部分變模糊。具體是為什么，論文中給出了分析過程。

首先來看下，論文中的一張圖：

文中提到為了分析方便只討論3種典型的邊緣，分別是圖中的 (a)階梯狀邊緣、(b)斜坡狀邊緣和(c)屋頂狀邊緣。論文中也給出了這3三種邊緣的形象展示：

然后文中采用了泰勒展開去分析，首先假定，圖像上(x, y)坐標(biāo)點(diǎn)的像素值為g(x, y)，對(duì)于圖中展示的情況來看，函數(shù) g(x, y)是連續(xù)但不可導(dǎo)的。對(duì)于(a)階梯狀邊緣的 'a' (藍(lán)色方框那個(gè)點(diǎn))點(diǎn)來說，文中定義 'a-' 和 'a+' 來分別表示 'a' 點(diǎn)左極限 (x - ε, y)，和右極限 (x + ε, y)，且 ε > 0。 很明顯從圖中可以看出來 g(x - ε, y) ≠ g(x + ε, y) 且/或（文中的用詞是"and (or)"）g'(x - ε, y) ≠ g'(x + ε, y)，導(dǎo)數(shù)也不等是由于邊緣部分的跳躍。因此對(duì)于這兩塊區(qū)域的泰勒展開也是不一樣的，首先來看下泰勒展開的一般公式：

“泰勒公式是將一個(gè)在 x=x0 處具有n階導(dǎo)數(shù)的函數(shù) f(x) 利用關(guān)于 (x - x0) 的n次多項(xiàng)式來逼近函數(shù)的方法?！?---百度百科

根據(jù)文中的分析，這里設(shè)定 f(x) = g(x - 2ε, y)，x0 = x - ε，則根據(jù)泰勒展開公式：

g(x - 2ε, y) ≈ f(x0) + f'(x0)(x - x0)
= g(x - ε, y) + g'(x - ε, y)(x - 2ε - (x - ε))
= g(x - ε, y) + g'(x - ε, y)(- ε)

同理，設(shè) f(x) = g(x + 2ε, y)，x0 = x + ε，則泰勒展開得：

g(x + 2ε, y) ≈ f(x0) + f'(x0)(x - x0)
= g(x + ε, y) + g'(x + ε, y)(x + 2ε - (x + ε))
= g(x + ε, y) + g'(x + ε, y)ε

所以從兩邊的泰勒展開式可以得出結(jié)論，對(duì)于 'a-' 區(qū)域的濾波估計(jì)肯定是來自區(qū)域 'a' 的左邊，而對(duì)于 'a+' 估計(jì)是來自于 'a' 的右邊，然后類比分析區(qū)域 'b'，'c' 和 'd' 都可以得到類似的結(jié)論。

因此分析得到的結(jié)論是，如果一個(gè)像素點(diǎn)處于圖像中的邊緣位置，那么濾波的時(shí)候就應(yīng)該把濾波器的邊緣和該像素點(diǎn)對(duì)齊，而不是把濾波器的中心和該像素點(diǎn)對(duì)齊。受該發(fā)現(xiàn)的啟發(fā)，文中提出了一個(gè)新的保邊濾波策略，就是把每個(gè)濾波像素點(diǎn)都當(dāng)成是潛在的邊緣點(diǎn)，然后對(duì)于每個(gè)待濾波的像素點(diǎn)，生成幾種不同的濾波子窗口，然后把這些濾波窗口的邊緣或者角點(diǎn)位置和該像素點(diǎn)對(duì)齊，然后濾波得到結(jié)果，最后根據(jù)把這些子窗口的濾波之后的最佳重構(gòu)結(jié)果作為最終的濾波結(jié)果。以上就是side window 濾波的思想。

然后文中提出了8個(gè)方向的濾波窗口，分別是上、下，左、右、左上、右上、左下和右下，最后就得到了 side window filter 的核心算法流程：

其實(shí)從核心算法邏輯來看，對(duì)原來濾波算法的改動(dòng)其實(shí)不大，就是濾波的窗口位置和大小需要改動(dòng)下，然后把8次的結(jié)果每個(gè)位置取重構(gòu)誤差最小的。然后論文中又詳細(xì)分析了 box filter 和 side window box filter 對(duì)于上面提到的三種經(jīng)典邊緣的濾波之后的保留情況。文中給出分析的圖表如下：

總的來說結(jié)論就是 side window box filter 對(duì)于階梯和斜坡狀的邊緣都能完整的保留，而對(duì)于屋頂狀邊緣雖然不能完整的保留邊緣，但是也比經(jīng)典的盒子濾波要好很多。

在復(fù)現(xiàn)過程中，本來一開始是想對(duì)文中提到的8種side window去分別寫對(duì)應(yīng)的盒子濾波的，因?yàn)楹凶訛V波有個(gè)經(jīng)典的優(yōu)化思路，可以讓運(yùn)行時(shí)間不受濾波半徑的影響，具體可以參考我之前寫得一篇博客：

梁德澎：移動(dòng)端arm cpu優(yōu)化學(xué)習(xí)筆記----一步步優(yōu)化盒子濾波（Box Filter）

后來仔細(xì)想了下，這8個(gè)side window其實(shí)也就是邊界處理不同，核心運(yùn)算邏輯都是一致的，最后就是抽象成一個(gè)函數(shù)，對(duì)于不同的side window傳不同的邊界參數(shù)，就不需要每個(gè)窗口寫一個(gè)函數(shù)了，具體可以看看github上的代碼。

然后在實(shí)現(xiàn)side window中值濾波的時(shí)候針對(duì)移動(dòng)端想了一個(gè)加速方案，因?yàn)榍笾兄敌枰獙?duì)窗口內(nèi)元素排序，這里直觀上感覺是沒什么辦法加速的，不過我嘗試了一個(gè)方案，利用neon指令相對(duì)原來提速了不少，有空的話可以寫一篇小博客去解釋，這里先埋一個(gè)彩蛋。

最后看看幾組對(duì)比結(jié)果，看看在迭代10次的情況下，經(jīng)典box filter 和 side window box filter的結(jié)果對(duì)比：

熊貓寶寶原圖

濾波結(jié)果, box filter, iteration = 10

濾波結(jié)果, side window box filter, iteration = 10

熊貓寶寶原圖+椒鹽噪聲

去噪結(jié)果, box filter, iteration = 10

去噪結(jié)果, side window box filter, iteration = 10

然后在迭代10次的情況下，經(jīng)典中值 filter 和 side window 中值濾波的結(jié)果對(duì)比：

殲20+椒鹽噪聲

去噪結(jié)果, median filter, iteration = 10

去噪結(jié)果, side window median filter, iteration = 10

相關(guān)資料：

• AI雞蛋：CVPR2019 Oral論文 #5176 Side Window Filtering介紹
• AI雞蛋：Sub-window Box Filter論文介紹

推薦文章

• 移動(dòng)端arm cpu優(yōu)化學(xué)習(xí)筆記（一）——一步步優(yōu)化盒子濾波（Box Filter）
• 移動(dòng)端arm cpu優(yōu)化學(xué)習(xí)筆記第2彈--常量階時(shí)間復(fù)雜度中值濾波

更多AI移動(dòng)端優(yōu)化的請關(guān)注專欄嵌入式AI以及知乎（@梁德澎）。

審核編輯：符乾江