視頻圖像去模糊常用處理方法

　　隨著“平安城市”的廣泛建設(shè)，各大城市已經(jīng)建有大量的視頻監(jiān)控系統(tǒng)，雖然監(jiān)控系統(tǒng)己經(jīng)廣泛地存在于銀行、商場(chǎng)、車站和交通路口等公共場(chǎng)所，但是在公安工作中，由于設(shè)備或者其他條件的限制，案情發(fā)生后的圖像回放都存在圖像不清晰，數(shù)據(jù)不完整的問(wèn)題，無(wú)法為案件的及時(shí)偵破提供有效線索。經(jīng)常出現(xiàn)嫌疑人面部特征不清晰，難以辨認(rèn)，嫌疑車輛車牌模糊無(wú)法辨認(rèn)等問(wèn)題。這給公安部門破案、法院的取證都帶來(lái)了極大的麻煩。隨著平安城市的推廣、各地各類監(jiān)控系統(tǒng)建設(shè)的進(jìn)一步推進(jìn)，此類問(wèn)題會(huì)越來(lái)越突出。

　　一．模糊圖像產(chǎn)生的原因

　　1. 系統(tǒng)自身因素

　?。?）鏡頭聚焦不當(dāng)、攝像機(jī)故障等。

　?。?）傳輸太遠(yuǎn)、視頻線老化

　?。?）光學(xué)鏡頭的極限分辨率和攝像機(jī)不匹配導(dǎo)致的模糊;

　　（4）相機(jī)分辨率低，欠采樣成像。

　　2.　自然環(huán)境

　?。?）攝像機(jī)罩或鏡頭受臟污、受遮擋等。

　?。?）大霧，沙塵、雨雪等環(huán)境影響等。

　　3. 人為環(huán)境

　?。?）環(huán)境電磁干擾;

　?。?）視頻壓縮算法、傳輸帶寬導(dǎo)致的模糊。

　　（3）運(yùn)動(dòng)目標(biāo)高速運(yùn)動(dòng)導(dǎo)致的運(yùn)動(dòng)模糊等;

　　二?！∧：龍D像常用的處理方法

　　對(duì)于模糊圖像處理技術(shù)，國(guó)內(nèi)大學(xué)和科研機(jī)構(gòu)在多年以前就在研究這些理論和應(yīng)用，相關(guān)文獻(xiàn)也發(fā)布了不少，已經(jīng)取得了一些很好的應(yīng)用。當(dāng)前有很多軟件已經(jīng)有了相當(dāng)成熟的一套模糊圖像恢復(fù)方法，在美國(guó)FBI及其他執(zhí)法機(jī)構(gòu)中已有多年實(shí)際應(yīng)用，其恢復(fù)出的圖像可以直接當(dāng)作法庭證據(jù)使用，可見(jiàn)模糊圖像處理技術(shù)已經(jīng)取得了相當(dāng)?shù)膶?shí)際應(yīng)用。從技術(shù)方面來(lái)向，模糊圖像處理方法主要分為三大類，分別是圖像增強(qiáng)、圖像復(fù)原和超分辨率重構(gòu)。

　　2.1 圖像增強(qiáng)

　　增強(qiáng)圖象中的有用信息，它可以是一個(gè)失真的過(guò)程，其目的是要改善圖像的視覺(jué)效果，針對(duì)給定圖像的應(yīng)用場(chǎng)合，有目的地強(qiáng)調(diào)圖像的整體或局部特性，將原來(lái)不清晰的圖像變得清晰或強(qiáng)調(diào)某些感興趣的特征，擴(kuò)大圖像中不同物體特征之間的差別，抑制不感興趣的特征，使之改善圖像質(zhì)量、豐富信息量，加強(qiáng)圖像判讀和識(shí)別效果，滿足某些特殊分析的需要。圖像增強(qiáng)技術(shù)根據(jù)增強(qiáng)處理過(guò)程所在的空間不同，可分為基于空域的算法和基于頻域的算法兩大類。

　　前者把圖像看成一種二維信號(hào)，對(duì)其進(jìn)行基于二維傅里葉變換的信號(hào)增強(qiáng)。采用低通濾波（即只讓低頻信號(hào)通過(guò)）法，可去掉圖中的噪聲；采用高通濾波法，則可增強(qiáng)邊緣等高頻信號(hào)，使模糊的圖片變得清晰。具有代表性的空間域算法有局部求平均值法和中值濾波（取局部鄰域中的中間像素值）法等，它們可用于去除或減弱噪聲。

　　基于空域的算法分為點(diǎn)運(yùn)算算法和鄰域去噪算法。點(diǎn)運(yùn)算算法即灰度級(jí)校正、灰度變換和直方圖修正等，目的或使圖像成像均勻，或擴(kuò)大圖像動(dòng)態(tài)范圍，擴(kuò)展對(duì)比度。鄰域增強(qiáng)算法分為圖像平滑和銳化兩種。平滑一般用于消除圖像噪聲，但是也容易引起邊緣的模糊。常用算法有均值濾波、中值濾波。銳化的目的在于突出物體的邊緣輪廓，便于目標(biāo)識(shí)別。常用算法有梯度法、算子、高通濾波、掩模匹配法、統(tǒng)計(jì)差值法等。

　　2.1.1 圖像增強(qiáng)的幾個(gè)方面及方法

　　1.對(duì)比度變換：線性變換、非線性變換

　　2.空間濾波：圖像卷積運(yùn)算、平滑、銳化

　　3.彩色變換：?jiǎn)尾ǘ尾噬儞Q、多波段彩色運(yùn)算、HIS

　　4.多光譜變換：K-L變換、K-T變換

　　5.圖像運(yùn)算：插值運(yùn)算、比值運(yùn)算

　　2.1.2 圖像增強(qiáng)的應(yīng)用概況

　　圖像增強(qiáng)的方法分為空域法和頻域法兩種，空域法是對(duì)圖像中的像素點(diǎn)進(jìn)行操作，用公式描述

　　如下：

　　g（x，y）=f（x，y）*h（x，y）

　　其中是f（x，y）原圖像；h（x，y）為空間轉(zhuǎn)換函數(shù)；g（x，y）表示進(jìn)行處理后的圖像。頻域法是間接的處理方法，是先在圖像的頻域中對(duì)圖像的變換值進(jìn)行操作，然后變回空域。例如，先對(duì)圖像進(jìn)行傅里葉變化到頻域，再對(duì)圖像的頻譜進(jìn)行某種濾波修正，最后將修正后的圖像進(jìn)行傅里葉反變化到空域，以此增強(qiáng)圖像。

　　很多傳統(tǒng)圖像算法都可以減輕圖像的模糊程度， 比如圖像濾波、幾何變換、對(duì)比度拉伸、直方圖均衡、空間域銳化、亮度均勻化、形態(tài)學(xué)、顏色處理等。單個(gè)來(lái)講，這些算法比較成熟，相對(duì)簡(jiǎn)單。但是對(duì)于一個(gè)具體的模糊圖像，往往需要上面的一種或者多種算法組合，配合不同的參數(shù)才能達(dá)到理想的效果。

　　這些算法和參數(shù)的組合進(jìn)一步發(fā)展為具體的增強(qiáng)算法，比如“圖像去霧”算法（可參考何愷明經(jīng)典去霧算法）、“圖像去噪”算法、“圖像銳化”算法、“圖像暗細(xì)節(jié)增強(qiáng)”算法等。

　　2.2 圖像復(fù)原

　　2.2.1 圖像復(fù)原概述

　　在圖像的獲取、傳輸以及保存過(guò)程中，由于各種因素，如大氣的湍流效應(yīng)、攝像設(shè)備中光學(xué)系統(tǒng)的衍射、傳感器特性的非線性、光學(xué)系統(tǒng)的像差、成像設(shè)備與物體之間的相對(duì)運(yùn)動(dòng)、感光膠卷的非線性及膠片顆粒噪聲以及電視攝像掃描的非線性等所引起的幾何失真，都難免會(huì)造成圖像的畸變和失真。通常，稱由于這些因素引起的質(zhì)量下降為圖像退化。早期的圖像復(fù)原是利用光學(xué)的方法對(duì)失真的觀測(cè)圖像進(jìn)行校正，而數(shù)字圖像復(fù)原技術(shù)最早則是從對(duì)天文觀測(cè)圖像的后期處理中逐步發(fā)展起來(lái)的。其中一個(gè)成功例子是NASA的噴氣推進(jìn)實(shí)驗(yàn)室在1964年用計(jì)算機(jī)處理有關(guān)月球的照片。照片是在空間飛行器上用電視攝像機(jī)拍攝的，圖像的復(fù)原包括消除干擾和噪聲，校正幾何失真和對(duì)比度損失以及反卷積。另一個(gè)典型的例子是對(duì)肯尼迪遇刺事件現(xiàn)場(chǎng)照片的處理。

? ? ? ?由于事發(fā)突然，照片是在相機(jī)移動(dòng)過(guò)程中拍攝的，圖像復(fù)原的主要目的就是消除移動(dòng)造成的失真。早期的復(fù)原方法有：非鄰域?yàn)V波法，最近鄰域?yàn)V波法以及效果較好的維納濾波和最小二乘濾波等。目前國(guó)內(nèi)外圖像復(fù)原技術(shù)的研究和應(yīng)用主要集中于諸如空間探索、天文觀測(cè)、物質(zhì)研究、遙感遙測(cè)、軍事科學(xué)、生物科學(xué)、醫(yī)學(xué)影象、交通監(jiān)控、刑事偵察等領(lǐng)域。如生物方面，主要是用于生物活體細(xì)胞內(nèi)部組織的三維再現(xiàn)和重構(gòu)，通過(guò)復(fù)原熒光顯微鏡所采集的細(xì)胞內(nèi)部逐層切片圖，來(lái)重現(xiàn)細(xì)胞內(nèi)部構(gòu)成；醫(yī)學(xué)方面，如對(duì)腫瘤周圍組織進(jìn)行顯微觀察，以獲取腫瘤安全切緣與癌腫原發(fā)部位之間關(guān)系的定量數(shù)據(jù)；天文方面，如采用迭代盲反卷積進(jìn)行氣動(dòng)光學(xué)效應(yīng)圖像復(fù)原研究等。

　　2.2.2 圖像退化模型

　　圖像復(fù)原問(wèn)題的有效性關(guān)鍵之一取決于描述圖像退化過(guò)程模型的精確性。要建立圖像的退化模型，則首先必須了解、分析圖像退化的機(jī)理并用數(shù)學(xué)模型表現(xiàn)出來(lái)。在實(shí)際的圖像處理過(guò)程中，圖像均需以數(shù)字離散函數(shù)表示，所以必須將退化模型離散化。

　　2.2.3 幾種較經(jīng)典的復(fù)原方法介紹

　　圖像復(fù)原算法有線性和非線性兩類。線性算法通過(guò)對(duì)圖像進(jìn)行逆濾波來(lái)實(shí)現(xiàn)反卷積，這類方法方便快捷，無(wú)需循環(huán)或迭代，直接可以得到反卷積結(jié)果，然而，它有一些局限性，比如無(wú)法保證圖像的非負(fù)性。而非線性方法通過(guò)連續(xù)的迭代過(guò)程不斷提高復(fù)原質(zhì)量，直到滿足預(yù)先設(shè)定的終止條件，結(jié)果往往令人滿意。但是迭代程序?qū)е掠?jì)算量很大，圖像復(fù)原時(shí)耗較長(zhǎng)，有時(shí)甚至需要幾個(gè)小時(shí)。所以實(shí)際應(yīng)用中還需要對(duì)兩種處理方法綜合考慮，進(jìn)行選擇。

　　1）維納濾波法

　　維納濾波法是由Wiener首先提出的，應(yīng)用于一維信號(hào)處理，取得了很好的效果。之后，維納濾波法被用于二維信號(hào)處理，也取得了不錯(cuò)的效果，尤其在圖像復(fù)原領(lǐng)域，由于維納濾波計(jì)算量小，復(fù)原效果好，從而得到了廣泛的應(yīng)用和發(fā)展。

　　2）正則濾波法

　　另一個(gè)容易實(shí)現(xiàn)線性復(fù)原的方法稱為約束的最小二乘方濾波，在IPT中稱為正則濾波，并且通過(guò)函數(shù)deconvreg來(lái)實(shí)現(xiàn)。

　　3）Lucy-Richardson算法

　　L-R算法是一種迭代非線性復(fù)原算法，它是從最大似然公式印出來(lái)的，圖像用泊松分布加以模型化的。當(dāng)?shù)諗繒r(shí)模型的最大似然函數(shù)就可以得到一個(gè)令人滿意的方程。

　　4）盲去卷積

　　在圖像復(fù)原過(guò)程中，最困難的問(wèn)題之一是，如何獲得PSF的恰當(dāng)估計(jì)。那些不以PSF為基礎(chǔ)的圖像復(fù)原方法統(tǒng)稱為盲區(qū)卷積。它以MLE為基礎(chǔ)的，即一種用被隨機(jī)噪聲所干擾的量進(jìn)行估計(jì)的最優(yōu)化策略。工具箱通過(guò)函數(shù)deconvblind來(lái)執(zhí)行盲區(qū)卷積。

　　2.2.4 圖像復(fù)原與圖像增強(qiáng)

　　圖像復(fù)原與圖像增強(qiáng)技術(shù)一樣，也是一種改善圖像質(zhì)量的技術(shù)。圖像復(fù)原是根據(jù)圖像退化的先驗(yàn)知識(shí)建立一個(gè)退化模型，以此模型為基礎(chǔ)，采用各種逆退化處理方法進(jìn)行恢復(fù)，改善圖像質(zhì)量。圖像復(fù)原和圖像增強(qiáng)是有區(qū)別的，二者的目的都是為了改善圖像的質(zhì)量。但圖像增強(qiáng)不考慮圖像是如何退化的，只有通過(guò)試探各種技術(shù)來(lái)增強(qiáng)圖像的視覺(jué)效果，而圖像復(fù)原就完全不同，需知道圖像退化過(guò)程的先驗(yàn)知識(shí)，據(jù)此找出一種相應(yīng)的逆過(guò)程方法，從而得到復(fù)原的圖像。圖像復(fù)原主要取決于對(duì)圖像退化過(guò)程的先驗(yàn)知識(shí)所掌握的精確程度。對(duì)由于離焦、運(yùn)動(dòng)、大氣湍流等原因引起的圖像模糊，圖像復(fù)原的方法效果較好，常用的算法包括維納濾波算法、小波算法、基于訓(xùn)練的方法等。在知道退化模型的情況下，相對(duì)圖像增強(qiáng)來(lái)說(shuō)，圖像復(fù)原可以取得更好的效果。

　　2.3 圖像超分辨率重構(gòu)

　　現(xiàn)有的監(jiān)控系統(tǒng)主要目標(biāo)為宏觀場(chǎng)景的監(jiān)視，一個(gè)攝像機(jī)，覆蓋很大的一個(gè)范圍，導(dǎo)致畫面中目標(biāo)太小，人眼很難直接辨認(rèn)。這類由于欠采樣導(dǎo)致的模糊占很大比例，對(duì)于由欠采樣導(dǎo)致的模糊需要使用超分辨率重構(gòu)的方法。超分辨率復(fù)原是通過(guò)信號(hào)處理的方法，在提高圖像的分辨率的同時(shí)改善采集圖像質(zhì)量。其核心思想是通過(guò)對(duì)成像系統(tǒng)截止頻率之外的信號(hào)高頻成分估計(jì)來(lái)提高圖像的分辨率。超分辨率復(fù)原技術(shù)最初只對(duì)單幅圖像進(jìn)行處理，這種方法由于可利用的信息只有單幅圖像，圖像復(fù)原效果有著固有的局限。序列圖像的超分辨率復(fù)原技術(shù)旨在采用信號(hào)處理方法通過(guò)對(duì)序列低分辨率退化圖像的處理來(lái)獲得一幅或者多幅高分辨率復(fù)原圖像。由于序列圖像復(fù)原可利用幀間的額外信息，比單幅復(fù)原效果更好，是當(dāng)前的研究熱點(diǎn)。

　　序列圖像的超分辨率復(fù)原主要分為頻域法和空域法兩大類，頻域方法的優(yōu)點(diǎn)是：理論簡(jiǎn)單，運(yùn)算復(fù)雜度低，缺點(diǎn)是：只局限于全局平移運(yùn)動(dòng)和線性空間不變降質(zhì)模型，包含空域先驗(yàn)知識(shí)的能理有限.空域方法所采用的觀測(cè)模型涉及全局和局部運(yùn)動(dòng)、空間可變模糊點(diǎn)擴(kuò)散函數(shù)、非理想亞采樣等，而且具有很強(qiáng)的包含空域先驗(yàn)約束的能力。常用的空域法有非均勻插值法、迭代反投影方法（IBP）、凸集投影法（POCS）、最大后驗(yàn)估計(jì)法（MAP）、最大似然估計(jì)法（ML）、濾波器法等，其中，MAP和POCS法研究較多，發(fā)展空間很大。

　　三：模糊圖像處理的關(guān)鍵和不足

　　雖然很多模糊圖像的處理方法在實(shí)際應(yīng)用中取得了很好的效果，但是當(dāng)前仍然有一些因素制約著模糊圖像處理的進(jìn)一步發(fā)展，主要如下：

　　1、 算法的高度針對(duì)性;

　　絕大部分的模糊圖像處理算法只適用于特定圖像，而算法本身無(wú)法智能決定某個(gè)算法模塊的開啟還是關(guān)閉。舉例來(lái)說(shuō)，對(duì)于有霧的圖像，“去霧算法”可以取得很好的處理效果，但是作用于正常圖像，反而導(dǎo)致圖像效果下降，“去霧算法”模塊的打開或者關(guān)閉需要人工介入。

　　2、 算法參數(shù)復(fù)雜性;

　　模糊圖像處理里面所有的算法都會(huì)包含大量的參數(shù)，這些參數(shù)的選擇需要和實(shí)際的圖像表現(xiàn)相結(jié)合，直接決定最終的處理效果。目前算法還沒(méi)有辦法智能選擇這些最優(yōu)參數(shù)。

　　3、 算法流程的經(jīng)驗(yàn)性;

　　由于實(shí)際圖像很復(fù)雜，需要處理多種情況，這就需要一個(gè)算法處理流程，對(duì)于一個(gè)具體的模糊視頻，采用什么樣的處理流程很難做到自動(dòng)選擇，需要人工選擇一個(gè)合適的方法，只能靠人的經(jīng)驗(yàn)。

　　四：實(shí)踐和總結(jié)

　　由于環(huán)境、線路、鏡頭、攝像機(jī)等影響，監(jiān)控系統(tǒng)建成運(yùn)營(yíng)一段時(shí)間后，都會(huì)出現(xiàn)一部分的視頻模糊不清的問(wèn)題。前面提到了針對(duì)模糊圖像的各種處理算法，雖然這些算法都取得了一些較好的處理效果，但是再好的算法都是一種后期的補(bǔ)救措施。如果能及時(shí)發(fā)現(xiàn)監(jiān)控系統(tǒng)中圖像的各種問(wèn)題，并及時(shí)維修，必然會(huì)起到事半功倍的效果。利用先進(jìn)的視頻診斷技術(shù)，開發(fā)出適用于各種需求場(chǎng)景的視頻質(zhì)量診斷系統(tǒng)。它能夠?qū)σ曨l圖像出現(xiàn)的模糊、噪聲、亮度異常和視頻丟失等低質(zhì)視頻以及常見(jiàn)攝像機(jī)故障問(wèn)題進(jìn)行診斷，有效預(yù)防因硬件問(wèn)題導(dǎo)致的圖像質(zhì)量低下所帶來(lái)的損失。從幾路視頻到幾百上千、上萬(wàn)路視頻，均可高效的進(jìn)行檢測(cè)，自動(dòng)生成檢測(cè)報(bào)告，提供及時(shí)且精準(zhǔn)的維護(hù)信息，第一時(shí)間從根源上解決圖像模糊的問(wèn)題。

? ? ? ? 總體來(lái)說(shuō)，對(duì)于不同種類的模糊問(wèn)題，要區(qū)別對(duì)待。對(duì)于由鏡頭離焦、灰塵遮擋、線路老化、攝像機(jī)故障等造成的模糊或者圖像質(zhì)量下降，在視頻診斷系統(tǒng)的幫助下，一定要及時(shí)維修，從源頭上解決問(wèn)題。對(duì)于低光照等優(yōu)先選擇日夜兩用型高感光度攝像機(jī)，對(duì)于雨霧、運(yùn)動(dòng)和前采樣等造成的圖像質(zhì)量下降，可以借助于“視頻增強(qiáng)服務(wù)器”包含的各種模糊圖像處理算法，提升圖像質(zhì)量。

　　后記

　　Single-Image Super-Resolution for anime/fan-art using Deep Convolutional NeuralNetworks.waifu2x是采用了最新銳的人工智能技術(shù)“Deep Convolutional Neural Networks”開發(fā)的網(wǎng)絡(luò)服務(wù)。名字來(lái)源于海外的動(dòng)畫粉絲們將喜歡的角色稱作“waifu（即‘我老婆’）”。把縮小的鋸齒狀圖傳到waifu2x的話，“現(xiàn)在給你的圖是某張圖縮小一半的圖。求縮小前的圖哦”，人工智能就會(huì)將噪點(diǎn)和鋸齒的部分進(jìn)行補(bǔ)充，生成新的圖。于是“擴(kuò)大時(shí)的圖”將不存在了，小的圖變成了擴(kuò)大了的圖，同時(shí)還可以去除噪點(diǎn)。

　　========