01

Background

傳統(tǒng)圖像信號(hào)處理芯片即ISP，會(huì)處理來(lái)自圖像傳感器端的RAW圖數(shù)據(jù)，以人眼感知質(zhì)量為目標(biāo)，設(shè)計(jì)出了多個(gè)圖像處理模塊，最終得到一張美觀自然的彩色圖像。標(biāo)準(zhǔn)的ISP一般都有缺陷校正、去噪、銳化、去馬賽克、自動(dòng)白平衡等模塊。

首先是ISP處理的對(duì)象：RAW圖數(shù)據(jù)。RAW圖是CMOS或者CCD圖像傳感器將捕捉到的光源信號(hào)轉(zhuǎn)化為數(shù)字信號(hào)的原始數(shù)據(jù)。因?yàn)閳D像傳感器上每個(gè)進(jìn)行光電轉(zhuǎn)換的像素單元，本身是無(wú)法識(shí)別出光源中不同顏色成分的，因此需要在圖像傳感器上方覆蓋一層色彩濾波陣列，讓每一個(gè)像素只會(huì)得到R,G,B三基色中的一種彩色分量。因此RAW圖的像素值的色彩是缺失的，人眼觀看具有強(qiáng)烈的馬賽克效應(yīng)，需要經(jīng)過(guò)ISP轉(zhuǎn)換為標(biāo)準(zhǔn)的RGB圖像，這就是ISP中的核心模塊去馬賽克（Demosaic）的功能。RAW圖像數(shù)據(jù)一般是R、G、B三種像素值交錯(cuò)排列，這組成了常見(jiàn)的標(biāo)準(zhǔn)bayer格式。其中綠色顏色像素會(huì)是紅色和藍(lán)色像素的兩倍，這是因?yàn)槿搜蹖?duì)綠色更敏感，通過(guò)綠色像素能感知圖像結(jié)構(gòu)信息。

這里展示的是典型的相機(jī)系統(tǒng)結(jié)構(gòu)。鏡頭模組lens作為光學(xué)系統(tǒng)將光信號(hào)投射到sensor的感光區(qū)域后，sensor 經(jīng)過(guò)光電轉(zhuǎn)換，將Bayer 格式的RAW圖像送給ISP，ISP 經(jīng)過(guò)算法處理，輸出RGB 空間域的圖像給后端的視頻采集單元。在這個(gè)過(guò)程中，ISP 通過(guò)運(yùn)行在其上的firmware 對(duì)ISP邏輯，lens和sensor 進(jìn)行相應(yīng)控制，進(jìn)而完成自動(dòng)對(duì)焦、自動(dòng)曝光、自動(dòng)白平衡等功能。其中，firmware 的運(yùn)轉(zhuǎn)靠視頻采集單元的中斷驅(qū)動(dòng)。另外ISP還會(huì)有配套的圖像質(zhì)量調(diào)優(yōu)工具PQ tools，它通過(guò)網(wǎng)口或者串口完成對(duì)ISP 的配置參數(shù)調(diào)整。

02

ISP Pipeline

LSC負(fù)責(zé)對(duì)鏡頭陰影矯正，去除圖像陰影。鏡頭陰影（Lens Shading）主要分為2種：亮度陰影（LumaShading）和色彩陰影（Color Shading）。

亮度陰影就是我們常說(shuō)的暗角/漸暈，表現(xiàn)為圖像中心區(qū)域較亮，四周偏暗。亮度陰影的成因主要有2種：

1. 鏡頭本身的機(jī)械結(jié)構(gòu)導(dǎo)致。鏡頭的各模塊在制作和組裝的過(guò)程中存在一定的工藝誤差，從而影響光線在鏡頭內(nèi)部的傳播。如圖所示，較大角度進(jìn)入鏡頭的一些光線被鏡頭遮擋，這些邊緣位置上的光線進(jìn)入sensor時(shí)的亮度大幅衰減。
2. 鏡頭的光學(xué)特性引起。對(duì)于整個(gè)鏡頭，可將其視為一個(gè)凸透鏡。而凸透鏡中心的聚光能力遠(yuǎn)大于其邊緣，從而導(dǎo)致圖像傳感器中心的光強(qiáng)度大于四周。此種現(xiàn)象也叫做邊緣光照度衰減。

色彩陰影表現(xiàn)為圖像中心區(qū)域與四周顏色不一致，即圖像的四周或中心區(qū)域出現(xiàn)偏色。色彩陰影的成因較為復(fù)雜，影響因素較多，這里做簡(jiǎn)要介紹：

1. 鏡頭本身的光學(xué)特性（色散現(xiàn)象），如圖所示，鏡頭對(duì)不同波長(zhǎng)光線的折射率不同，進(jìn)而使得它們聚焦位置不一樣，導(dǎo)致傳感器獲得的色彩信息存在偏差。
2. 此外鏡頭和圖像傳感器之間還會(huì)引入紅外截止濾波片（IR-Cut filter），傳感器每個(gè)像素之上還制造有加強(qiáng)聚光能力的微透鏡，它們的存在也會(huì)引入額外的色差問(wèn)題。

在實(shí)際應(yīng)用中，ISP中鏡頭陰影矯正模塊會(huì)存儲(chǔ)一組標(biāo)準(zhǔn)光源下的校正系數(shù)，通過(guò)檢測(cè)色溫決定使用何種光源條件下的校正系數(shù)。對(duì)于非標(biāo)準(zhǔn)光源的情況，增益值由標(biāo)準(zhǔn)光源下的增益值插值得出。該步驟由上位機(jī)完成。

DPC壞點(diǎn)校正模塊用于校正圖像傳感器中對(duì)外界光照失效而呈現(xiàn)為極亮或極暗的像素點(diǎn)（壞點(diǎn)），這些壞點(diǎn)會(huì)因傳感器的制造瑕疵以及器件隨時(shí)間的磨損而出現(xiàn)。

BLC黑電平校正存在于各個(gè)ISP的處理模塊中，在真實(shí)情況下，當(dāng)場(chǎng)景信息不存在，可以理解為全黑時(shí)，傳感器不會(huì)輸出為0，這是因?yàn)閟ensor本身有暗電流導(dǎo)致在沒(méi)有光照進(jìn)來(lái)的條件下pixel也有電壓輸出；此外傳感器中ADC模塊難以將接近0的信息進(jìn)行轉(zhuǎn)化。因此在其他模塊對(duì)數(shù)據(jù)做處理時(shí)，需要先減去黑電平，消除圖像信息誤差。如圖所示，若不進(jìn)行黑電平校正，最后圖像色彩會(huì)不自然。

去馬賽克模塊通過(guò)色彩插值來(lái)恢復(fù)RAW數(shù)據(jù)中每個(gè)像素缺失的色彩信息，而該模塊同時(shí)對(duì)圖像的清晰度和噪聲都有顯著影響，是ISP中的核心模塊之一。

色彩插值的一般思路是:根據(jù)圖像信息平滑性的特性，使用像素點(diǎn)周圍與缺失色彩的同色信息來(lái)完成插值。因此如何設(shè)計(jì)一個(gè)魯棒的采樣機(jī)制是去馬賽克算法的核心。

這里展示了去馬賽克算法會(huì)遇到的經(jīng)典問(wèn)題。比如因?yàn)檫吘壣蔬^(guò)渡強(qiáng)烈，算法會(huì)難以對(duì)待插值點(diǎn)的缺失色彩進(jìn)行正確地采樣，因此會(huì)出現(xiàn)偽彩、拉鏈效應(yīng)等。同時(shí)當(dāng)圖像空間頻率高而采樣頻率不足時(shí)，就會(huì)出現(xiàn)混疊問(wèn)題，導(dǎo)致圖像中出現(xiàn)偽影。目前也有人在做進(jìn)一步的研究，比如使用深度學(xué)習(xí)完成聯(lián)合去馬賽克去噪任務(wù)。

另一個(gè)核心模塊是白平衡（White Balance），該模塊的任務(wù)是確保在不同的光源條件下，場(chǎng)景目標(biāo)呈現(xiàn)色彩是一致的。對(duì)圖像進(jìn)行白平衡的依據(jù)來(lái)源于人類視覺(jué)系統(tǒng)所具有的色彩恒常性（Color Constancy），即人類對(duì)物體色彩感知不受光源影響。該機(jī)制的一種體現(xiàn)如圖所示，在這張圖片中，沒(méi)有一個(gè)像素點(diǎn)表示紅色，但是當(dāng)我們從整體來(lái)看這張圖，立刻會(huì)產(chǎn)生“紅色草莓”、“黃色木桌”、“白色盤子”的印象。這就是我們大腦根據(jù)一些“先驗(yàn)知識(shí)”進(jìn)行自動(dòng)白平衡的結(jié)果。但這張圖片的顏色本身還是很不自然，該問(wèn)題發(fā)生的典型情況就是相機(jī)Sensor在不同色溫的光源下，被攝對(duì)象會(huì)呈現(xiàn)出不同的顏色，也就是色偏（Color Cast）問(wèn)題。

白平衡的常用校正模型是對(duì)角模型，其數(shù)學(xué)含義是當(dāng)我們能正確估計(jì)光源色溫后，將輸入圖像的各色彩通道乘以對(duì)應(yīng)增益校正值，得到標(biāo)準(zhǔn)光源下的色彩值。白平衡的核心也是光源估計(jì)問(wèn)題。這里介紹一個(gè)經(jīng)典的算法灰度世界法，該算法的假設(shè)是色彩豐富的圖像中，場(chǎng)景RGB顏色分量的平均值就能反應(yīng)光源顏色，在達(dá)成白平衡的圖像中圖像各顏色通道的平均值應(yīng)該是相等的，即R平均=G平均=B平均，其算法流程如圖所示。

第一步，計(jì)算圖像各顏色通道的平均值和整體的平均值，這里該整體平均值記作gray； 第二步：若指定了標(biāo)準(zhǔn)光源色溫，則用標(biāo)準(zhǔn)光源顏色值與圖像各顏色通道平均值相比得到增益系數(shù)。同時(shí)也可以將Gray值與各顏色通道平均值相比，得到增益系數(shù)。后一種做法屬于自動(dòng)白平衡。最后使用對(duì)角校正模型就可以完成白平衡操作。

另外，在ISP中都會(huì)有一個(gè)顏色校正模塊，CCM（Color Correction Matrix），它是通過(guò)色彩矯正矩陣對(duì)圖像的色彩進(jìn)行線性變換，使得校正后的圖像的效果更接近人眼的視覺(jué)感知。該矩陣值也是經(jīng)過(guò)標(biāo)定得到的。這里存在一個(gè)約束是，CCM不能破壞白平衡，因此CCM需要在白平衡之后，且要保證灰色系區(qū)域仍滿足R=G=B。

數(shù)字圖像信號(hào)在采集、傳輸和顯示過(guò)程中受到成像設(shè)備以及外部環(huán)境的影響，會(huì)包含許多噪聲，噪聲會(huì)影響圖像的視覺(jué)效果，也會(huì)給后續(xù)的圖像分析，如壓縮、編碼、識(shí)別等，造成不利影響，因此需要對(duì)噪聲圖像進(jìn)行去噪處理。

ISP中RAW圖去噪環(huán)節(jié)更靠近傳感器端，因此該環(huán)節(jié)能夠更有效地抑制圖像信號(hào)采集過(guò)程中遇到的噪聲，如光子散粒噪聲、固定模式噪聲、暗電流噪聲等。但即使經(jīng)過(guò)RAW圖去噪，由信號(hào)采集環(huán)節(jié)引入噪聲也不會(huì)完全消除，而且當(dāng)ISP將采集的圖像信號(hào)轉(zhuǎn)換到Y(jié)UV域時(shí)，圖像信號(hào)又經(jīng)過(guò)ISP中多個(gè)處理模塊，每個(gè)模塊不同程度地引入了新的噪聲。YUV圖像去噪環(huán)節(jié)可以在圖像最終成像前再次有效地增大圖像信號(hào)的信噪比，提高圖像質(zhì)量，直接影響到后續(xù)圖像視覺(jué)效果。該環(huán)節(jié)處理的信息包括圖像亮度和色度。

人類對(duì)噪聲的知覺(jué)特性對(duì)去噪算法的設(shè)計(jì)具有指導(dǎo)意義：

（1）人眼對(duì)亮度和色度的空間分辨能力是不同的，在低頻段對(duì)色度的分辨能力大于亮度，而圖像主體內(nèi)容是由低頻成分決定的。

（2）噪聲影響的一般規(guī)律是幅度小的高頻噪聲對(duì)主觀圖像質(zhì)量影響較小，而幅度大的低頻噪聲對(duì)主觀圖像質(zhì)量影響較大。

因此基本的去噪假設(shè)是對(duì)于畫面中的平坦區(qū)域（Homogeneous Area）, 也就是圖像低頻成分，認(rèn)為像素變化主要是由噪聲引起的，可以加大降噪力度；對(duì)于畫面中的紋理區(qū)域（Textured Area）, 也就是圖像高頻成分即細(xì)節(jié)，認(rèn)為像素變化主要是由紋理引起的，噪聲只占較小部分，需要控制降噪力度，盡量保持圖像的紋理特征。

下面簡(jiǎn)單介紹一些常用的去噪思路。第一種是多分辨率分析。

多分辨率分析的出發(fā)點(diǎn)是在某種分辨率下無(wú)法檢測(cè)的特性，在另一種分辨率下便容易檢測(cè)。從數(shù)學(xué)角度上看圖像信號(hào)，圖像是具有局部變化統(tǒng)計(jì)特性的亮度值的二維矩陣，我們難以對(duì)整幅圖像建立統(tǒng)計(jì)模型，因此可以考慮在不同圖像分辨率下分析不同尺度的圖像特征。

第二種是經(jīng)典的NLM算法。

利用圖像全局的自相似性，以圖像塊為單位在圖像中尋找相似區(qū)域，再對(duì)這些區(qū)域求平均，在圖像平滑的基礎(chǔ)上能很好地保持細(xì)節(jié)信息，魯棒性較好。

NLM算法思路如圖所示，式中p代表待去噪像素位置，q代表用于加權(quán)計(jì)算的參考像素位置，v(x)表示像素x所在圖像塊構(gòu)成的像素值向量，權(quán)重w(p,q)表示像素p和q之間的相似性，注意兩個(gè)像素間的相似性一般都是由對(duì)應(yīng)圖像塊的像素值向量v(x)決定的。根據(jù)NLM的思想，因?yàn)?q1和q2像素與待去噪點(diǎn)p像素有更相似的鄰域，而q3像素鄰域與p像素差異較大，因此，對(duì)p像素的去噪，q1和q2像素的貢獻(xiàn)更大。

權(quán)重w(p,q)的計(jì)算，可以用高斯加權(quán)的歐式距離來(lái)衡量，其中α為高斯核函數(shù)的標(biāo)準(zhǔn)差，一般取值為2~5。

最終權(quán)重w(p,q)計(jì)算公式如右式所示，式中Z(p)為權(quán)重歸一化常數(shù)，參數(shù)h控制指數(shù)函數(shù)的衰減速度，取值與圖像中的噪聲水平σ線性相關(guān)，取h=λ?σ，σ為噪聲圖像的標(biāo)準(zhǔn)差。

注意，NLM最后計(jì)算待去噪像素p自身所在圖像塊權(quán)重w，即p=q時(shí)，取當(dāng)前最大權(quán)重。

雙邊濾波是在高斯濾波原理的基礎(chǔ)上做了擴(kuò)展，除了考慮像素距離之外，還考慮當(dāng)前像素和周圍像素亮度的差異，對(duì)距離近但顏色差異大的像素會(huì)分配小的權(quán)重，這樣就得到邊緣保持效果。

雙邊濾波的濾波器設(shè)計(jì)由兩個(gè)函數(shù)構(gòu)成，一個(gè)函數(shù)是由像素幾何空間距離決定空間域?yàn)V波器系數(shù)，另一個(gè)是由像素差值決定值域?yàn)V波器系數(shù)。公式如圖所示，式中p表示當(dāng)前處理像素位置，q表示鄰域內(nèi)參考像素位置，I表示像素值，G表示高斯核函數(shù)，σ為高斯核函數(shù)的方差系數(shù)，S代表整張圖像，Wp是權(quán)重值的總和，用于歸一化權(quán)重。從該公式可以看到，在圖像的平坦區(qū)域，像素值變化很小，對(duì)應(yīng)的像素值域（Range Weight）濾波器系數(shù)接近于1，此時(shí)空間域權(quán)重（Space Weight）起主導(dǎo)作用，相當(dāng)于進(jìn)行高斯模糊；在圖像的邊緣區(qū)域，像素值變化很大，像素值域?yàn)V波器系數(shù)影響變大，變化規(guī)律是隨著像素值差的增大，最終濾波器系數(shù)會(huì)減小，從而保持了邊緣的信息。

清晰度是圖像質(zhì)量的關(guān)鍵評(píng)價(jià)指標(biāo)之一，對(duì)清晰度定性的理解，可以認(rèn)為它反映了圖像中邊緣和紋理的可分辨程度。對(duì)清晰度定量的分析，主要有兩個(gè)直接相關(guān)的因素：銳度和分辨率。銳度描述的是圖像邊緣過(guò)渡的快慢，過(guò)渡越快，銳度越高。分辨率描述的是像素?cái)?shù)量，離散的像素?cái)?shù)量越多，越能逼近真實(shí)世界的連續(xù)信號(hào)。

最下邊的一組圖展現(xiàn)不同銳度和分辨率下的圖像感知效果。最左邊，高銳度高分辨率的圖像，紐扣的邊緣清晰可見(jiàn)，能呈現(xiàn)出衣服真實(shí)的紋理。當(dāng)銳度下降，圖像變得模糊；當(dāng)分辨率下降，因?yàn)榛殳B，衣服紋理變得不規(guī)則，不夠細(xì)膩。

ISP中的銳化處理的都是圖像的銳度，基本思路也就是增強(qiáng)圖像的邊緣對(duì)比度。如圖所示，讓邊緣過(guò)渡得更劇烈，但就會(huì)引入光暈問(wèn)題，在圖像邊緣出現(xiàn)白邊。

現(xiàn)實(shí)世界的場(chǎng)景豐富多彩，這些場(chǎng)景具有很高的動(dòng)態(tài)范圍，場(chǎng)景的動(dòng)態(tài)范圍定義為場(chǎng)景中最亮部分的亮度值與最暗部分的亮度值之比。動(dòng)態(tài)范圍越廣，圖像中所能表現(xiàn)的層次就越豐富。

但設(shè)備中的顯示位深有限，若左下圖所示，當(dāng)顯示系統(tǒng)的動(dòng)態(tài)范圍不足時(shí)，在圖像捕捉過(guò)程中很有可能會(huì)發(fā)生鉗位（clipping），如果是亮區(qū)發(fā)生飽和稱為高光鉗位（high light clipping），如果是暗區(qū)發(fā)生鉗位則稱為陰影鉗位（shadow clipping），在同一場(chǎng)景中兩者可能會(huì)同時(shí)存在。

因此需要使用GTM模塊，在有限動(dòng)態(tài)范圍媒介上近似顯示高動(dòng)態(tài)范圍。

此外，如右下圖所示，如果不做色調(diào)映射處理，攝像機(jī)直接輸出最原始的線性圖像，但在人眼看來(lái)圖像比正常的要暗，這是因?yàn)槿说囊曈X(jué)系統(tǒng)對(duì)視野中的暗區(qū)更敏感，視覺(jué)系統(tǒng)對(duì)暗區(qū)信號(hào)做了提升以形成更強(qiáng)烈的知覺(jué)。而這個(gè)特性也是ISP中引入伽馬校正的來(lái)源。

因?yàn)槿搜鄣母兄蔷€性，在圖像顯示結(jié)果上，我們感知的中等灰度實(shí)際只有純白色物理關(guān)照度的1/4~1/5