1,什么是 HDR
HDR 的英文全稱為 High Dynamic Range,意思就是“高動(dòng)態(tài)范圍”。
其“高”之程度是相對(duì)于以前的 SDR(標(biāo)準(zhǔn)動(dòng)態(tài)范圍)而言,那么這個(gè)“動(dòng)態(tài)范圍”又是啥呢?
這個(gè)詞所代表的,就是圖像所能清晰呈現(xiàn)之明暗差別。
所以 HDR 的實(shí)際意義就是,圖像能以更高質(zhì)量同時(shí)顯示畫面的亮部和暗部。
這樣,用戶拍照的時(shí)候就能化身為“神筆馬良”,借助手機(jī)相機(jī)鏡頭(畫布),用所調(diào)配之豐富色彩的顏料(HDR傳感器),“畫”出最美最真實(shí)的圖像。
當(dāng)然,HDR 的實(shí)現(xiàn)也依賴于顯示設(shè)備——畢竟能拍出來但看不出來也白搭,所以在 HDR 顯示器越來越強(qiáng)的今天,HDR 傳感器技術(shù)也變得越來越重要。
但是,由于智能手機(jī)的內(nèi)部空間限制,手機(jī)CIS的 HDR 能力要明顯弱于數(shù)碼單反。
畢竟單反傳感器那動(dòng)輒3微米或更高的像素尺寸,以及動(dòng)輒14位或更高級(jí)的 ADC(模數(shù)轉(zhuǎn)換器),在動(dòng)態(tài)范圍方面可以說是能將手機(jī)CIS吊起來打了。
那么,在滿阱容量和電路規(guī)格兩方面被單反CIS碾壓的手機(jī)CIS,該怎么提高 HDR 能力呢?
2,如何提高動(dòng)態(tài)范圍
上圖所示,即為動(dòng)態(tài)范圍的三個(gè)計(jì)算式。其中第一個(gè)代表的是最大信號(hào)量和最小信號(hào)量的比值,其所代表的意思可由第二個(gè)計(jì)算式解釋。
第二個(gè)計(jì)算式所代表的,是 FWC(滿阱容量)與 TN(暫態(tài)噪聲)的比值,這里面的滿阱容量代表單像素的最大電荷存儲(chǔ)量,而暫態(tài)噪聲則代表光電轉(zhuǎn)換過程中出現(xiàn)的數(shù)值波動(dòng)。
和第一個(gè)計(jì)算式所遇到的困境一樣,在像素尺寸上手機(jī)CIS與單反傳感器完全沒法比,相對(duì)應(yīng)的就是滿阱容量被單反傳感器碾壓。
如上圖所示,綠色部分標(biāo)注 noise 的就是噪聲之源——在光子轉(zhuǎn)換為電子以及電子傳輸?shù)?ADC 這兩個(gè)過程中都會(huì)產(chǎn)生噪聲,而暫態(tài)噪聲就是這些噪聲之和。
實(shí)際上第三個(gè)計(jì)算式所代表的正是這個(gè)意思,其中分母項(xiàng)分別標(biāo)注 Quant 和 Readout 的字母N,便分別是光量子轉(zhuǎn)換為電子的噪聲與信號(hào)讀出的噪聲之意。
通過這三個(gè)計(jì)算式可以看出,要提高動(dòng)態(tài)范圍,就得提高滿阱容量,或者減少暫態(tài)噪聲。要達(dá)到這些目的,就得改變像素結(jié)構(gòu),以及改進(jìn)電路設(shè)計(jì)。
落到實(shí)處,該怎么實(shí)現(xiàn)呢?單反上那套平面堆料之做法肯定是行不通的,畢竟整部手機(jī)的內(nèi)部空間才多大。所以一般都是通過技術(shù)的進(jìn)步,來改造像素的結(jié)構(gòu)并改進(jìn)電路設(shè)計(jì)。
例如從前照式演進(jìn)為背照式,再推進(jìn)到堆棧式,直至索尼最新的雙層晶體管技術(shù)。這些不斷演進(jìn)的CIS結(jié)構(gòu)技術(shù),不僅能夠提高滿阱容量,還能減少讀出電路的噪聲。
至于光電轉(zhuǎn)換噪聲方面的努力,最重要的就是 DTI(深槽隔離)技術(shù),其能將每個(gè)像素隔離,以克服光串?dāng)_;同時(shí)還能促進(jìn)像素縱深的擴(kuò)展,從而提高滿阱容量。
當(dāng)然,在動(dòng)態(tài)范圍方面被單反CIS碾壓的手機(jī)CIS,單靠以上這些努力是不夠的——那些形形色色的 HDR 技術(shù)下面就該上場(chǎng)了。
3,早期 HDR 技術(shù)
基礎(chǔ)技術(shù)方面的突破完成之后,最終就輪到 HDR 技術(shù)登場(chǎng)了。最早被普及的 HDR 技術(shù),就是最簡(jiǎn)單的不同曝光時(shí)間圖像之多幀合成——Multi-frame HDR(多幀異曝光HDR)。
首先引入這個(gè) HDR 技術(shù)的,是2011年發(fā)布的蘋果 iPhone4S 所搭載之IMX145,這就是 iPhone4S 的傳奇之處——開創(chuàng)性地引入“手機(jī)計(jì)算攝影”概念!
不過由于當(dāng)時(shí)使用的還是背照式技術(shù),所以合成 HDR 圖像的過程都是手機(jī)芯片代勞,另外曝光時(shí)間引起的“運(yùn)動(dòng)偽影”也是繞不過去之難題(例如下圖的“八條馬腿”)。
于是,索尼便推出了 BME-HDR 技術(shù),并由2012年的公版旗艦IMX135首發(fā)。
這個(gè)技術(shù)的全稱為 Binning Multiplexed Exposure(像素合并多重曝光),技術(shù)原理如下圖所示。就是通過合并同時(shí)進(jìn)行長(zhǎng)、短曝光的兩行,從而獲得高動(dòng)態(tài)范圍之圖像。
而之所以要每?jī)尚邢袼貫橐唤M,則是因?yàn)?Bayer 排列的RGGB濾鏡需要占用兩行。
此外,由于這次的IMX135首開堆棧式技術(shù)之先河,從而讓CIS的電路層集成了圖像處理器——這便是硬件級(jí)HDR的基礎(chǔ);這不僅能更快生成HDR圖片,還能實(shí)現(xiàn)HDR錄像。
但是,BME 的缺點(diǎn)也很明顯,那就是最終圖像的分辨率會(huì)直接減半。當(dāng)時(shí)正是追求高像素的年代,這能忍?而且其圖像也不夠自然。
于是,后面大法又推出了 SME-HDR 技術(shù),其全稱為 Spatially Multiplexed Exposure(空間多重曝光),該技術(shù)由2014年發(fā)布的公版旗艦IMX214首發(fā)。
如下圖所示,通過“Z字形”的曝光陣列,將長(zhǎng)、短曝光之圖像融合在兩行范圍之內(nèi),從而將分辨率損失壓到了20%的可接受水平。隨著大法持續(xù)地在手機(jī)端“飚像素”,2018年 Quad Bayer 排列開始流行,至此因其而生的 QBC HDR 技術(shù)也迎來了普及時(shí)刻。
這個(gè)HDR技術(shù)由2017年發(fā)布的,索尼旗艦級(jí)安防傳感器IMX294首發(fā),其利用 Quad Bayer 排列中四個(gè)同色像素聚在一起的特性,直接實(shí)現(xiàn)了片上HDR!
如下圖所示,通過每個(gè)對(duì)角線一組的曝光策略,每組同色四像素便能輸出分別對(duì)應(yīng)長(zhǎng)、短曝光的兩組圖像,融合之后便能得到一張HDR圖像。
4,在用 HDR 技術(shù)
QBC HDR 技術(shù)可以說是 SME-HDR 技術(shù)的完美迭代,其優(yōu)點(diǎn)除了速度快之外,效果還很好,所以非常適合應(yīng)用在視頻拍攝中。
但是,隨著 Quad Bayer 技術(shù)的不斷發(fā)展,更復(fù)雜的 QBC 3-HDR 技術(shù)后面也被開發(fā)了出來。
如下圖所示,通過在同色四像素內(nèi)分別施以三重曝光,其中 S、M、L 分別代表短、中、長(zhǎng)曝光,融合后便可獲得動(dòng)態(tài)范圍更廣的HDR圖像。
雖然 QBC 3-HDR 技術(shù)確實(shí)牛,能夠?qū)崿F(xiàn)等同于肉眼所見的動(dòng)態(tài)范圍,但其與 SME-HDR 一樣皆無法解決“運(yùn)動(dòng)偽影”問題(多重曝光所致)。
于是,索尼又研究出了 DOL-HDR 技術(shù)。這個(gè) DOL 技術(shù)不僅沒有 BME 那損失分辨率和圖像不自然的兩大缺點(diǎn),還大幅改善了“運(yùn)動(dòng)偽影”問題!但由于技術(shù)難度比較大,這項(xiàng)源于2018年的技術(shù),到了2020年才由IMX766首發(fā)。
DOL 是 Digital Overlap(數(shù)字重疊)的簡(jiǎn)稱,具體工作原理如下圖所示——能夠利用滾動(dòng)電子快門的特點(diǎn),讓曝光與讀出交織進(jìn)行從而實(shí)現(xiàn)“準(zhǔn)同時(shí)”曝光。
具體展開來說的話,就是以往的多幀 HDR 在執(zhí)行一次曝光之后,要先從上到下完整讀取出整個(gè)畫面的數(shù)據(jù),才能開始下一次曝光。
而在 DOL-HDR 技術(shù)的加持下,每行像素完成讀取后,可以立即開始下一次曝光,這樣就可以省下等待其它像素完成讀取的時(shí)間——“準(zhǔn)同時(shí)”曝光之原理就是這么來的。
和 BME-HDR 技術(shù)那樣只有長(zhǎng)、短兩種曝光的,被稱作2exp-DOL。至于后面出現(xiàn)的,包含長(zhǎng)、中、短三曝光的則被稱為3exp-DOL(下圖所示)。
總結(jié):
動(dòng)態(tài)范圍——要提高這個(gè) HDR 的核心指標(biāo),一是提高滿阱容量,二為減小暫態(tài)噪聲。這兩方面的實(shí)現(xiàn)方式除了CIS結(jié)構(gòu)技術(shù)的進(jìn)步外,還有像素細(xì)分工藝和HDR技術(shù)的引進(jìn)。
BME-HDR 技術(shù)——索尼史上首個(gè)硬件級(jí) HDR 技術(shù),通過單幀長(zhǎng)、短曝光合成解決了“運(yùn)動(dòng)偽影”問題,但損失了一半的分辨率,可謂是“殺敵一千自損五百”。
SME-HDR 技術(shù)——依然是單幀 HDR 技術(shù),但對(duì)“運(yùn)動(dòng)偽影”問題進(jìn)行妥協(xié),將長(zhǎng)、短曝光通過“Z字形”排列融合于單幀的每行像素之中,從而將像素?fù)p失率降低至20%。
QBC-HDR 技術(shù)——引進(jìn) Quad Bayer 排列,在四個(gè)同色像素組中分別進(jìn)行長(zhǎng)、短曝光并分別合成(SME技術(shù)的改良),后面又出現(xiàn)效果更好的長(zhǎng)、中、短三重曝光之3-HDR技術(shù)。
DOL-HDR 技術(shù)——引進(jìn)全新的“多幀逐行”技術(shù),能將長(zhǎng)、短曝光或者長(zhǎng)、中、短曝光的多幀圖像“準(zhǔn)同時(shí)”完成,既大幅改善了“運(yùn)動(dòng)偽影”問題又獲得了優(yōu)秀的 HDR 效果。
假如單看這些多重曝光的 HDR 技術(shù),那么 DOL 無疑是最優(yōu)秀的。但隨著技術(shù)的發(fā)展,能夠從根本上徹底解決“運(yùn)動(dòng)偽影”難題的單曝光 HDR 技術(shù)也被研發(fā)了出來,而這個(gè)更為硬核的HDR技術(shù)正是下篇要講的內(nèi)容。
編輯:黃飛
?
評(píng)論