想在黑暗中看清周圍，不可避免地要用到夜視儀。那么如果是想在黑暗中拍照，又沒有閃光燈，如何才能排到清晰的照片？在CVPR 2018上，英特爾實驗室的Vladlen Koltun和陳啟峰帶領(lǐng)的團隊提出了一種在黑暗中快速成像的系統(tǒng)，效果非常贊。

在暗光下的圖像易受到低信噪比和低亮度的影響。短曝光的照片會出現(xiàn)很多早點，而長曝光會讓照片變得模糊、不真實。目前已經(jīng)有很多去噪、去模糊、圖像增強的技術(shù)，但是在極端條件下，他們的作用就很有限了。為了發(fā)展基于學習的低光度圖像處理，我們引入了一個數(shù)據(jù)集，內(nèi)含有原始短曝光低亮度圖片，同時還有對應(yīng)的長時間曝光的圖像。利用該數(shù)據(jù)集。我們創(chuàng)建了一個機遇端到端訓練的全卷積網(wǎng)絡(luò)，用于處理低亮度圖像。網(wǎng)絡(luò)直接使用原始傳感器數(shù)據(jù)，并替代了大量傳統(tǒng)圖像處理的流程。最終我們發(fā)現(xiàn)新數(shù)據(jù)集的結(jié)果很有前景。

概述

噪點在任何成像系統(tǒng)中都存在，但在亮度較低的環(huán)境中成像就更加困難。提高ISO可以增加亮度，但也會造成更多噪點。后期處理也是改善噪點過多的方法，但這并不能解決信噪比（SNR）低的問題。其他手段雖然能提高SNR，但都有各自的缺陷。

的確，在低亮度中快速成像的問題一直沒有好的解決方法。研究人員提出了各種去噪、去模糊、提高亮度的技術(shù)。但這些技術(shù)都是假設(shè)照片是在略暗淡、稍有噪點的環(huán)境中捕捉到的。相反，我們想研究的是在非常黑暗的情況下的成像效果，例如月光下。在這種條件下，傳統(tǒng)相機成像的過程就無能為力了，圖片必須用原始傳感器數(shù)據(jù)重新構(gòu)建。

我們提出的系統(tǒng)效果（最右）如圖1所示：

圖1

左圖中，環(huán)境中的亮度極低，相機的亮度小于0.1lux，快門速度為1/30，光圈為f/5.6，ISO為8000（通常這已經(jīng)很高了）。但是照相機照出來仍然是漆黑一片（這可是用索尼全畫幅傳感器）。

中間圖中，把ISO調(diào)到409600，這已經(jīng)超過了大多數(shù)相機的極限了，可以看到照出來的圖像了，但是圖像顯得很暗，噪點較多，色彩失真。

而最右邊我們的方法則清晰了許多。具體來說，我們訓練了深度神經(jīng)網(wǎng)絡(luò)學習處理低亮度原始圖像數(shù)據(jù)的過程，包括色彩轉(zhuǎn)化、去馬賽克、減少噪點、圖像質(zhì)量提高等等。

數(shù)據(jù)集

目前大多數(shù)處理低亮度的圖片都是在合成數(shù)據(jù)或沒有對應(yīng)標準的低亮度圖像上進行的，據(jù)我們所知，沒有一個公開數(shù)據(jù)集可以用來訓練或是測試低亮度圖像處理。于是，我們就新建了一個數(shù)據(jù)集，稱為See-in-the-Dark（SID）。數(shù)據(jù)集中共有5094張圖像，它們都是在低亮度條件下捕捉到的、快速曝光的原始圖像。每個低亮度圖片都有對應(yīng)的長時間曝光高質(zhì)量圖片（注意，一張高質(zhì)量圖片可能對應(yīng)多張低亮度圖片）。

數(shù)據(jù)集包括室內(nèi)和室外的圖像，室外圖像大多于夜晚拍攝，光源來自月光或者路燈。室外場景的相機亮度在0.2lux和5lux之間。室內(nèi)圖像就更暗一些了，通常在0.03lux到0.3lux之間。

輸入圖像的曝光時間通常在1/30秒到1/10秒之間，相對應(yīng)的正常圖片的曝光時間為10到30秒。數(shù)據(jù)集的具體參數(shù)可看下表：

經(jīng)過長時間曝光的正常圖片仍含有少許噪點，但是從視覺上已經(jīng)達到標準圖片的水平了。我們希望我們創(chuàng)建的應(yīng)用可以在低光度環(huán)境下生成表現(xiàn)良好的圖像，而不是徹底消除所有噪點或讓圖像對比度最大化。

模型成像方法

從成像傳感器中得到原始數(shù)據(jù)后，傳統(tǒng)圖像處理過程會應(yīng)用一系列模塊，例如白平衡、去馬賽克、去噪、增加銳度等等。而這些模塊只是在某些相機中才有。Jiang等人提出，用本地、線性、可學習的（L3）過濾器來模型現(xiàn)代成像系統(tǒng)中復雜的非線性流程。但是，這些方法都無法成功解決在低亮度中快速成像的問題，還是由于極低的SNR問題。之后，Hasinoff等人對智能手機上的相機提出了bursting imaging成像方法，通過結(jié)合多張圖像可以生成效果較好的圖像，但是復雜程度較高。

對此，我們提出了的端到端的學習方法，即訓練一個全卷積網(wǎng)絡(luò)（FCN）進行圖像處理。圖2展示了我們所提出的圖像處理架構(gòu)：

圖2

對于拜耳陣列，我們將輸入的圖像打包到四個通道中，并相應(yīng)地將空間分辨率在每個維度上降低。對于X-Trans陣列（圖中未顯示），原始數(shù)據(jù)是按6×6排列的，我們將其打包放到9個通道中。打包后的數(shù)據(jù)輸入到全卷積網(wǎng)絡(luò)中，輸出一個有12通道的圖像，空間向量僅為一半。而這個半尺寸的輸出被次像素圖層處理后，可以恢復到原始分辨率。

基本介紹之后，我們要重點了解一下網(wǎng)絡(luò)中兩個重要的結(jié)構(gòu)：一個多尺寸文本聚合網(wǎng)絡(luò)（CAN）和U-net。其他工作研究了殘差連接，但是我們認為這對我們的模型用處不大，可能是因為我們的輸入和輸出在不同的顏色空間中表示。另一個影響模型結(jié)構(gòu)選擇的是內(nèi)存消耗，我們的架構(gòu)可以在GPU上處理全分辨率的圖像。由此避免了全連接的圖層，他們還需要處理小的圖像補丁，然后重新進行組合。我們默認的架構(gòu)是u-net。

放大比例決定了輸出圖像的亮度。在我們的圖像生成流程中，放大比例是外部決定的，并且是作為圖像流程的輸入，類似于相機的ISO。圖3顯示了不同的放大倍數(shù)的結(jié)果，用戶可以自己調(diào)整以改變亮度。

圖3

最終網(wǎng)絡(luò)利用L1損失和Adam優(yōu)化器從零開始訓練。

實驗過程

首先，將我們提出的方法與傳統(tǒng)方法的對比，得到以下結(jié)果：

圖4

圖5

圖6

可以看出，我們的方法生成的圖片比傳統(tǒng)方法優(yōu)秀得多。

同時，我們認為專門用特定的相機傳感器進行訓練的網(wǎng)絡(luò)總能達到最佳效果。但是，最初的實驗表明這不是一定的。我們將一個在索尼套件上訓練的模型應(yīng)用于由iPhone 6S拍攝出的相片上，其中通要包含一個拜耳過濾陣列和14位的原始數(shù)據(jù)。我們用一款app手動設(shè)置ISO和其他參數(shù)，輸出原始數(shù)據(jù)用于處理。最終的結(jié)果如圖5所示。傳統(tǒng)方法處理的數(shù)據(jù)有很多噪點，色差較大。而我們的網(wǎng)絡(luò)生成的圖片對比度較強、噪點少并且顏色正常。

結(jié)語

由于極少的光子數(shù)量和極低的信噪比，在黑暗環(huán)境中成像一直是個大難題。想以視頻速率在黑暗中成像，對于傳統(tǒng)的信號處理方法來說幾乎是不可能的。而我們提出的See-in-the-Dark數(shù)據(jù)集、全卷機的網(wǎng)絡(luò)證明了這種在極端條件下成像的可能。最后的實驗也證明這種方法行之有效，我們希望這項工作能在未來提供更多幫助。