科學(xué)家團(tuán)隊(duì)靈光一現(xiàn)，使用 GPU 加速深度學(xué)習(xí)展示如何實(shí)現(xiàn)全彩夜視系統(tǒng)。

在發(fā)布于《PLOS One》期刊的論文中，由 Pierre Baldi 教授和 Andrew Browne 博士領(lǐng)導(dǎo)的加州大學(xué)歐文分校研究小組描述了他們?nèi)绾卫?a target="_blank">紅外相機(jī)重建人臉照片的彩色圖像。

研究使用人類無(wú)法察覺(jué)的近紅外照明采集光線，推動(dòng)了紅外相機(jī)圖像預(yù)測(cè)和重建技術(shù)的發(fā)展。

該研究的作者解釋說(shuō)，人類能夠看到的“可見(jiàn)光譜”是波長(zhǎng)在 400 至 700 納米之間的光。

普通的夜視系統(tǒng)依靠相機(jī)來(lái)采集光譜外人們看不見(jiàn)的紅外光。

研究人員表示，相機(jī)所采集的圖像會(huì)被轉(zhuǎn)換到顯示器上，顯示器單色顯示紅外相機(jī)所拍攝的內(nèi)容。

加州大學(xué)歐文分校的團(tuán)隊(duì)開(kāi)發(fā)了成像算法，該算法依靠深度學(xué)習(xí)來(lái)預(yù)測(cè)人類在紅外相機(jī)捕獲的光線中將看到什么。

加州大學(xué)歐文分校的研究人員希望使用深度學(xué)習(xí)來(lái)預(yù)測(cè)紅外光照明下的可見(jiàn)光譜圖像

換言之，他們能夠使用相機(jī)在人類完全看不見(jiàn)的環(huán)境中進(jìn)行拍攝，并數(shù)字化渲染拍攝的圖像。

為此，研究人員使用了對(duì)可見(jiàn)光和近紅外光敏感的單色相機(jī)來(lái)獲取面部打印圖像的圖像數(shù)據(jù)集。

這些圖像是在覆蓋標(biāo)準(zhǔn)可見(jiàn)紅光、綠光、藍(lán)光以及紅外波長(zhǎng)的多光譜照明下采集的。

研究人員優(yōu)化了具有類 U-Net 架構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)，根據(jù)近紅外圖像來(lái)預(yù)測(cè)可見(jiàn)光譜圖像。該神經(jīng)網(wǎng)絡(luò)是弗萊堡大學(xué)大學(xué)計(jì)算機(jī)科學(xué)系最初為生物醫(yī)學(xué)圖像分割所開(kāi)發(fā)的專用卷積神經(jīng)網(wǎng)絡(luò)。

左邊是由紅、綠、藍(lán)三色輸入圖像組成的可見(jiàn)光譜基準(zhǔn)真相圖像。右邊是UNet-GAN、UNet和線性回歸根據(jù)三幅紅外輸入圖像預(yù)測(cè)重建的圖像。

該系統(tǒng)使用 NVIDIA GPU 和 140 張人臉圖像進(jìn)行訓(xùn)練，其中 40 張用于驗(yàn)證，20 張用于測(cè)試。

最終，該團(tuán)隊(duì)成功重現(xiàn)了紅外相機(jī)在黑暗房間中拍攝的彩色人像。換言之，他們創(chuàng)造了能夠在全彩夜視系統(tǒng)。

可以肯定的是，這些系統(tǒng)目前還無(wú)法實(shí)現(xiàn)通用。它們需要經(jīng)過(guò)訓(xùn)練后才能預(yù)測(cè)不同種類物體的顏色，比如花或人臉。

盡管如此，該研究未來(lái)可能會(huì)完全實(shí)現(xiàn)全彩夜視系統(tǒng)，就像我們?cè)诎滋焖芸吹降囊粯印Ｓ谐蝗?，或許它使科學(xué)家也能夠研究對(duì)可見(jiàn)光敏感的生物樣本。

審核編輯 ：李倩