來自普林斯頓和華盛頓大學(xué)的一組研究人員創(chuàng)造了一種新的照相機，捕捉到的圖像和測量結(jié)果只有一個粗粒鹽大小的半毫米。

發(fā)表在 Nature Communications， 上的新的 研究 概述了使用光學(xué)超表面和機器學(xué)習(xí)來產(chǎn)生高質(zhì)量的彩色圖像，具有廣闊的視野。該設(shè)備可用于從機器人到醫(yī)療領(lǐng)域的各個行業(yè)，以幫助疾病診斷。

光學(xué)超表面依賴于一種新的光操縱方法，使用設(shè)置在小正方形表面上的圓柱柱。這些柱子的幾何形狀不同，其工作原理類似于天線，可以捕獲入射光子（電磁輻射波）。然后，這些波作為信號從元表面發(fā)送到計算機，以解釋并生成圖像。

圖 1 傳統(tǒng)透鏡與神經(jīng)納米光學(xué)的比較。由普林斯頓計算成像實驗室提供。

微型攝像機在醫(yī)學(xué)上有著巨大的應(yīng)用潛力，從腦成像到微創(chuàng)內(nèi)窺鏡。但是，到目前為止，這項技術(shù)已經(jīng)用有限的視野捕捉到模糊、扭曲的圖像。

研究人員采用神經(jīng)納米光學(xué)技術(shù)，將光學(xué)超表面與基于神經(jīng)特征的圖像重建相結(jié)合，以解釋數(shù)據(jù)并生成更高質(zhì)量的圖像。

“為了從測量數(shù)據(jù)中恢復(fù)圖像，我們提出了一種基于特征的反卷積方法，該方法采用可微逆濾波器和神經(jīng)網(wǎng)絡(luò)進行特征提取和細化，”資深作者、普林斯頓大學(xué)計算機科學(xué)助理教授 Felix Heide 說。

該團隊使用模擬器測試了機器學(xué)習(xí)算法，比較了天線的不同配置。由于光學(xué)表面上有 160 萬個圓柱體和復(fù)雜的光相互作用，模擬需要大量內(nèi)存。

使用 cuDNN – 加速 TensorFlow 深度學(xué)習(xí)框架和 查看 P100 GPU 對算法進行測試和訓(xùn)練。結(jié)果是一個新的系統(tǒng)能夠從一個小 50 萬倍的設(shè)備上產(chǎn)生與現(xiàn)代相機鏡頭相當?shù)膱D像。根據(jù)這項研究，這種新相機在過濾錯誤方面也比以前的技術(shù)好 10 倍。

計算機科學(xué)博士 Ethan Tseng 說：“設(shè)計和配置這些微小的微結(jié)構(gòu)以滿足您的需求是一個挑戰(zhàn)?！薄Ｆ樟炙诡D大學(xué)的學(xué)生和該研究的共同負責(zé)人在 press release 中說。“對于這個拍攝大視場 RGB 圖像的特殊任務(wù)來說，這是一個挑戰(zhàn)，因為有數(shù)以百萬計的小微結(jié)構(gòu)，而且不清楚如何以最佳方式設(shè)計它們?！?/p>

該團隊目前正在努力為相機增加更多的計算能力，并在未來的迭代中設(shè)想目標檢測和醫(yī)學(xué)或機器人傳感器等功能。除此之外，他們還看到了一個超小型成像儀將表面變成傳感器的用例。

Heide 說：“我們可以將單個表面變成超高分辨率的攝像頭。這樣，你就不再需要在手機背面安裝三個攝像頭，但整個手機背面將變成一個巨大的攝像頭。我們可以在未來想出完全不同的方式來構(gòu)建設(shè)備。”。

關(guān)于作者

Michelle Horton 是 NVIDIA 的高級開發(fā)人員通信經(jīng)理，擁有通信經(jīng)理和科學(xué)作家的背景。她在 NVIDIA 為開發(fā)者博客撰文，重點介紹了開發(fā)者使用 NVIDIA 技術(shù)的多種方式。

審核編輯：郭婷