圖案裝飾有一個靜態(tài)模型，用于測試萊斯大學的高光譜條紋投影儀，該投影儀結(jié)合了光譜學和3D成像。類似條形碼的黑白圖案顯示在DMD上以生成高光譜條紋。圖片來源：凱利實驗室/萊斯大學

條紋是本季節(jié)在萊斯大學實驗室中流行的，研究人員在其中使用條紋來制作普通相機無法捕獲的圖像。

他們的緊湊型高光譜條紋投影儀（HSP）向著一種新方法邁出了一步，該方法可以收集自動駕駛汽車，機器視覺，作物監(jiān)測，表面磨損和腐蝕檢測以及其他應用所需的空間和光譜信息。

“我可以設想將這種技術掌握在農(nóng)民手中或無人機上，以觀察田地，不僅看到植物的養(yǎng)分和水分，而且由于帶有三維信息，還可以看到農(nóng)作物的高度”，萊斯布朗工程學院電氣與計算機工程副教授凱文·凱利說?！盎蛘咭苍S它可以看一幅畫，詳細地看到表面的顏色和紋理，但是在畫布的下面也可以看到近紅外?！?/p>

Kelly的實驗室可以使用結(jié)合了HSP，單色傳感器陣列和復雜編程的系統(tǒng)，實現(xiàn)3D光譜的實時分析，從而為用戶提供物體形狀和成分的更完整圖片。

凱利說：“我們正在從圖像中實時獲取四維信息，包括三個空間和一個光譜?！薄捌渌耸褂枚鄠€調(diào)制器，因此需要明亮的光源才能完成此任務，但是我們發(fā)現(xiàn)我們可以使用正常亮度的光源和一些靈敏的光學器件來做到這一點?！?/p>

萊斯大學基于高光譜條紋投影儀的成像系統(tǒng)重建的物體的3D點云。單色相機還捕獲每個點的光譜數(shù)據(jù)，不僅提供目標的形式，還提供其材料成分。圖片來源：凱利實驗室/萊斯大學

凱利（Kelly），第一作者，萊斯大學的校友許一波（Yibo Xu）和研究生安東尼·吉爾朱姆（Anthony Giljum）的工作在《光學快報》上的開放獲取論文中有詳細介紹。

HSP從已經(jīng)掌握在消費者手中的便攜式三維成像技術（例如智能手機中的人臉I(yè)D系統(tǒng)和游戲系統(tǒng)中的人體跟蹤器）中獲取線索，并增加了一種從捕獲的每個像素中提取廣譜數(shù)據(jù)的方法。壓縮后的數(shù)據(jù)被重新構造成具有光譜信息的三維圖，該光譜信息可以包含數(shù)百種顏色，并且不僅可以用于顯示對象的形狀，還可以用于顯示對象的材料成分。

“常規(guī)的RGB（紅色，綠色，藍色）攝像機基本上只能提供三個光譜通道，” Xu說?！暗?，高光譜相機可以在許多通道中為我們提供光譜。我們可以在700納米左右捕獲紅光和在400納米左右捕獲藍光，但是我們的帶寬也可以達到幾納米或更短。這可以為我們提供出色的光譜分辨率和對場景有更全面的了解。

于2019年在萊斯大學獲得博士學位的徐說：“ HSP以非常簡單和有效的方式同時對深度和高光譜測量進行編碼，從而允許使用單色相機代替類似系統(tǒng)中通常使用的昂貴的高光譜相機?！彼F(xiàn)在為三星研究美國公司的機器學習和計算機視覺研究工程師。她在凱利實驗室的論文中開發(fā)了硬件和重建軟件。

HSP使用現(xiàn)成的數(shù)字微鏡設備（DMD）將圖案化的條紋投射到表面上，這些條紋看起來像彩色條形碼。通過衍射光柵發(fā)送白光投影，將重疊的圖案分離為彩色。

目標及其點云圖像顯示了萊斯大學的高光譜條紋投影儀的一項功能，該投影儀獲取每個點的3D數(shù)據(jù)和光譜數(shù)據(jù)，不僅可以提供目標的形式，還可以提供其材料成分。圖片來源：凱利實驗室/萊斯大學

每種顏色都將反射回單色相機，其再將數(shù)字灰度級分配給該像素。

每個像素可以有多個級別，每個級別代表它所反射的顏色條紋。這些被重新組合成該部分物體的整體光譜值。

“我們在HSP中使用單個DMD和單個光柵，” Xu說?！靶路f的光學設計將光路折回到相同的衍射光柵和透鏡上，這使其真正緊湊。單一的DMD使我們能夠保留所需的光，而將其余的光扔掉。”

這些經(jīng)過微調(diào)的光譜可能會超出可見光范圍。它們通過多路復用的細帶光譜反射回傳感器的內(nèi)容可用于識別材料的化學成分。

與此同時，圖案的變形被重建成三維點云，本質(zhì)上是目標的圖像，但比普通快照能提供更多的數(shù)據(jù)。

Kelly設想將HSP內(nèi)置在汽車前燈中，該HSP可以看到物體與人之間的差異。他說：“永遠不要混淆綠色連衣裙和綠色植物，因為一切都有自己的光譜特征?！?/p>

凱利（Kelly）認為，實驗室最終將結(jié)合萊斯（Rice）開創(chuàng)性的單像素相機的想法，進一步減小設備的尺寸，并將其也用于壓縮視頻捕獲。

責任編輯：xj

原文標題：產(chǎn)生條紋的三維相機

文章出處：【微信公眾號：新機器視覺】歡迎添加關注！文章轉(zhuǎn)載請注明出處。