多光譜成像技術已成為推動眾多領域取得重大進步的關鍵工具,涵蓋環(huán)境監(jiān)測、天文學、農業(yè)科學、生物成像、醫(yī)學診斷和食品質量控制等?,F代快照式光譜成像系統通常利用編碼孔徑與計算圖像重建算法相結合,以數字方式來克服傳統多光譜成像系統存在的缺點。隨著高分辨率圖像傳感器陣列的發(fā)展,犧牲一定的空間分辨率以獲取更豐富的光譜信息是目前更可行的方法。
圍繞這種權衡設計的最常見且相對原始的光譜成像系統是基于拜耳濾光片的彩色相機。盡管它在各種成像應用中被頻繁使用,但研究人員一直致力于開發(fā)更優(yōu)的替代方案,以克服這些吸收型濾光片存在的較高串擾、較低功率效率和較差色彩還原等缺陷。為此,研究人員探索了包括等離子體天線、電介質超構表面和三維多孔材料在內的諸多工程光學材料結構。然而,這些包括各種超構材料設計在內的基于結構化材料的方法,均局限于4個或更少的光譜通道,并且用于多光譜成像的大面陣光譜濾波器的研究暫未見報道。
據麥姆斯咨詢報道,近日,美國加州大學洛杉磯分校(University of California, Los Angeles)的科研團隊在Light: Science & Applications期刊上發(fā)表了以“Snapshot multispectral imaging using a diffractive optical network”為主題的論文。該論文第一作者為Deniz Mengu,通訊作者為Aydogan Ozcan。
在這項研究中,研究人員介紹了一種基于衍射光學網絡(亦稱為“D2NN”,衍射深度神經網絡)的快照式多光譜成像儀,并分別演示了具有4(2 × 2)個、9(3 × 3)個和16(4 × 4)個獨特光譜帶(光譜通道NB)的性能,這些光譜帶在輸出圖像視場(FOV)周期性重復,從而構成虛擬的多光譜濾波器陣列。
這種基于衍射網絡的多光譜成像儀(如圖1)利用深度學習訓練,可將物體的空間信息映射到虛擬像素網格上,每個像素攜帶預設光譜帶的信息,通過精確控制的光衍射在軸向跨度約~72 λm的無源透射層實現快照式多光譜成像,其中λm是所研究的整個光譜帶的平均波長。研究人員所展示的衍射光學網絡能夠在無需傳統的光譜濾波器的情況下,將單色焦平面陣列或圖像傳感器轉換為快照式多光譜成像器件。
圖1 衍射多光譜成像儀的原理圖
圖1展示了一種5層衍射多光譜成像儀的光學設計和正向模型,該成像儀可以將NB個不同光譜帶在空間上分離到位于輸出像平面的單色圖像傳感器上的虛擬光譜濾波器陣列,圖1為NB= 9的多光譜成像儀示例,NB可進一步增加。
為了訓練(和設計)衍射多光譜成像儀,研究人員創(chuàng)建了輸入對象,其中每個光譜帶的給定對象的傳輸場振幅由涵蓋101.6 K訓練圖像的EMNIST數據集中隨機選擇的圖像來表征。在基于深度學習的訓練階段之后,使用包含2080個不同物體(在訓練期間從未見過)的多色圖像測試集來評估訓練后的衍射網絡多光譜成像性能,NB= 9的衍射多光譜成像儀相關性能的研究結果如圖2所示。為了證明衍射多光譜成像的光譜通道數量可以增加,圖3展示了NB= 16的衍射多光譜成像儀的性能研究結果。
圖2 NB= 9的衍射多光譜成像儀的性能研究
圖3 NB= 16的衍射多光譜成像儀的性能研究
接著,為了實驗驗證這項研究所提出的衍射多光譜成像框架,研究人員設計了一組可以處理太赫茲波長的衍射網絡。如圖4所示,該太赫茲衍射多光譜成像儀采用3層(K = 3)衍射多光譜成像儀,在其輸出像平面上具有周期性重復的2 × 2光譜像元(以NB= 4為例時的0.375 THz、0.4 THz、0.425 THz、0.45 THz)以構成虛擬的濾波器陣列。
圖4 多光譜太赫茲成像儀的實驗設置(NB= 4)
通常,衍射光學網絡的一個關鍵設計參數是深度學習設計的衍射特征數N,這是因為衍射特征數N直接決定了系統中獨立自由度的數量。圖5a至圖5c分別比較了NB= 4、NB= 9、NB= 16時,四種不同衍射網絡架構實現的多光譜成像質量隨N的變化。圖5d進一步說明了NB對四種不同NL和K組合下的衍射網絡多光譜成像性能的影響。
圖5 衍射特征數(N)和目標光譜帶(NB)對衍射光學網絡多光譜成像質量的影響
關于衍射多光譜成像儀設計的另一個關鍵性能指標是光學合成虛擬濾波器陣列的功率傳輸效率。如圖6所示,NB= 9的5層衍射多光譜成像儀可實現高達79.32%的平均虛擬濾波器傳輸效率。
圖6 多光譜成像質量與虛擬濾波器陣列功率傳輸效率之間的權衡
綜上所述,本研究提出了一種基于衍射光學網絡的多光譜成像系統,利用深度學習在輸出圖像視場創(chuàng)建虛擬的光譜濾波器陣列。該衍射多光譜成像儀可在大范圍光譜上進行空間相干成像,同時將一組預設的光譜通道連接到輸出像平面的像素陣列上,將單色焦平面陣列或圖像傳感器轉換為多光譜成像器件,而無需傳統的光譜濾波器或圖像重建算法。此外,該衍射多光譜成像儀的光譜響應對輸入偏振態(tài)不敏感。通過數值模擬,研究人員提出了基于無源空間結構衍射曲面的不同衍射網絡設計,在可見光光譜范圍內分別實現了4個、9個和16個獨特光譜帶的快照式多光譜成像,其緊湊型設計的軸向跨度為~72 λm,其中λm為所研究光譜帶的平均波長。
此外,研究人員通過實驗論證了基于3D打印衍射網絡的衍射多光譜成像儀,該多光譜成像儀在其輸出像平面上創(chuàng)建了空間重復的虛擬光譜濾波器陣列,該陣列具有在太赫茲頻譜的4(2 × 2)個獨特光譜帶。憑借其外形緊湊且無需計算、高能效以及偏振不敏感的正向操作等特點,衍射多光譜成像儀可為各類成像和傳感應用帶來變革性影響,并可用于尚未廣泛使用的高密度、廣域的多光譜像素陣列的不同電磁波譜領域。
審核編輯:劉清
-
濾波器
+關注
關注
162文章
8133瀏覽量
181977 -
圖像傳感器
+關注
關注
68文章
1980瀏覽量
130707 -
光譜成像技術
+關注
關注
0文章
46瀏覽量
4139 -
FOV
+關注
關注
0文章
36瀏覽量
6111
原文標題:基于衍射光學網絡的快照式多光譜成像,無需傳統光譜濾波器或圖像重建算法
文章出處:【微信號:MEMSensor,微信公眾號:MEMS】歡迎添加關注!文章轉載請注明出處。
發(fā)布評論請先 登錄
高光譜成像相機:基于高光譜成像技術的玉米種子純度檢測研究
高光譜成像相機:表型技術在林業(yè)育種和精確林業(yè)的應用
上海光機所在基于空-譜稀疏深度學習設計的自由曲面透鏡實現超景深高光譜成像研究方面取得進展

短波紅外高光譜相機:高光譜成像在塑料分選中的應用
提高基礎設施檢查效率:無人機高光譜成像儀的新方法

光譜成像相機和光譜視頻監(jiān)控在水環(huán)境中的應用
精準農業(yè)新利器:高光譜成像儀如何顛覆傳統種植?

應用于血跡檢測的高光譜成像技術研究

探索高光譜成像在生物多樣性保護中的作用

高光譜成像技術在生物物證領域的研究進展2.0

基于高光譜成像的法醫(yī)痕跡非接觸分析

無人機機載高光譜成像系統的應用及優(yōu)勢

評論