3D成像對于感知、建模和理解物理世界來說至關重要，在導航、機器人以及醫(yī)學成像等領域有著廣泛的應用。然而，3D場景與傳感器之間存在著固有的維度差距，這些傳感器最多可以像曲面?zhèn)鞲衅麝嚵幸粯硬贾迷?D表面。因此，只能從給定角度捕獲場景的2D投影。為了恢復深度數(shù)據(jù)，必須沿著額外的光軸進行補充測量，例如：多視圖測量中的角度軸和基于飛行時間（ToF）傳感的時間軸。多視圖測量方法（例如立體視覺方法、結構光方法和光場成像方法）和飛行時間方法（例如iToF和dToF）具有各自的獨特優(yōu)勢和局限性，但長期以來，兩者分開用于3D成像相機的設計，限制了現(xiàn)有3D視覺解決方案的能力和應用范圍。目前，能夠在廣泛的距離范圍內實現(xiàn)高速、準確的3D成像并自如地應對嚴重遮擋，仍然極具挑戰(zhàn)性。

據(jù)麥姆斯咨詢報道，近日，之江實驗室類人感知研究中心與美國加州大學洛杉磯分校生物工程系合作在Nature Communications期刊上發(fā)表了以“Compact light field photography towards versatile three-dimensional vision”為題的研究論文。該研究論文通訊作者為之江實驗室類人感知研究中心封曉華和加州大學洛杉磯分校Liang Gao。封曉華主要從事簡約光場攝影（compact light field photography，CLIP）、非視域三維視覺、光場層析技術（LIFT）、超快成像的研究工作。

這項研究提出了一種簡約光場攝影（CLIP）技術，以便顯著地提高對密集光場采樣的效率和靈活性。與以往需要密集采樣2D圖像來恢復4D光場的壓縮光場相機不同，CLIP是一個系統(tǒng)框架，可用于設計任意采用非局部數(shù)據(jù)采集的成像模型，并將其轉換為高效光場成像的方法。該方法主要通過將設計好的或現(xiàn)有的非局部圖像采集過程分布到不同的視圖中，并對4D光場固有的相關性進行建模；CLIP可以恢復4D光場，或直接從比單個子孔徑圖像更小的測量數(shù)據(jù)集中恢復重新聚焦的圖像。

CLIP原理圖

在CLIP框架下，通過變換單像素相機、X射線計算機斷層成像以及漫射器（diffuser）相機等的成像模型，可以利用任意格式的傳感器（如單像素、線性陣列和稀疏2D面探測器）來進行高效的光場成像。此外，CLIP生而為相機陣列系統(tǒng)打造，提高了對傳感器測量缺陷和嚴重場景遮擋的穩(wěn)定性。通過使用CLIP，該研究還實現(xiàn)了多視圖測量方法與飛行時間方法的無縫協(xié)同，并展示了在擴展深度范圍對無紋理場景進行單次3D成像，在嚴重遮擋情況下的穩(wěn)定3D視覺，以及在彎曲和不連貫墻壁下的實時非視域（NLOS）成像，這些對于現(xiàn)場應用來說都是尚未完成的關鍵任務。

另外，CLIP對4D光場的記錄，本質上是光學領域的有效降維，實現(xiàn)了利用低維傳感器（例如無處不在的1D或0D（單像素）探測器）獲取高維信息，低維傳感器目前仍是超快時間維度、紅外以及太赫茲光譜領域成像的主要傳感器類型。該特性有助于將CLIP部署為通用的快照多維成像平臺，以大規(guī)模并行的方式對全光學函數(shù)進行采樣。例如，通過將CLIP中的1D超快傳感器擴展為百萬像素SPAD等2D面探測器，額外的空間維度就可以輕易地用于測量物體的光譜。定量偏振信息也可以通過在像素上覆蓋偏振片層來提取，類似于利用彩色濾光片陣列進行彩色攝影。偏振信息通常用于深度感知和細化，這可能進一步增強CLIP的3D視覺性能。

這項研究論文主要介紹了利用簡單的光學器件和少量任意格式傳感器（從二維面探測器到單點探測器）來獲取大規(guī)模光場的CLIP技術，并且最終實現(xiàn)了數(shù)據(jù)量降低幾個數(shù)量級的密集多視圖測量。該研究展示了將CLIP技術用于高效的多視圖獲取飛行時間信號，從而實現(xiàn)擴展深度范圍和嚴重場景遮擋的快照3D成像。此外，該研究還展示了如何利用CLIP實現(xiàn)曲面和不連貫表面的實時非視域3D視覺。CLIP將為高速3D成像帶來諸多益處，并將在多領域開辟新的應用途徑。

有遮擋的3D成像

在擴展深度范圍內進行快照Flash激光雷達（LiDAR）成像

通過CLIP-ToF實現(xiàn)NLOS成像

這項研究工作獲得了美國國立衛(wèi)生研究院（NIH/NIGMS，授權號：R35GM128761(LG)）的支持。

論文鏈接：
https://www.nature.com/articles/s41467-022-31087-9

審核編輯 ：李倩