三維成像技術(shù)能夠獲取和記錄完整的場(chǎng)景幾何信息，在場(chǎng)景三維重構(gòu)、高精度定位、工業(yè)檢測(cè)等領(lǐng)域應(yīng)用廣泛。ToF（Time-of-Flight，飛行時(shí)間）相機(jī)與其他三維成像技術(shù)相比，具有體積小、成本低、實(shí)時(shí)深度成像等優(yōu)勢(shì)，其利用主動(dòng)深度成像技術(shù)，基于光在相機(jī)和目標(biāo)之間的飛行時(shí)間測(cè)量場(chǎng)景的深度信息，廣泛應(yīng)用于機(jī)器視覺(jué)、人機(jī)交互、工業(yè)自動(dòng)化、自動(dòng)駕駛、目標(biāo)識(shí)別等領(lǐng)域。

然而，ToF相機(jī)在霧天、水下、生物組織等散射場(chǎng)景中成像時(shí)，傳感器接收的返回信號(hào)是目標(biāo)反射光和散射光的混合信號(hào)，深度測(cè)量誤差較大，這限制了ToF相機(jī)在水下形貌勘測(cè)、霧天自動(dòng)駕駛、生物醫(yī)學(xué)等領(lǐng)域中的應(yīng)用，因此如何提高ToF相機(jī)在散射場(chǎng)景中的成像質(zhì)量引起了國(guó)內(nèi)外學(xué)者的關(guān)注。

據(jù)麥姆斯咨詢報(bào)道，近期，北京理工大學(xué)光電成像技術(shù)與系統(tǒng)教育部重點(diǎn)實(shí)驗(yàn)室科研團(tuán)隊(duì)在《紅外與激光工程》期刊上發(fā)表了以“Time-of-Flight透散射介質(zhì)成像技術(shù)綜述”為主題的文章。該文章第一作者為王霞副教授，主要從事光電成像技術(shù)和光電檢測(cè)技術(shù)方面的研究。

文中首先介紹ToF相機(jī)的基本結(jié)構(gòu)及成像原理，分別介紹散射場(chǎng)景中ToF穩(wěn)態(tài)成像和瞬態(tài)成像過(guò)程、透散射介質(zhì)成像的理論和相關(guān)研究，之后介紹ToF透散射介質(zhì)成像的應(yīng)用前景，最后結(jié)合國(guó)內(nèi)外研究現(xiàn)狀，對(duì)未來(lái)ToF相機(jī)透散射介質(zhì)成像研究的發(fā)展趨勢(shì)進(jìn)行預(yù)測(cè)和展望。

ToF成像基本原理

ToF相機(jī)依據(jù)是否直接獲取光的飛行時(shí)間分為直接式ToF（d-ToF）相機(jī)和間接式ToF（i-ToF）相機(jī)。d-ToF相機(jī)發(fā)射光脈沖信號(hào)探測(cè)場(chǎng)景，其內(nèi)部的計(jì)時(shí)器記錄光信號(hào)在發(fā)射和接收之間的時(shí)間差，獲得光在場(chǎng)景目標(biāo)和相機(jī)之間的飛行時(shí)間，從而計(jì)算出目標(biāo)和相機(jī)之間的距離。d-ToF相機(jī)測(cè)量精度比i-ToF相機(jī)高，測(cè)距范圍較遠(yuǎn)，但是其圖像分辨率較低，制作工藝較難，成本較高，目前已應(yīng)用于車(chē)載激光雷達(dá)、增強(qiáng)現(xiàn)實(shí)（AR）或虛擬現(xiàn)實(shí)（VR）等領(lǐng)域。此外，由于不同光路達(dá)到探測(cè)器的時(shí)間不同，所以d-ToF在散射場(chǎng)景中成像時(shí)可通過(guò)設(shè)置時(shí)間門(mén)控，減少傳感器對(duì)散射光的接收，其受到多徑干擾的影響較小。因此，ToF透散射介質(zhì)成像研究通常是針對(duì)i-ToF開(kāi)展。

依據(jù)是否采用相關(guān)測(cè)量，i-ToF相機(jī)分為脈沖調(diào)制式ToF（PL-ToF）和連續(xù)波調(diào)制式ToF（CW-ToF）。PL-ToF相機(jī)采用脈沖調(diào)制光信號(hào)，傳感器接收來(lái)自探測(cè)場(chǎng)景返回的信號(hào)，接收電路的光開(kāi)關(guān)S?和S?交替閉合，對(duì)應(yīng)的電容積累電荷，如圖1所示。

圖1 PL-ToF深度成像系統(tǒng)示意圖

CW-ToF相機(jī)成像過(guò)程如圖2所示，光源經(jīng)正弦信號(hào)調(diào)制，調(diào)制光信號(hào)經(jīng)場(chǎng)景目標(biāo)反射后，由ToF傳感器接收，接收信號(hào)與參考信號(hào)進(jìn)行相關(guān)，通過(guò)四步相移等方式獲得接收信號(hào)和參考信號(hào)間的相位差，由相位差計(jì)算出目標(biāo)深度。

圖2 CW-ToF深度成像系統(tǒng)示意圖

兩種i-ToF相機(jī)各具優(yōu)勢(shì)，CW-ToF相機(jī)測(cè)量精度高，但是計(jì)算較復(fù)雜、功耗大。PL-ToF相機(jī)因其測(cè)量原理的限制，在近距離和遠(yuǎn)距離處誤差較大，測(cè)量精度偏低，容易受背景噪聲和暗噪聲影響，但是其計(jì)算更簡(jiǎn)單、計(jì)算量更低。i-ToF圖像分辨率比d-ToF相機(jī)高，成本較低，但抗干擾能力較差。由于ToF成像能夠提供場(chǎng)景各點(diǎn)的深度信息，有助于判斷物體的形貌、距離等，廣泛應(yīng)用于目標(biāo)識(shí)別、三維場(chǎng)景重構(gòu)、機(jī)器視覺(jué)、人機(jī)交互等領(lǐng)域。

ToF穩(wěn)態(tài)成像的透散射介質(zhì)成像方法

ToF透散射介質(zhì)成像的目標(biāo)是抑制散射分量的影響或從接收信號(hào)中分離目標(biāo)分量，提升ToF相機(jī)在散射場(chǎng)景中的成像質(zhì)量。ToF穩(wěn)態(tài)成像是直接基于商用ToF相機(jī)獲取場(chǎng)景信息，而不需要恢復(fù)精確的時(shí)間響應(yīng)。在ToF穩(wěn)態(tài)成像的透散射介質(zhì)成像中，由于PL-ToF和CW-ToF成像原理不同，所以國(guó)內(nèi)外學(xué)者針對(duì)不同的成像系統(tǒng)，研究了不同的深度圖像恢復(fù)方法。

散射場(chǎng)景中ToF穩(wěn)態(tài)成像的過(guò)程可描述為相機(jī)的光源經(jīng)信號(hào)調(diào)制后照亮場(chǎng)景，經(jīng)場(chǎng)景目標(biāo)反射后，由傳感器接收。從信號(hào)處理的角度，這一過(guò)程可表示為發(fā)射信號(hào)Lemit(t)和場(chǎng)景響應(yīng)i(t)的卷積。

當(dāng)探測(cè)場(chǎng)景存在散射介質(zhì)時(shí)，由于散射介質(zhì)對(duì)光的散射作用，傳感器接收信號(hào)是目標(biāo)反射光和散射光的混疊信號(hào)，如圖3所示。因此，在散射場(chǎng)景中，ToF成像因受到多徑干擾的影響，會(huì)出現(xiàn)物體距離的錯(cuò)誤估計(jì)、三維形貌被扭曲等現(xiàn)象，不利于其在霧天、水下等場(chǎng)景中的應(yīng)用，所以ToF透散射介質(zhì)成像能夠更準(zhǔn)確地獲取散射場(chǎng)景中的有效深度信息，具有重要意義及應(yīng)用前景。

圖3 散射場(chǎng)景中ToF穩(wěn)態(tài)成像過(guò)程示意圖

PL-ToF透散射介質(zhì)成像方法

PL-ToF相機(jī)的光源經(jīng)方波脈沖調(diào)制，在無(wú)散射介質(zhì)的場(chǎng)景中，返回信號(hào)Lreceive(t)只受到場(chǎng)景目標(biāo)的影響，返回幅值與目標(biāo)反射率成正比，與發(fā)射信號(hào)Lemit(t)之間的時(shí)間延遲與目標(biāo)實(shí)際距離相關(guān)，如圖4（a）。在有散射介質(zhì)存在的場(chǎng)景中，返回信號(hào)Lreceive(t)受到光散射的影響，是目標(biāo)分量和散射分量多個(gè)回波信號(hào)的疊加，波形發(fā)生畸變，不再保持方波波形，如圖4（b）所示。

圖4 PL-ToF成像的發(fā)射和接收光信號(hào)的波形圖。（a）清晰場(chǎng)景中的波形圖；（b）散射場(chǎng)景中的波形圖

Laurenzis M等人采用三維距離選通成像系統(tǒng)最先對(duì)這一過(guò)程進(jìn)行物理建模，該模型為后續(xù)PL-ToF透散射介質(zhì)成像提供了理論基礎(chǔ)，有利于從散射光對(duì)深度成像的機(jī)理出發(fā)抑制多徑干擾的影響。Kijima D等人進(jìn)一步細(xì)化了霧天PL-ToF成像模型，基于該模型的實(shí)驗(yàn)裝置及實(shí)驗(yàn)結(jié)果如圖5所示。Kijima D等人增加了一個(gè)時(shí)間門(mén)控在光源發(fā)射信號(hào)后立即打開(kāi)，以接收只包含散射分量的信號(hào)，并依據(jù)霧的散射特性估計(jì)，實(shí)現(xiàn)在能見(jiàn)度為10 m的霧天場(chǎng)景中強(qiáng)度和深度圖像恢復(fù)，如圖6所示，振幅圖像的峰值信噪比為27.04，深度圖像在2.9 m的目標(biāo)處的絕對(duì)均值誤差為0.07 m。該方法能夠有效估計(jì)散射分量，實(shí)時(shí)恢復(fù)霧天場(chǎng)景的深度圖像，該成果在霧天自動(dòng)駕駛領(lǐng)域有廣闊的應(yīng)用前景。

圖5 基于多重曝光時(shí)間的ToF霧天成像的實(shí)驗(yàn)裝置及結(jié)果

圖6 CW-ToF成像的發(fā)射和接收光信號(hào)的波形圖。（a）清晰場(chǎng)景中的波形圖；（b）散射場(chǎng)景中的波形圖

有文獻(xiàn)研究了水下場(chǎng)景中ToF透散射介質(zhì)成像，與其他研究不同，其主要關(guān)注前向散射對(duì)ToF成像的影響。該研究采用時(shí)間選通抑制后向散射，并采用貝葉斯概率模型從受到前向散射干擾的返回信號(hào)中識(shí)別反射脈沖，利用鄰近像素信息重新配置深度信息，實(shí)現(xiàn)了在海灣、沿海和深海三種水下環(huán)境中距離相機(jī)7~10 m的目標(biāo)的深度信息恢復(fù)。其中，在10 m距離處的深度恢復(fù)圖像的偏差在2.83%。該技術(shù)能夠在水下實(shí)時(shí)恢復(fù)場(chǎng)景的深度信息，在水下形貌勘測(cè)等領(lǐng)域有可觀的應(yīng)用價(jià)值。

CW-ToF透散射介質(zhì)成像方法

2018年，Consani等人首次探究了霧對(duì)CW-ToF成像的影響，在Zemax上基于光線追跡模擬了霧天ToF成像過(guò)程，指出誤差主要來(lái)自光到達(dá)場(chǎng)景前的后向散射。該研究為霧天CW-ToF透散射介質(zhì)成像提供了理論和仿真基礎(chǔ)，有助于理解氣溶膠粒子對(duì)CW-ToF成像的影響。

在無(wú)散射介質(zhì)的場(chǎng)景中，傳感器接收信號(hào)與發(fā)射信號(hào)之間的相位差Δφ只與目標(biāo)的實(shí)際距離和光源調(diào)制頻率相關(guān)，Δφ=4πfd0/c，如圖6（a）。在有散射介質(zhì)的場(chǎng)景中，傳感器接收信號(hào)為目標(biāo)反射光信號(hào)和散射光信號(hào)的混疊信號(hào)，如圖6（b）所示。

研究發(fā)現(xiàn)，當(dāng)光源調(diào)制頻率高于全局傳輸帶寬時(shí)，ToF相機(jī)接收到的多徑干擾分量可近似為直流分量，從而可以實(shí)現(xiàn)散射場(chǎng)景中散射分量的抑制。Takeshi Muraji等人進(jìn)一步擴(kuò)展了基于相量表示的透散射介質(zhì)成像方法，其基于位于同一深度的目標(biāo)受到散射分量影響相同的思想，采用多頻測(cè)量場(chǎng)景，將位于同一深度的像素進(jìn)行聚類，通過(guò)線性擬合的方式，消除散射分量的影響，實(shí)現(xiàn)了在目標(biāo)深度為8.71 m時(shí)恢復(fù)的深度圖像的誤差為0.23 m。如圖7所示，該方法不再對(duì)調(diào)制頻率的范圍有限制，且無(wú)需繁瑣的迭代優(yōu)化過(guò)程，適用于同一深度至少存在兩個(gè)反射率的目標(biāo)的場(chǎng)景，在霧天自動(dòng)駕駛等戶外場(chǎng)景中有很大的應(yīng)用價(jià)值。

圖7 Takeshi Muraji等人采用的相量表示（a）和實(shí)驗(yàn)結(jié)果（b）

有研究同樣采用相量表示，基于局部二次先驗(yàn)和全局對(duì)稱先驗(yàn)，采用迭代加權(quán)最小二乘法估計(jì)散射分量。該方法適應(yīng)于包含目標(biāo)前景和背景的場(chǎng)景，且目標(biāo)需要與相機(jī)之間有足夠的距離，以滿足相機(jī)接收的信號(hào)中目標(biāo)前的散射分量達(dá)到飽和，從而能夠采用背景區(qū)域的散射分量近似目標(biāo)區(qū)域的散射分量，實(shí)驗(yàn)結(jié)果表明該方法恢復(fù)深度圖像的絕對(duì)誤差均值最小為1.8 cm。該方法適應(yīng)于包含目標(biāo)前景和背景的場(chǎng)景，且目標(biāo)需要與相機(jī)之間有足夠的距離，以滿足相機(jī)接收的信號(hào)中目標(biāo)前的散射分量達(dá)到飽和，從而能夠采用背景區(qū)域的散射分量近似目標(biāo)區(qū)域的散射分量。由于該方法在目標(biāo)充滿整個(gè)相機(jī)視場(chǎng)、散射介質(zhì)非均勻或動(dòng)態(tài)散射場(chǎng)景時(shí)無(wú)法恢復(fù)場(chǎng)景深度，因此在實(shí)際應(yīng)用中，該技術(shù)仍需進(jìn)一步優(yōu)化和改進(jìn)。筆者課題組研究了偏振相量成像法，將偏振光學(xué)去霧成像從可見(jiàn)光成像領(lǐng)域引入到CW-ToF透散射介質(zhì)成像中，提出了偏振度相量的概念，以描述散射場(chǎng)景中ToF測(cè)量數(shù)據(jù)的偏振特性，基于偏振度相量從背景區(qū)域估計(jì)出散射分量，從而實(shí)現(xiàn)霧天環(huán)境中振幅和深度圖像的恢復(fù)，深度恢復(fù)圖像的絕對(duì)誤差均值最小為0.01 m。偏振相量成像法的實(shí)驗(yàn)裝置如圖8所示，采用時(shí)序型偏振成像系統(tǒng)，通過(guò)旋轉(zhuǎn)傳感器前的偏振片，采集不同偏振度下的振幅和相位圖像。

圖8 筆者課題組采用CW-ToF偏振成像系統(tǒng)（a）和實(shí)驗(yàn)結(jié)果（b）

此外，Lu H等人同時(shí)考慮了散射場(chǎng)景的可見(jiàn)光信息和深度信息，采用水下中值雙通道先驗(yàn)估計(jì)出粗略的深度圖像，并采用圖像插值方法彌補(bǔ)丟失的深度信息，結(jié)合可見(jiàn)光去霧圖像進(jìn)行深度圖像濾波，提升水下深度成像質(zhì)量，如圖9所示。該方法綜合考慮了場(chǎng)景的深度信息和顏色信息，但是沒(méi)有考慮散射光對(duì)深度圖像的退化機(jī)理，其在海底三維重構(gòu)領(lǐng)域有重要的應(yīng)用價(jià)值。

圖9 Lu H等人提出方法的流程圖（a）和實(shí)驗(yàn)結(jié)果（b）

在ToF穩(wěn)態(tài)成像領(lǐng)域，國(guó)內(nèi)外學(xué)者針對(duì)不同的ToF成像原理采用不同的方式提升散射場(chǎng)景中ToF成像質(zhì)量。基于PL-ToF相機(jī)的透散射介質(zhì)成像主要抑制散射光對(duì)脈沖延遲測(cè)量的影響，而基于CW-ToF相機(jī)的透散射介質(zhì)成像主要基于相量表示分離散射分量。表1對(duì)不同方法的性能進(jìn)行總結(jié)，當(dāng)前深度恢復(fù)精度在厘米量級(jí)，在未來(lái)仍需進(jìn)一步提升。

表1 ToF穩(wěn)態(tài)成像領(lǐng)域的不同研究方法對(duì)比

ToF瞬態(tài)成像的透散射介質(zhì)成像方法

瞬態(tài)成像描述了光在場(chǎng)景中傳播的瞬間，有利于分析復(fù)雜環(huán)境中光的傳播路徑。基于ToF相機(jī)的瞬態(tài)成像研究最早開(kāi)始于2013年，Heide等人對(duì)商用CW-ToF相機(jī)進(jìn)行了硬件修改，建立了ToF時(shí)域瞬態(tài)成像模型，在多個(gè)調(diào)制頻率和相位下測(cè)量場(chǎng)景，通過(guò)計(jì)算重構(gòu)瞬態(tài)圖像，如圖10所示。瞬態(tài)圖像是由一系列瞬態(tài)像素αx,y(τ)構(gòu)成的，下標(biāo)x,y為傳感器像素坐標(biāo)，其描述了場(chǎng)景在極短光脈沖照明下像素強(qiáng)度隨時(shí)間的變化。由于時(shí)域瞬態(tài)成像模型難以分析噪聲問(wèn)題，且計(jì)算成本較高，后續(xù)又發(fā)展了頻域瞬態(tài)成像模型和壓縮感知瞬態(tài)成像模型。ToF瞬態(tài)成像的透散射介質(zhì)成像過(guò)程如圖11所示。

圖10 Heide等人拍攝的瞬態(tài)圖像時(shí)間切片

圖11 散射場(chǎng)景中ToF瞬態(tài)成像過(guò)程示意圖

為了恢復(fù)散射場(chǎng)景中的瞬態(tài)圖像，Heide F等人采用卷積稀疏編碼的方式，采用修正的高斯函數(shù)描述瞬態(tài)像素，構(gòu)建過(guò)完備基，并建立基追蹤模型以重構(gòu)瞬態(tài)圖像。該方法在不同濃度的牛奶和水的混合液體中進(jìn)行，恢復(fù)最小誤差在1~5 cm內(nèi)，其能夠在一定程度上抑制散射退化，但對(duì)真實(shí)物理過(guò)程的保真度不高，且計(jì)算成本較高。Wu R H等人基于光的偏振特性，采用主動(dòng)偏振瞬態(tài)成像系統(tǒng)，提出了瞬態(tài)偏振度的概念，在偏振特性均勻的散射介質(zhì)中恢復(fù)瞬態(tài)圖像，其實(shí)驗(yàn)裝置及重構(gòu)效果如圖12所示。有研究進(jìn)一步擴(kuò)展了這一項(xiàng)研究，采用自適應(yīng)偏振差分方法實(shí)現(xiàn)瞬態(tài)成像。偏振瞬態(tài)成像方法利用了光的偏振特性，有效抑制了散射光對(duì)瞬態(tài)圖像重構(gòu)的影響，在濃度為0.1~10 mfp的散射介質(zhì)中，恢復(fù)瞬態(tài)圖像的誤差不超過(guò)0.5 m。但是該方法需要長(zhǎng)時(shí)間采集大量的數(shù)據(jù)以重構(gòu)瞬態(tài)圖像，不適于動(dòng)態(tài)、非穩(wěn)定的散射場(chǎng)景中，因此，其應(yīng)用到真實(shí)水下場(chǎng)景還需進(jìn)一步研究，減少方法的運(yùn)行時(shí)間。

此外，Wu R H等人將穩(wěn)態(tài)成像中單次散射模型擴(kuò)展到瞬態(tài)成像領(lǐng)域，采用偏移拍攝法求解深度，重構(gòu)瞬態(tài)圖像，其提出的瞬態(tài)成像的單次散射模型。該方法在60 L水中混入15 mL的牛奶的場(chǎng)景中重構(gòu)的瞬態(tài)圖像的峰值信噪比為34.4065。該項(xiàng)研究進(jìn)一步豐富了散射場(chǎng)景中瞬態(tài)圖像重構(gòu)模型，重構(gòu)出目標(biāo)的深度和紋理，在火災(zāi)救援、工業(yè)檢測(cè)、水下勘測(cè)等領(lǐng)域有重要的應(yīng)用價(jià)值。

圖12 Wu R H等人偏振瞬態(tài)圖像重構(gòu)方法的實(shí)驗(yàn)裝置及結(jié)果

在瞬態(tài)成像領(lǐng)域，國(guó)內(nèi)外學(xué)者采用了卷積稀疏編碼、偏振瞬態(tài)成像和建立單散射瞬態(tài)成像模型等方式恢復(fù)散射場(chǎng)景中的瞬態(tài)圖像，不同方法各具特色，其性能總結(jié)于表2中。當(dāng)前瞬態(tài)成像方法較難實(shí)現(xiàn)實(shí)時(shí)成像，散射場(chǎng)景中深度恢復(fù)精度在厘米量級(jí)。

表2 ToF瞬態(tài)成像領(lǐng)域的不同研究方法對(duì)比

ToF透散射介質(zhì)成像的應(yīng)用前景

ToF相機(jī)能夠獲取場(chǎng)景目標(biāo)的距離、紋理等形貌信息，在自動(dòng)駕駛、人機(jī)交互等領(lǐng)域已展示了其應(yīng)用價(jià)值，其透散射介質(zhì)成像的潛在應(yīng)用前景如下：

（1）工業(yè)自動(dòng)化。Behrje U等人將ToF相機(jī)安裝在叉車(chē)的頂部，以實(shí)現(xiàn)在倉(cāng)庫(kù)中叉車(chē)的自動(dòng)駕駛。當(dāng)倉(cāng)庫(kù)環(huán)境中煙塵較為嚴(yán)重時(shí)，ToF深度測(cè)量受到多徑干擾的影響，會(huì)引起自動(dòng)駕駛中的錯(cuò)誤定位及與前方障礙物距離的錯(cuò)誤估計(jì)，因此，ToF透散射介質(zhì)成像研究有助于推動(dòng)ToF相機(jī)在工業(yè)生產(chǎn)自動(dòng)化中的應(yīng)用。

（2）自動(dòng)駕駛。2021年，Niskanen I等人基于BIM檢測(cè)移動(dòng)車(chē)輛，并對(duì)車(chē)輛進(jìn)行三維建模，如圖13所示。在晴朗的天氣條件下，實(shí)現(xiàn)了90%的檢測(cè)準(zhǔn)確率，但是其性能會(huì)因霧天氣溶膠粒子對(duì)光的散射作用而降低。因此ToF透散射介質(zhì)成像研究能夠進(jìn)一步推動(dòng)ToF相機(jī)在道路交流流量監(jiān)測(cè)、物流監(jiān)測(cè)、自動(dòng)駕駛的應(yīng)用。

圖13 ToF相機(jī)應(yīng)用于移動(dòng)車(chē)輛檢測(cè)

（3）農(nóng)業(yè)生產(chǎn)。2011年，Klose R等人使用ToF相機(jī)評(píng)估植物的表現(xiàn)型，能夠在植物培育、種植期間監(jiān)測(cè)植物生長(zhǎng)狀態(tài)，優(yōu)化養(yǎng)殖策略。2014年，Kazmi W等人測(cè)試了三種ToF相機(jī)對(duì)植物葉片成像的性能，推動(dòng)了ToF相機(jī)在農(nóng)業(yè)自動(dòng)化生產(chǎn)領(lǐng)域的應(yīng)用。2016年，Dionisio A等人基于Kinect相機(jī)，采用高度選擇和RGB分割方法分離作物和雜草。2018年，有研究對(duì)玉米進(jìn)行三維重構(gòu)，如圖14所示。以評(píng)估玉米的生長(zhǎng)狀況，更好地進(jìn)行種植管理。在戶外場(chǎng)景中，霧霾天氣會(huì)影響ToF重構(gòu)質(zhì)量，對(duì)植物的評(píng)估效果，因此ToF透散射介質(zhì)成像研究在農(nóng)業(yè)生產(chǎn)領(lǐng)域有重要的應(yīng)用價(jià)值。

圖14 ToF相機(jī)應(yīng)用于玉米植株的三維重構(gòu)

（4）水下勘測(cè)。2014年，美國(guó)華盛頓大學(xué)Tsui C L等人首次將ToF相機(jī)用于水下目標(biāo)深度探測(cè)，基于商業(yè)ToF相機(jī)進(jìn)行硬件修改，實(shí)現(xiàn)水下深度圖像和點(diǎn)云圖像的采集。Atif Anwer等人基于光折射的物理模型，結(jié)合Kinect在水下獲得的RGB、深度圖像和近紅外強(qiáng)度圖像，實(shí)現(xiàn)水下目標(biāo)的三維成像。Digumarti S T等人在巴哈馬群島的珊瑚園區(qū)對(duì)水下珊瑚進(jìn)行三維重構(gòu)，觀測(cè)珊瑚的生態(tài)體積如圖15所示。在渾濁的水下環(huán)境中，ToF相機(jī)因受到散射光的影響，重構(gòu)質(zhì)量顯著下降，因此ToF透散射介質(zhì)成像研究有利于提升水下三維重構(gòu)質(zhì)量，推動(dòng)ToF相機(jī)進(jìn)一步應(yīng)用于不同的水下環(huán)境進(jìn)行形貌勘測(cè)等任務(wù)。

圖15 ToF相機(jī)在水下對(duì)珊瑚進(jìn)行三維重構(gòu)的應(yīng)用場(chǎng)景

結(jié)論

ToF成像是一種主動(dòng)深度成像技術(shù)，在散射環(huán)境進(jìn)行ToF成像時(shí)，由于散射介質(zhì)對(duì)光的散射作用，ToF深度測(cè)量會(huì)受到多徑干擾，測(cè)量誤差較大。很多研究針對(duì)ToF在散射場(chǎng)景中多徑干擾的校正進(jìn)行開(kāi)展，依據(jù)是否恢復(fù)精確的時(shí)間響應(yīng)，分為穩(wěn)態(tài)成像領(lǐng)域和瞬態(tài)成像領(lǐng)域。文中對(duì)這兩個(gè)領(lǐng)域中，ToF相機(jī)在散射環(huán)境下成像過(guò)程進(jìn)行介紹和分析，分別介紹了兩個(gè)領(lǐng)域的ToF透散射介質(zhì)成像方法。與穩(wěn)態(tài)成像相比，瞬態(tài)成像能夠記錄更豐富的場(chǎng)景信息，有助于理解復(fù)雜環(huán)境中光的傳播過(guò)程，但是其成本較高，難以實(shí)時(shí)成像。穩(wěn)態(tài)成像一般基于商業(yè)ToF相機(jī)采集數(shù)據(jù)，無(wú)需恢復(fù)精確的時(shí)間響應(yīng)，成本較低。目前，ToF相機(jī)透散射介質(zhì)成像領(lǐng)域仍處于起步階段，各種方法已有效提升散射環(huán)境中ToF的成像質(zhì)量，但是由散射介質(zhì)引起的多徑干擾很難完全消除且在散射介質(zhì)非均勻分布的場(chǎng)景圖像恢復(fù)精確度降低，各種方法的魯棒性、恢復(fù)精確度仍有待進(jìn)一步提升，未來(lái)研究應(yīng)向著低成本、高精度的恢復(fù)效果進(jìn)一步發(fā)展。

結(jié)合當(dāng)前國(guó)內(nèi)外研究現(xiàn)狀，ToF透散射介質(zhì)成像未來(lái)研究方向可從以下三個(gè)方面進(jìn)一步研究和完善：

（1）ToF透散射介質(zhì)成像理論研究。目前已在穩(wěn)態(tài)成像領(lǐng)域和瞬態(tài)成像領(lǐng)域建立了一些成像模型，但是這些成像模型均存在一些自身的局限性，比如運(yùn)算時(shí)間長(zhǎng)、散射介質(zhì)的空間均勻性等，這些限制了其在實(shí)際場(chǎng)景中的應(yīng)用。因此，在未來(lái)可借鑒其他透散射成像領(lǐng)域的理論，如可見(jiàn)光透散射介質(zhì)成像理論，進(jìn)一步豐富ToF透散射介質(zhì)成像的理論和技術(shù)，進(jìn)一步推動(dòng)ToF透散射介質(zhì)成像在實(shí)際場(chǎng)景中的應(yīng)用。

（2）基于深度學(xué)習(xí)方法的ToF深度透散射介質(zhì)成像。深度學(xué)習(xí)在圖像處理中展現(xiàn)出強(qiáng)大的處理能力，一些深度學(xué)習(xí)網(wǎng)絡(luò)已應(yīng)用于ToF相機(jī)的MPI校正中，并獲得不錯(cuò)的處理效果。目前尚未建立針對(duì)散射環(huán)境中ToF成像特性的深度學(xué)習(xí)網(wǎng)絡(luò)，因此，未來(lái)基于深度學(xué)習(xí)方法的ToF深度透散射介質(zhì)成像是一個(gè)值得研究的方向。

（3）ToF與其他技術(shù)相融合的透散射介質(zhì)成像。由于不同探測(cè)器具有其自身獨(dú)特的優(yōu)勢(shì)，不同探測(cè)器數(shù)據(jù)融合一直是計(jì)算機(jī)視覺(jué)領(lǐng)域的研究熱點(diǎn)。目前，已有學(xué)者采用RGB-D相機(jī)實(shí)現(xiàn)水下深度成像，在未來(lái)可以結(jié)合ToF與其他成像技術(shù)，更好地利用不同探測(cè)器的優(yōu)勢(shì)，實(shí)現(xiàn)更魯棒的透散射介質(zhì)成像。

該項(xiàng)研究獲得國(guó)家自然科學(xué)基金（62031018）的資助和支持。

審核編輯 ：李倩