蘋果公司從iPhone X 的開始引入了3D 深度傳感技術(shù)，它便是蘋果 Face ID 功能的基礎(chǔ)。

iPhone X 的 3D 攝像頭采用的是紅外 3D 結(jié)構(gòu)光方案，包含「紅外光源+光學(xué)組件+紅外傳感器」等部分，其中最關(guān)鍵的部分就是紅外光源。早期 3D 傳感系統(tǒng)一般都使用 LED 作為紅外光源，但是隨著 VCSEL 芯片技術(shù)的成熟，在精確度、小型化、低功耗、可靠性等角度全方面占優(yōu)，因而現(xiàn)在常見的 3D 攝像頭系統(tǒng)一般都采用 VCSEL 作為紅外光源。

3D視覺測(cè)量原理

要談3D視覺應(yīng)用方案，就必須先弄清楚光學(xué)測(cè)量分類以及其原理。光學(xué)測(cè)量分為主動(dòng)測(cè)距法和被動(dòng)測(cè)距法。

主動(dòng)測(cè)距方法的基本思想是利用特定的、人為控制光源和聲源對(duì)物體目標(biāo)進(jìn)行照射，根據(jù)物體表面的反射特性及光學(xué)、聲學(xué)特性來(lái)獲取目標(biāo)的三維信息。其特點(diǎn)是具有較高的測(cè)距精度、抗干擾能力和實(shí)時(shí)性，具有代表性的主動(dòng)測(cè)距方法有結(jié)構(gòu)光法、飛行時(shí)間法、和三角測(cè)距法。

1. 主動(dòng)測(cè)距法

（1）結(jié)構(gòu)光法

根據(jù)投影光束形態(tài)的不同，結(jié)構(gòu)光法又可分為光點(diǎn)式結(jié)構(gòu)光法、光條式結(jié)構(gòu)光法和光面式結(jié)構(gòu)光法等。

目前應(yīng)用中較廣，且在深度測(cè)量中具有明顯優(yōu)勢(shì)的方法是面結(jié)構(gòu)光測(cè)量法。面結(jié)構(gòu)光測(cè)量將各種模式的面結(jié)構(gòu)投影到被測(cè)物體上，例如將分布較密集的均勻光柵投影到被測(cè)物體上面，由于被測(cè)物體表面凹凸不平，具有不同的深度，所以表面反射回來(lái)的光柵條紋會(huì)隨著表面不同的深度發(fā)生畸變，這個(gè)過(guò)程可以看作是由物體表面的深度信息對(duì)光柵的條紋進(jìn)行調(diào)制。所以被測(cè)物體的表面信息也就被調(diào)制在反射回來(lái)的光柵之中。通過(guò)被測(cè)物體反射回來(lái)的光柵與參考光柵之間的幾何關(guān)系，分析得到每一個(gè)被測(cè)點(diǎn)之間的高度差和深度信息。

結(jié)構(gòu)光的優(yōu)點(diǎn)是計(jì)算簡(jiǎn)單，測(cè)量精度較高，對(duì)于平坦的、無(wú)明顯紋理和形狀變化的表面區(qū)域都可進(jìn)行精密的測(cè)量。其缺點(diǎn)是對(duì)設(shè)備和外界光線要求高，造價(jià)昂貴。目前，結(jié)構(gòu)光法主要應(yīng)用在條件良好的室內(nèi)。

（2）飛行時(shí)間法（ToF）

飛行時(shí)間（Time of Flight，簡(jiǎn)稱ToF）法，又叫做激光雷達(dá)（LiDAR）測(cè)距法。它將脈沖激光信號(hào)投射到物體表面，反射信號(hào)沿幾乎相同路徑反向傳至接收器，利用發(fā)射和接收脈沖激光信號(hào)的時(shí)間差可實(shí)現(xiàn)被測(cè)量表面每個(gè)像素的距離測(cè)量。

飛行時(shí)間（ToF）深度測(cè)量法的原理示意圖

ToF直接利用光傳播特性，不需要進(jìn)行灰度圖像的獲取與分析，因此距離的獲取不受物體表面性質(zhì)的影響，可快速準(zhǔn)確地獲取景物表面完整的三維信息。缺點(diǎn)則是需要較復(fù)雜的光電設(shè)備，價(jià)格偏貴。

（3）三角測(cè)距法

三角測(cè)距法又稱主動(dòng)三角法，是基于光學(xué)三角原理，根據(jù)光源、物體和檢測(cè)器三者之間的幾何成像關(guān)系來(lái)確定空間物體各點(diǎn)的三維坐標(biāo)。在實(shí)際測(cè)量過(guò)程中，它常用激光作為光源，用CCD相機(jī)作為檢測(cè)器。這種方式主要用于工業(yè)勘探、工件表面粗糙度檢測(cè)、輪胎檢測(cè)、飛機(jī)檢測(cè)等工業(yè)、航空、軍事領(lǐng)域，在消費(fèi)電子類產(chǎn)品還不曾涉及。

基于激光三角法測(cè)量系統(tǒng)簡(jiǎn)圖

2. 被動(dòng)測(cè)距法

被動(dòng)測(cè)距技術(shù)不需要人為地設(shè)置輻射源，只利用場(chǎng)景在自然光照下的二維圖像來(lái)重建景物的三維信息，具有適應(yīng)性強(qiáng)、實(shí)現(xiàn)手段靈活、造價(jià)低的優(yōu)點(diǎn)。但是這種方法是用低維信號(hào)來(lái)計(jì)算高維信號(hào)的，所以其使用的算法復(fù)雜。被動(dòng)測(cè)距按照使用的視覺傳感器數(shù)量可分為單目視覺、雙目立體視覺和多目視覺三大類。

（1）單目視覺

單目視覺是指僅利用一臺(tái)照相機(jī)拍攝一張相片來(lái)進(jìn)行測(cè)量。因僅需要一臺(tái)相機(jī)，所以該方法的優(yōu)點(diǎn)是結(jié)構(gòu)簡(jiǎn)單、相機(jī)標(biāo)定容易，同時(shí)還避免了立體視覺的小視場(chǎng)問(wèn)題和匹配困難問(wèn)題。

單目視覺測(cè)量示意圖

單目視覺方法又可分聚焦法和離焦法兩類。聚焦法是指首先使相機(jī)相對(duì)于被測(cè)點(diǎn)處于聚焦位置，然后根據(jù)透鏡成像公式求得被測(cè)點(diǎn)相對(duì)于相機(jī)的距離。相機(jī)偏離聚焦位置會(huì)帶來(lái)測(cè)量誤差，因此尋求精確的聚焦位置是關(guān)鍵所在。而離焦法不要求相機(jī)相對(duì)于被測(cè)點(diǎn)處于聚焦位置，而是根據(jù)標(biāo)定出的離焦模型計(jì)算被測(cè)點(diǎn)相對(duì)于相機(jī)的距離，這樣就避免了由于尋求精確的聚焦位置而降低測(cè)量效率的問(wèn)題，但離焦模型的準(zhǔn)確標(biāo)定是該方法的主要難點(diǎn)。

（2）雙目立體視覺

雙目立體視覺的基本原理是從兩個(gè)視點(diǎn)觀察同一景物，以獲取在不同視角下的感知圖像，然后通過(guò)三角測(cè)量原理計(jì)算圖像像素間的位置偏差（視差）來(lái)獲取景物的三維信息。這一過(guò)程與人類視覺感知過(guò)程是類似的。

雙目立體視覺測(cè)量示意圖

在雙目立體視覺系統(tǒng)的硬件結(jié)構(gòu)中，通常采用兩個(gè)攝像機(jī)作為視覺信號(hào)的采集設(shè)備，通過(guò)雙輸入通道圖像采集卡與計(jì)算機(jī)連接，把攝像機(jī)采集到的模擬信號(hào)經(jīng)過(guò)采樣、濾波、強(qiáng)化、模數(shù)轉(zhuǎn)換，最終向計(jì)算機(jī)提供圖像數(shù)據(jù)。一個(gè)完整的雙目立體視覺系統(tǒng)通?？煞譃閿?shù)字圖像采集、相機(jī)標(biāo)定、圖像預(yù)處理與特征提取、圖像校正、立體匹配、三維重建六大部分。

（3）多目立體視覺

多目立體視覺系統(tǒng)是對(duì)雙目視覺系統(tǒng)的一種拓展。所謂多目立體視覺系統(tǒng)，就是采用多個(gè)攝像機(jī)設(shè)置于多個(gè)視點(diǎn)，或者由一個(gè)攝像機(jī)從多個(gè)視點(diǎn)觀測(cè)三維景物的視覺系統(tǒng)。

多目視覺測(cè)量示意圖

對(duì)多目系統(tǒng)所采集到的景物圖像進(jìn)行感知、識(shí)別和理解的技術(shù)被稱為多目立體視覺系統(tǒng)技術(shù)。在雙目立體視覺中，對(duì)于給定的物體距離，視差與基線長(zhǎng)度成正比，基線越長(zhǎng)，對(duì)距離的計(jì)算越精確。但是當(dāng)基線過(guò)長(zhǎng)時(shí)，需要在相對(duì)較大的視覺范圍內(nèi)進(jìn)行搜索，從而增加計(jì)算量。利用多基線立體匹配是消除誤匹配、提高視差測(cè)量準(zhǔn)確性的有效方法之。基線數(shù)目的增加可以通過(guò)增加相機(jī)來(lái)實(shí)現(xiàn)。

光電3D影像技術(shù)

根據(jù)獲取圖像信息方法的不同，光電3D影像技術(shù)分為有源和無(wú)源兩種技術(shù)，無(wú)源技術(shù)主要是接受物體的輻射或者環(huán)境的發(fā)射，有源技術(shù)是通過(guò)投射一束調(diào)制的或未調(diào)制的光到物體上通過(guò)檢測(cè)物體反射的光來(lái)形成3D圖像。

以前大多數(shù)技術(shù)研究集中在無(wú)源3D技術(shù)上，利用三角測(cè)量原理，通過(guò)兩臺(tái)相距一定距離的照相機(jī)，左邊照相機(jī)產(chǎn)生的圖像表示深度信息，右邊照相機(jī)產(chǎn)生差異的二維圖像。關(guān)鍵是產(chǎn)生深度信息的照相機(jī)需要分離出深度信息。無(wú)源3D影像技術(shù)需要拍攝的物體具有突出的輪廓特點(diǎn)，比如邊緣、角、線等。其優(yōu)點(diǎn)是不需要特殊的硬件條件，并成功使用在好幾個(gè)方面。這種技術(shù)的缺點(diǎn)是需要兩臺(tái)或者更多的高質(zhì)量的照相機(jī)、圖像處理軟件。圖像質(zhì)量、拍照速度、數(shù)據(jù)傳輸?shù)榷际沁@種機(jī)制能否被廣泛應(yīng)用的限制因素。

有源3D光電圖像方法是投射一束有規(guī)律的空間分布的線狀光到物體上從而產(chǎn)生一個(gè)網(wǎng)狀格的深度。廣泛使用的有源光方法是飛行時(shí)間(time off light)方法，最近幾年，市場(chǎng)上出現(xiàn)的3D照相機(jī)都是基于飛行時(shí)間方法，這些3D照相機(jī)主要應(yīng)用于工業(yè)控制。SwissRanger3000照相機(jī)是最近應(yīng)用這種技術(shù)的產(chǎn)品，通過(guò)飛行時(shí)間方法檢測(cè)相位來(lái)實(shí)現(xiàn)3D影像。一束幾十兆赫茲被調(diào)制的近紅外光照射到物體上，物體反射的光進(jìn)入3D照相機(jī)，由于立體物體的遠(yuǎn)近距離不同，反射光的相位存在一個(gè)延遲，通過(guò)檢測(cè)原始光束以及反射光束的相位延遲從而檢測(cè)出物體的景深，從而實(shí)現(xiàn)3D圖像。這種3D圖像傳感器的制作由ZMD公司完成，ZMD公司根據(jù)3D圖像傳感器需要高速的特點(diǎn)從噪聲和速度進(jìn)行工藝優(yōu)化，響應(yīng)速度可以到100MHz以上。

3D視覺圖像傳感器技術(shù)

不管是多個(gè)照相機(jī)形成的3D無(wú)源影像技術(shù)，還是以飛行時(shí)間方為原理的有源3D影像技術(shù)，整個(gè)系統(tǒng)的價(jià)格都很高、功耗大、需要復(fù)雜的校正軟件。在有源3D影像技術(shù)中可以獲得高精度的3D圖像，但是要求傳感器的工作響應(yīng)速度很高，在現(xiàn)有技術(shù)情況下，不得不降低圖像的分辨率。目前研究3D影像技術(shù)主要集中在基于CCD或者CMOS圖像傳感器的3D實(shí)現(xiàn)方法、圖像處理和顯示的研究，真正開展視覺傳感器研究的很少。

一種新的3D視覺圖像傳感器技術(shù)，可以單芯片實(shí)現(xiàn)3D拍照的功能，同時(shí)可以輸出2D的影像，并輸出高分辨率的3D圖像。這種圖像傳感器技術(shù)并不需要額外的有源光照，通過(guò)電子快門控制曝光時(shí)間，獲得高速的視頻圖像，通過(guò)自動(dòng)對(duì)焦處理，形成景深影像。這種3D傳感器技術(shù)很適合于低價(jià)格、小型化的視覺應(yīng)用系統(tǒng)，比如手機(jī)等多媒體應(yīng)用。

該系統(tǒng)由兩部分構(gòu)成，3DCMOS圖像傳感器以及可變焦的液體鏡頭兩部分構(gòu)成，其中3DCMOS圖像傳感器集成光電轉(zhuǎn)變電路、低噪聲讀出電路、噪聲抑制電路、可編程放大電路、模數(shù)轉(zhuǎn)換器電路、曝光控制電路、壞像素糾正電路、彩色空間轉(zhuǎn)換電路、自動(dòng)白平衡電路以及多媒體圖像信號(hào)處理電路等功能。

圖1是傳統(tǒng)2D與提出的3D拍照?qǐng)D像傳感器芯片與系統(tǒng)，圖1(a)是傳統(tǒng)2D拍照?qǐng)D像傳感器芯片與系統(tǒng)，圖中主要包括2DCMOS圖像傳感器芯片和定焦鏡頭，當(dāng)拍照的時(shí)候，物體上所有的像素點(diǎn)都映射到AA'平面上，因此系統(tǒng)拍照得到的是一個(gè)2維圖像。圖2(b)是提出的3D拍照?qǐng)D像傳感器芯片與系統(tǒng)，圖中主要包括3DCMOS圖像傳感器芯片和液體變焦鏡頭。其中3DCMOS圖像傳感器芯片的特點(diǎn)是響應(yīng)速度快、動(dòng)態(tài)范圍高、具有焦距判斷、輸出控制信號(hào)改變液態(tài)鏡頭的功能。液態(tài)變焦鏡頭是近兩年發(fā)展起來(lái)的新型變焦鏡頭，通過(guò)改變施加在液體上的電壓而改變焦距，比如拍照AA'平面時(shí)，液體變焦鏡頭的形狀如圖中的實(shí)線所示，如果拍照BB'平面時(shí)，液體變焦鏡頭的形狀如圖中的虛線所示，在AA'與BB'平面之間可以拍照多幅圖像，分析這些圖像的輪廓并合成這些圖像的邊緣，就可以得到一幅完整的3D圖像。這種3D拍照?qǐng)D像傳感器系統(tǒng)具有分辨率高，根據(jù)預(yù)設(shè)拍照的照片個(gè)數(shù)的多少而得到更精確的景深照片。與傳統(tǒng)的光學(xué)變焦鏡頭相比，這種液體變焦鏡頭的優(yōu)勢(shì)是響應(yīng)快、變焦快，適合于快速變焦的應(yīng)用場(chǎng)合。

圖2是3DCMOS圖像傳感器芯片的示意圖，圖中的像素單元電路具有靈敏度高、暗電流小、噪聲低等優(yōu)點(diǎn)，行譯碼電路和列譯碼電路在時(shí)序控制電路的控制下產(chǎn)生像素陣列工作的時(shí)序，噪聲抑制電路消除信號(hào)通路帶來(lái)的噪聲，經(jīng)過(guò)模數(shù)轉(zhuǎn)換器將模擬信號(hào)轉(zhuǎn)換為數(shù)字信號(hào)，并輸給邏輯產(chǎn)生與數(shù)字信號(hào)處理電路，邏輯產(chǎn)生與數(shù)字信號(hào)處理電路產(chǎn)生控制信號(hào)控制感光陣列的曝光時(shí)間，并集成白平衡處理、彩色差值、焦距判斷、輪廓提取等功能。其中模數(shù)轉(zhuǎn)換器是多分辨率的模數(shù)轉(zhuǎn)換器，在拍照2D圖像時(shí)輸出10bit的數(shù)據(jù)，當(dāng)拍照3D圖像時(shí)，僅僅輸出二值化的圖像信息。同時(shí)電路可以集成電源管理、鎖相環(huán)電路模塊、I2C控制總線，這正是CMOS圖像傳感器的優(yōu)勢(shì)所在(與CCD圖像傳感器相比，CCD不能單芯片集成)。

圖3表示3DCMOS圖像傳感器芯片及系統(tǒng)工作的時(shí)序圖，其中長(zhǎng)曝光時(shí)間拍攝的是正常的2D圖像，后續(xù)短曝光拍攝的是景深圖像，從AA'到BB'平面可以連續(xù)自動(dòng)拍照，從而產(chǎn)生合成3D影像的景深圖像。當(dāng)3DCMOS圖像傳感器芯片工作于2D圖像拍照模式時(shí)，模數(shù)轉(zhuǎn)換器輸出10位的數(shù)據(jù)給數(shù)字信號(hào)圖像處理模塊，當(dāng)3D CMOS圖像傳感器芯片工作于3D圖像拍照模式，模數(shù)轉(zhuǎn)換器輸出二值化的圖像信息，因此3D CMOS圖像傳感器芯片可以工作于高速拍照的模式，從而獲得高速視頻信息。

圖4是法國(guó)Varioptic公司的液體變焦鏡頭示意圖。液體變焦鏡頭由法國(guó)Varioptic發(fā)明，其原理是將兩種液體固定在不同的容器中，再它們之間加裝一個(gè)金屬電極，電極中間注入導(dǎo)電液體，當(dāng)施加在電極上的電壓發(fā)生改變時(shí)，容器中的具有極性的水分子發(fā)生漂移，從是兩種液體容器中的液體形狀發(fā)生改變，根據(jù)變形的程度來(lái)改變焦距。最大特色是其具備幾乎是無(wú)限寬廣的變焦范圍，更快反映速度及更出色光學(xué)性能，可以應(yīng)用在可拍照手機(jī)、數(shù)碼相機(jī)以及PDA等等設(shè)備上。其電壓控制信號(hào)由3D CMOS圖像傳感器芯片可編程提供或者自動(dòng)等間距提供。

3D新影像技術(shù)的關(guān)鍵技術(shù)之一的視覺圖像攝取器件的原理和實(shí)現(xiàn)方法。與傳統(tǒng)的3D視覺傳感器技術(shù)相比，具有結(jié)構(gòu)簡(jiǎn)單、實(shí)現(xiàn)方便、價(jià)格低廉的優(yōu)點(diǎn)，便于便攜式多媒體設(shè)備的應(yīng)用，可以彌補(bǔ)目前3D傳感裝置的缺點(diǎn)。

制造業(yè)的未來(lái)是智能化，智能化的基礎(chǔ)就是傳感器；互聯(lián)網(wǎng)的方向是物聯(lián)網(wǎng)，物聯(lián)網(wǎng)的基石也是傳感器；

《傳感器技術(shù)》匯編了一套各種傳感器的基礎(chǔ)知識(shí)，介紹了各種傳感器的原理。

責(zé)任編輯：PSY

原文標(biāo)題：3D視覺傳感技術(shù)

文章出處：【微信公眾號(hào)：傳感器技術(shù)】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。