描述

一、項目背景

工業(yè)用途需要使用高精度 3D 成像系統(tǒng)，例如 PCB 的 AOI（自動光學(xué)檢測）或產(chǎn)品線中的 3D 檢查。但目前成本非常高。系統(tǒng)采用FPGA可以帶來相對低成本的解決方案，促進成本敏感的工業(yè)應(yīng)用領(lǐng)域從2D+Rules向3D+AI過渡。

二、系統(tǒng)介紹

我首先在帶有 NVIDIA GPU 的 PC 上實現(xiàn)了結(jié)構(gòu)光原型系統(tǒng)。結(jié)構(gòu)光系統(tǒng)需要高吞吐量的圖像模式和低延遲。因此不適合嵌入系統(tǒng)。為了降低成本，需要用FPGA構(gòu)建結(jié)構(gòu)光3D相機的3D成像算法，并集成分析和檢測功能供工業(yè)使用。

Dual Cortex A53 用于配置相機和控制 DLP 投影儀。Vivado 用于設(shè)計和實現(xiàn)基于規(guī)則的核心算法，如失真校正、格雷碼和相位解碼、立體匹配等；Vitis AI用于實現(xiàn)基于神經(jīng)網(wǎng)絡(luò)的算法模塊，如輔助雙目特征匹配、點云校正、目標(biāo)檢測等。

?

主要過程包括格雷碼解碼、相位擴展和相位匹配。我們?yōu)橄到y(tǒng)使用 6 個格雷碼模式和 4 個相位模式。PL部分用于格雷碼解碼和相位解碼。匹配后，匹配距離（或視差）將根據(jù)相機的基線和內(nèi)在參數(shù)轉(zhuǎn)換為深度。

最具挑戰(zhàn)性的部分是圖像對的畸變校正和對極校正。正如我們所知，圖像應(yīng)該是立體校正的。該操作使用大 LUT 來獲取圖像數(shù)據(jù)的 src 位置。這是非常耗時的，因為對 DDR 的無序訪問。