作者：Hello,Panda

做事情講究個“謀定而后動”，做研發(fā)尤其如此，準(zhǔn)備工作一定要做得充分了，需求一定要理解明確了，方可開始吭哧吭哧繼續(xù)往下干。

樓主先準(zhǔn)備以ZCU104為平臺，實現(xiàn)一個視頻處理和傳輸系統(tǒng)，算是熟悉ZYNQ UltraScale+ MPSoC器件。

總體要求是：設(shè)計一個圖像采集、處理和傳輸系統(tǒng)，實時視頻分辨率不小于4000×3000，幀率不小于30fps，視頻可通過HDMI2.0(或DP)接口本地實時顯示。JPEG壓縮的圖片和H.265壓縮后的視頻存儲在本地SATA盤中，實時碼流可通過GigE Vision傳輸?shù)街鳈C。系統(tǒng)總體框架如下圖1所示。

圖1 系統(tǒng)總體框架

一、硬件平臺
本階段先使用ZCU104平臺進行驗證，Camera和SFP接口通過FMC擴展板實現(xiàn)。

二、軟件需求
軟件包括PL和PS兩個部分，其中PL部分實現(xiàn)Camera IF、ISP、Encoder、GigE Vision和HDMI2.0接口；PL部分運行Linux操作系統(tǒng)，使用QT圖形界面，驅(qū)動DP顯示和SSD存儲。

1. PL部分
PL部分主要實現(xiàn)接口和算法。

（1）相機接口（Camera IF）

Camera IF硬件上通過FMC接口板接入，支持LVDS（LVDS通道數(shù)不大于15對）、MIPI D-PHY、MIPI C-PHY接入。Camera 分辨率不低于4000×3000，幀率不低于30fps，8bit、10bit或12bit Raw（Bayer）數(shù)據(jù)輸入。

（2）圖像信號處理（ISP）

本階段ISP實現(xiàn)基本功能,主要包括：Demosaic、CCM、3A、Dpc、Gamma、Denoise、Enhance等基本內(nèi)容，ISP需保證對輸入圖像實時處理。

（3）Encoder

Encoder主要有兩部分，一個H.265視頻流壓縮，一個是JPEG靜態(tài)圖片壓縮。H.265使用芯片內(nèi)置的硬核，JPEG壓縮通過邏輯實現(xiàn)。H.265至少保證4000×3000分辨率30fps實時壓縮。

（4）GigE Vision網(wǎng)絡(luò)傳輸

GigE Vision采用10G光口傳輸，硬件在FMC擴展板上實現(xiàn)。GigE Vision可實時傳輸原始圖像、ISP處理后的圖像、H.265碼流和JPEG靜態(tài)圖片，通過xml配置文件指定支持的源和格式。

（5）HDMI2.0接口

基于GTH，符合HDMI2.0標(biāo)準(zhǔn)，顯示原圖或ISP后的圖像，可疊加OSD。

2. PS部分
PS部分運行Linux操作系統(tǒng)，運行QT疊加生成OSD。

（1）調(diào)度功能

PS需配置PL工作的各項參數(shù)，獲取系統(tǒng)狀態(tài)，運行3A算法的C部分。PS部分還需處理PL的各中斷，以協(xié)同處理存儲、顯示等工作。

（2）存儲和顯示

實現(xiàn)DP和SATA驅(qū)動，存儲和讀出PL生成的視頻流文件請求。運行QT，生成人機交互界面。

三、總結(jié)
整個系統(tǒng)基于AXI4總線架構(gòu)，SoC軟件硬件協(xié)同處理，需要保證良好的可擴展性，以便擴展下一步的圖像檢測和識別算法、AI算法等。

編輯：hfy