視頻處理是現(xiàn)代世界的一項(xiàng)關(guān)鍵技術(shù)；它使電子系統(tǒng)能夠捕獲、處理和提取視頻中包含的數(shù)據(jù)。因此，視頻處理是許多應(yīng)用的基礎(chǔ)技術(shù)，從智能城市交通管理到廣播。

所有這些應(yīng)用程序都需要處理高分辨率幀的能力——例如，幀速率為每秒 60 幀或更高的 4K 或 8K 分辨率。這相當(dāng)于在 4K 分辨率下每秒處理 5 億像素或在 8K 分辨率下每秒處理 19.9 億像素。對于僅顯示接收到的視頻的簡單視頻捕獲和顯示管道，這些是具有挑戰(zhàn)性的性能數(shù)據(jù)。當(dāng)需要額外的處理步驟時——例如，檢測和分類對象或執(zhí)行轉(zhuǎn)碼——實(shí)現(xiàn)幀速率所需的處理要求是相當(dāng)大的。如果視頻分析對時間至關(guān)重要，例如在智能城市交通監(jiān)控部署中，高級算法使用人工智能和機(jī)器學(xué)習(xí)預(yù)測和平滑交通流，則尤其如此。

創(chuàng)建復(fù)雜的視頻處理系統(tǒng)超出了對純處理能力的需求，還需要高 I/O 數(shù)量以連接各種外部傳感器、相機(jī)和執(zhí)行器。對于智能城市交通管理系統(tǒng)，這種接口可能意味著支持多個視頻傳感器，同時使用 JPEG XS 提供高性能網(wǎng)絡(luò)接口和關(guān)鍵事件的本地存儲/記錄。再舉一個例子，考慮一種依賴視頻處理的醫(yī)療外科機(jī)器人系統(tǒng)。該系統(tǒng)必須與傳感器接口，同時控制照明，并提供對一系列電機(jī)和執(zhí)行器的精細(xì)控制。對于這兩種應(yīng)用程序，接口挑戰(zhàn)都非常大。行業(yè)對具有支持多個高速傳感器并提供與廣泛的網(wǎng)絡(luò)和工業(yè)接口進(jìn)行通信所需的接口功能的性能的設(shè)備存在很高的需求。

FPGA 在視頻處理中的作用

系統(tǒng)設(shè)計(jì)工程師用來應(yīng)對這些性能和接口挑戰(zhàn)的領(lǐng)先技術(shù)之一是現(xiàn)場可編程門陣列 (FPGA)。FPGA 提供了可用于實(shí)現(xiàn)高度并行流水線處理結(jié)構(gòu)的設(shè)計(jì)器邏輯資源。與內(nèi)部架構(gòu)的靈活性一樣，F(xiàn)PGA 的 I/O 結(jié)構(gòu)也非常靈活，可以實(shí)現(xiàn)高速和低速接口的連接。這種靈活性使 FPGA 能夠支持多種高性能視頻傳感器和網(wǎng)絡(luò)接口，并實(shí)現(xiàn)用于控制執(zhí)行器、傳感器、電機(jī)和其他外部設(shè)備的低帶寬工業(yè)、傳統(tǒng)和自定義接口。

在邏輯中實(shí)現(xiàn)視頻處理算法可以創(chuàng)建深度并行化的實(shí)現(xiàn)。這些并行實(shí)現(xiàn)增加了確定性并減少了延遲，因?yàn)榭梢韵幚硐到y(tǒng)中的瓶頸。

選擇 FPGA

當(dāng)然，F(xiàn)PGA 的選擇會因應(yīng)用而異，以確保最有效的解決方案。設(shè)計(jì)工程師根據(jù)邏輯容量和性能、接口功能以及專門的硬宏來選擇設(shè)備。例如，Intel ? Arria ? 10 系列的設(shè)備通常被選擇用于醫(yī)療和專業(yè) A/V 視頻處理應(yīng)用，而Stratix ? 10系列的設(shè)備則非常適合廣播解決方案。除了高性能邏輯，Arria ? 10 系列還為開發(fā)人員提供了一系列與 GT 和 GX 系列的高帶寬互連解決方案，而 SX 系列則提供了 Arm ?能夠?qū)崿F(xiàn)順序處理的 A9 處理器，例如人機(jī)界面 (HMI)、GUI、通信協(xié)議等。

英特爾? Stratix ? 10 家族在功能上提供了重大的進(jìn)步，在 SX 設(shè)備中提供嵌入式 Arm ? A53內(nèi)核，在 GX 設(shè)備中提供高性能浮點(diǎn)和吞吐量解決方案，并在 NX 設(shè)備中支持 AI/ML。可供選擇的器件種類繁多，允許開發(fā)人員為手頭的應(yīng)用選擇最合適的 FPGA。

無論選擇何種設(shè)備，設(shè)計(jì)工程師都需要范圍廣泛的生產(chǎn)就緒 IP 來滿足日益苛刻的項(xiàng)目時間表。

在英特爾? Quartus ? Prime 設(shè)計(jì)軟件中，開發(fā)人員可以使用英特爾全面的視頻和圖像處理套件。該套件具有 20 多個高度優(yōu)化的、可直接用于生產(chǎn)的 IP 塊，它們提供了實(shí)施視頻和圖像處理管道所需的核心功能。為了實(shí)現(xiàn) VIP 套件內(nèi)核之間的高性能集成和連接，IP 塊使用英特爾的Avalon ?流接口進(jìn)行連接。這實(shí)現(xiàn)了使用視頻 IP 塊的混合匹配方法，根據(jù)需要將塊插入視頻處理管道。視頻 IP 為設(shè)計(jì)工程師提供了一系列功能，包括：

接口：支持從 HDMI 到 SDI、DisplayPort、MIPI 和以太網(wǎng) (GigE Vision) 的一系列不同的相機(jī)和傳感器接口

捕獲、校正和處理：能夠根據(jù)處理需要格式化視頻——例如，顏色空間轉(zhuǎn)換、去隔行、伽馬校正、剪輯、色度重采樣、同步——并使用 2D 過濾器從視頻中去除時間和光譜噪聲和視頻流清潔器。

格式化：使用 Alpha 混合、縮放和隔行掃描來格式化輸出視頻的能力。

緩沖：支持在 DDR 中讀取和寫入幀緩沖區(qū)。這使開發(fā)人員能夠更改輸入和輸出幀速率，并使處理后的視頻可用于處理器系統(tǒng)進(jìn)行高級視頻處理。

分析和測試：支持動態(tài)視頻統(tǒng)計(jì)和測試模式生成，以在沒有傳感器/攝像頭的情況下啟用視頻處理路徑。

雖然視頻和圖像處理套件功能廣泛，但可能需要其他專業(yè) IP 功能。在這種情況下，開發(fā)人員可以利用范圍廣泛的合作伙伴生態(tài)系統(tǒng) IP。此類 IP 合作伙伴包括提供一系列壓縮 IP（包括 JPEG-XS）的 IntoPIX、提供 MIPI 接口解決方案的 Rambus（前身為 Northwest Logic）以及提供一系列 IP 視頻解決方案的 Macnica。

廣泛的英特爾?和合作伙伴生態(tài)系統(tǒng) IP 使開發(fā)人員能夠快速輕松地開發(fā)自定義視頻處理應(yīng)用程序。對于自定義算法實(shí)現(xiàn)，開發(fā)人員可以利用英特爾的 HLS 編譯器。HLS 編譯器允許開發(fā)人員使用更高級的語言定義算法，與寄存器傳輸級實(shí)現(xiàn)相比，進(jìn)一步減少了設(shè)計(jì)和驗(yàn)證時間。

結(jié)論

創(chuàng)建能夠支持 4K 和 8K 分辨率的現(xiàn)代視頻處理應(yīng)用程序需要強(qiáng)大的處理和接口功能。廣泛的英特爾和合作伙伴生態(tài)系統(tǒng)視頻處理和連接 IP 允許設(shè)計(jì)人員挑選功能，而高性能 FPGA 結(jié)構(gòu)是處理高分辨率視頻流的理想選擇。這些功能與強(qiáng)大的軟件設(shè)計(jì)流程一起，為下一代智能視頻應(yīng)用程序的快速開發(fā)提供了條件。