作者：DR. TIBOR KOZEK，JUJU JOYCE，SUHEL DHANANI

現(xiàn)代電光/紅外（EO/IR）系統(tǒng)變得越來越復(fù)雜，因此需要FPGA最好提供的處理能力。這些系統(tǒng)中最關(guān)鍵的設(shè)計(jì)挑戰(zhàn)是將高性能傳感器/視頻處理與低功耗相結(jié)合。為了幫助解決這一難題，本文介紹了關(guān)鍵的傳感器處理和視頻處理算法，以及如何在FPGA上實(shí)現(xiàn)它們。

便攜性和多功能性，加上領(lǐng)先的 COTS 技術(shù)，是許多現(xiàn)代航空航天和國防 （A&D） 傳感器平臺(tái)的特征。無論是安裝在無人機(jī)系統(tǒng)（UAS）、人包上，還是作為自主傳感器留下來，光電/紅外（EO/IR）系統(tǒng)都變得極其復(fù)雜，需要FPGA提供的最好處理能力。由于低尺寸平臺(tái)中的可用能量和散熱，功率限制也收緊了。

這些軍用成像系統(tǒng)變得越來越復(fù)雜，并集成了多個(gè)先進(jìn)的傳感器 - 從熱紅外到可見光譜，甚至紫外焦平面。不僅這些傳感器輸出必須全部校正（有缺陷的像素校正和顏色校正）并進(jìn)行插值，而且來自多個(gè)傳感器的圖像必須融合，覆蓋和進(jìn)一步處理，以便在戰(zhàn)場上進(jìn)行本地顯示和/或傳輸。這些系統(tǒng)的關(guān)鍵設(shè)計(jì)挑戰(zhàn)是將高性能傳感器/視頻處理與低功耗相結(jié)合。以下討論重點(diǎn)介紹一些關(guān)鍵的傳感器處理和視頻處理算法，以及如何在FPGA上實(shí)現(xiàn)這些算法。由于基于 FPGA 的設(shè)計(jì)減少了元件數(shù)量，同時(shí)增加了靈活性，因此降低了系統(tǒng)功耗。

典型傳感器處理系統(tǒng)

FPGA 是幾乎所有最先進(jìn)的 EO/IR 系統(tǒng)的首選平臺(tái)，因?yàn)樗鼈儩M足了可編程性、高性能傳感器/視頻處理和低功耗的要求。

事實(shí)上，每一代新一代低功耗 FPGA 的特性都通過結(jié)合使用架構(gòu)增強(qiáng)功能和更低的內(nèi)核電壓，以及硅特征尺寸縮小帶來的幾何優(yōu)勢，顯著降低了靜態(tài)和動(dòng)態(tài)功耗。

傳感器處理

EO/IR系統(tǒng)中使用的圖像傳感器的輸出需要使用算法進(jìn)行校正，例如用于非均勻性校正和像素替換的算法。雖然這些算法通常只需要每個(gè)像素進(jìn)行一些數(shù)學(xué)運(yùn)算，但需要以像素速率進(jìn)行計(jì)算，并且每個(gè)像素的數(shù)據(jù)可能不同。在這種情況下，F(xiàn)PGA是一個(gè)理想的平臺(tái)，因?yàn)榧軜?gòu)中固有的并行性，以及算法IP的現(xiàn)成可用性，以實(shí)現(xiàn)視頻處理功能。

對(duì)于非均勻性校正，需要將像素特定系數(shù)流式傳輸?shù)綄?shí)現(xiàn)校正公式的邏輯塊中。對(duì)于較小的傳感器，這些系數(shù)可以存儲(chǔ)在內(nèi)部FPGA存儲(chǔ)器中。根據(jù)傳感器的分辨率和系數(shù)的精度，內(nèi)存要求會(huì)有所不同。對(duì)于較大的傳感器，這些數(shù)據(jù)需要緩沖在外部存儲(chǔ)器中，并與每個(gè)視頻幀的像素流同步讀出。在任何一種情況下，通常都需要根據(jù)一些選定的參數(shù)（例如焦點(diǎn)陣列（FPA）溫度）來更改校正數(shù)據(jù)集，該溫度從地面到高度變化很大。

這種算法的典型數(shù)據(jù)流將雙重緩沖校正系數(shù)，以允許來自閃存的相對(duì)較慢的數(shù)據(jù)流在應(yīng)用新數(shù)據(jù)集之前完成。FPGA的主要優(yōu)勢之一是能夠創(chuàng)建適合算法的數(shù)據(jù)路徑，而不是改變算法以適應(yīng)預(yù)定義的架構(gòu)。這對(duì)于實(shí)現(xiàn)低功耗至關(guān)重要。FPGA中的海量I/O和大量邏輯元件允許輕松實(shí)現(xiàn)并行性，現(xiàn)成的IP算法有助于簡化設(shè)計(jì)。表1顯示了一些可用于FPGA的更典型的傳感器處理算法，例如Altera的Cyclone系列中的算法。

表 1：適用于 FPGA 器件的典型傳感器處理算法，如阿爾特拉的旋風(fēng)系列。

FPGA降低EO/IR傳感器系統(tǒng)功耗的另一種方法是大幅降低占位面積。例如，圖1顯示了一個(gè)基于Altera Cyclone FPGA的系統(tǒng)，該系統(tǒng)實(shí)現(xiàn)了具有集成處理功能的熱傳感器。FPGA 可執(zhí)行實(shí)時(shí)圖像增強(qiáng)、圖像穩(wěn)定和數(shù)字增強(qiáng)分辨率，還可以驅(qū)動(dòng)集成的微顯示器。在這種情況下，F(xiàn)PGA功耗約為500 mW。

圖 1：集成圖像處理的熱傳感器系統(tǒng)。

視頻處理：混合和縮放

軍用EO/IR系統(tǒng)通常包括多個(gè)圖像傳感器，其輸出必須融合在一起并顯示在具有非標(biāo)準(zhǔn)分辨率的自定義顯示器上。（“非標(biāo)準(zhǔn)”意味著分辨率不同于典型的臺(tái)式機(jī)或筆記本電腦LCD。視頻處理系統(tǒng)可用于在自定義顯示器上從兩個(gè)視頻源生成復(fù)合圖像。FPGA內(nèi)部的視頻數(shù)據(jù)路徑可以從多個(gè)源生成復(fù)合圖像。

輸入視頻首先格式化為所需的色彩空間，然后與多個(gè)其他視頻流進(jìn)行縮放（調(diào)整大?。┖突旌希╝lpha混合）?？s放和混合是最常用的視頻功能之一，可以使用FPGA可用的現(xiàn)成IP算法來實(shí)現(xiàn)。

縮放可以像復(fù)制（或刪除）前一個(gè)像素一樣簡單，也可以使用復(fù)雜的插值過濾技術(shù)來實(shí)現(xiàn)以生成新像素。圖 2 顯示了可用于縮放的不同算法之間的差異。

圖 2：不同的視頻縮放算法及其在視頻縮放IP中的實(shí)現(xiàn)

該圖說明了所有生成的像素（以純黑色顯示）與所有原始像素（以白色顯示）。有許多方法可以生成純黑色像素;例如，最近鄰算法復(fù)制前面的像素。更復(fù)雜的方法是取垂直和水平維度的兩個(gè)相鄰像素的平均值。有時(shí)這被稱為雙線性縮放 - 雙線性，因?yàn)樗褂么笮?x2的像素?cái)?shù)組來計(jì)算單個(gè)像素的值。

進(jìn)一步了解這一概念，可以通過在水平維度中使用“m”像素和在垂直維度中使用“n”像素來計(jì)算新像素。圖 2 還顯示了如何使用每個(gè)維度中的四個(gè)像素生成像素（也稱為四抽頭縮放引擎）。

當(dāng)然，這個(gè)技巧涉及分配給每個(gè)像素的權(quán)重 - 在通過算法實(shí)現(xiàn)時(shí)也稱為系數(shù)。系數(shù)將決定縮放圖像的質(zhì)量。

圖 2 描述了一個(gè)可用于交替旋風(fēng) FPGA 的此類擴(kuò)展 IP 核。此功能預(yù)集成了各種“Lanczos”過濾器功能。Lanczos 多元插值方法用于計(jì)算任何數(shù)字采樣數(shù)據(jù)的新值。當(dāng)用于縮放數(shù)字圖像時(shí)，Lanczos 函數(shù)指示原始圖像中的哪些像素和比例組成最終圖像的每個(gè)像素。

也可以從一系列Lanczos算法中進(jìn)行選擇以縮放圖像或完全繞過它們以支持自定義系數(shù)。在任何一種情況下，該函數(shù)都會(huì)自動(dòng)執(zhí)行為本質(zhì)上是二維濾波器的HDL代碼生成繁瑣的工作。它還將其映射到各種FPGA結(jié)構(gòu)，如DSP模塊和嵌入式存儲(chǔ)器模塊，從而提高生產(chǎn)率并縮短整體設(shè)計(jì)時(shí)間。

視頻疊加

另一個(gè)常用的功能是混合和覆蓋兩個(gè)或多個(gè)視頻流。這通常由 alpha 混合函數(shù)完成。這是一種從兩個(gè)或多個(gè)像素生成復(fù)合像素的方法。為一個(gè)像素分配一個(gè)稱為 alpha 的不透明度值。當(dāng) Alpha 為零時(shí)，該像素是完全透明的（即：不顯示）。當(dāng)相同的 Alpha 值為 1 時(shí)，像素是完全不透明的 – 只能看到該像素，而不顯示另一個(gè)像素。

在數(shù)學(xué)術(shù)語中，復(fù)合像素的值計(jì)算如下：

C = αP1 + （1-α）P2

哪里

α是阿爾法值

P1 是視頻層 1 中的像素 1

P2 是視頻層 2 中的像素 2

C 是復(fù)合像素

可以使用相同的技術(shù)來創(chuàng)建半透明圖像，因?yàn)?alpha 值可以設(shè)置在 0 到 1 之間的任何位置。

組合來自兩個(gè)（或更多）圖像的信息的一種更復(fù)雜的方法是利用圖像融合算法。想象一下，一個(gè)熱紅外傳感器和一個(gè)可見光圖像傳感器描繪了同一個(gè)場景，但每個(gè)傳感器都包含圖像不同部分的信息。

如果可以應(yīng)用 Alpha 混合來選擇一個(gè)圖像或另一個(gè)圖像在組合輸出中的主導(dǎo)地位，那么 alpha 就沒有一個(gè)單一的值可以從傳感器中提取所有可用的信息。

左上角的可見圖像包含有關(guān)周圍環(huán)境的信息，而右側(cè)的熱視圖僅顯示背景溫差的可識(shí)別特征。相反，熱傳感器的性能不受場景中強(qiáng)光源的影響，而可見光攝像機(jī)則由于飽和而在同一區(qū)域內(nèi)不提供任何信息。

在融合視圖中，來自兩種輸入模式的信息的無縫組合是逐個(gè)像素實(shí)現(xiàn)的。一種模式中缺少的細(xì)節(jié)從另一種模式中“填寫”，反之亦然。最簡單的融合形式之一是對(duì)根據(jù)局部圖像統(tǒng)計(jì)數(shù)據(jù)計(jì)算的每個(gè)像素應(yīng)用具有不同 Alpha 值的 alpha 混合。然而，最先進(jìn)的融合算法通常不止于此，并對(duì)輸入圖像進(jìn)行分解，從而提取每個(gè)像素周圍的相關(guān)特征。然后將這些特征組合在一起形成融合圖像。

審核編輯：郭婷