人腦是我們所知道的最先進(jìn)的緊湊型處理單元;但是，由于采用了新的處理器，工具，架構(gòu)和軟件，圖像處理方面的改進(jìn)可能會(huì)很快超過(guò)我們。新技術(shù)及其快速采用率為工業(yè)制造和檢驗(yàn)，以及醫(yī)藥，消費(fèi)電子/游戲，當(dāng)然還有機(jī)器人技術(shù)提供了巨大潛力。

目前，我們正在開(kāi)展先進(jìn)的功能，如當(dāng)執(zhí)行諸如填充水的簡(jiǎn)單任務(wù)時(shí)，比例，積分和微分（PID）功能。事實(shí)上，我們進(jìn)行了如此復(fù)雜的運(yùn)動(dòng)控制和平衡，機(jī)器人可能很快就會(huì)羨慕我們。然而，我們出色的能力之一就是我們能夠在視野中挑選模式，執(zhí)行物體識(shí)別，深度感知，軌道運(yùn)動(dòng)和測(cè)量相對(duì)速度甚至加速度，使我們與大多數(shù)機(jī)器區(qū)別開(kāi)來(lái)。

早期的圖像處理主要集中在澄清靜止圖像上，許多邊緣增強(qiáng)算法和細(xì)微的細(xì)節(jié)都沒(méi)有在快速幀率和高度剛性圖像上進(jìn)行。處理器更簡(jiǎn)單，更慢，并且執(zhí)行DSP功能的能力更低，因此結(jié)果粗略，獲取速度慢，并且遠(yuǎn)不如辨別人眼和大腦那么可靠。

然而，隨著我們改進(jìn)機(jī)器，我們開(kāi)始為它們提供我們無(wú)法比擬的卓越功能，圖像和實(shí)時(shí)視頻處理是我們未來(lái)的機(jī)器（霸主？）將擁有的這些功能之一。這要?dú)w功于處理器，工具，算法和我們現(xiàn)在正在制定的啟發(fā)式方法，我們能夠?yàn)闄C(jī)器提供這些功能，這些功能可能很快就會(huì)超出我們自己的能力。

內(nèi)存和架構(gòu)問(wèn)題

視頻信息在數(shù)字域，因此無(wú)論圖像來(lái)自NTSC，PAL，RGB，YUB，分量還是隔行掃描或非隔行掃描的HD源都無(wú)關(guān)緊要。前端同步和解碼器芯片和硬件階段可以很好地捕獲圖像像素并將它們填充到內(nèi)存陣列中，通常作為光柵化掃描線。

內(nèi)存架構(gòu)和拓?fù)浣Y(jié)構(gòu)很重要，但是，因?yàn)樗鼈儠?huì)影響處理器訪問(wèn)和操作數(shù)據(jù)的方式。例如，您可以以線性方式將圖像數(shù)據(jù)壓縮到存儲(chǔ)器中，但這可能意味著相鄰幀不會(huì)在位可尋址存儲(chǔ)器邊界處排列。例如，使幀的掃描線的第一行在二進(jìn)制計(jì)數(shù)器的零點(diǎn)處對(duì)齊更快更容易。比較連續(xù)幀數(shù)據(jù)變得更容易訪問(wèn)和獲得，如果不需要復(fù)雜的尋址方案來(lái)索引和逐幀地觀察視野的相同部分。

另一個(gè)與記憶相關(guān)的因素可以簡(jiǎn)化視頻處理和信息提取與位平面分離有關(guān)，特別是隨著像素分辨率和調(diào)色板深度的增加。當(dāng)發(fā)生這種情況時(shí)，以最高有效位（MSB）到最低有效位（LSB）方式查看單色圖像的能力允許邊界和邊緣突出（圖1）。僅查看MSB渲染圖像時(shí)會(huì)出現(xiàn)最大的對(duì)比。可以提取一些深度和灰度信息，查看連續(xù)不太重要的位渲染圖像。

圖1：位平面分離允許邊緣更清晰地突出，因?yàn)樽罡哂行唬∕SB）顯示出比最低有效位更多的對(duì)比度（最低有效位）。這意味著需要對(duì)并行視頻數(shù)據(jù)進(jìn)行抽取，并將位大小分成單獨(dú)的單色存儲(chǔ)器平面。 （來(lái)源：Digi-Key）

這意味著必須將圖像數(shù)據(jù)實(shí)時(shí)分離為面向比特的高效內(nèi)存塊，處理器可以將其編入索引并快速檢查。這是硬件架構(gòu)發(fā)揮作用的地方。

并行與流水線

可以使用兩種主要的架構(gòu)方法來(lái)完成實(shí)時(shí)視頻處理任務(wù)。第一種是使用多個(gè)處理器并為每個(gè)處理器分配問(wèn)題的一部分，可以是并行，串行或兩者。例如，每個(gè)檢查位平面分離的存儲(chǔ)器塊的24個(gè)處理器的陣列可以比必須一次檢查每個(gè)塊的單個(gè)處理器快24倍地辨別邊緣和邊界。任務(wù)執(zhí)行處理器將任務(wù)委派給每個(gè)單獨(dú)的處理器，并以部分“消化”的形式檢查壓縮結(jié)果。這使得下一階段決策處理器能夠以更加靈敏的方式對(duì)數(shù)據(jù)采取行動(dòng)。

當(dāng)涉及立體視覺(jué)處理時(shí)，這一點(diǎn)尤為重要，因?yàn)樯疃雀兄菀讓?shí)現(xiàn)。位平面分離的圖像可以顯示邊緣，但是，每個(gè)相機(jī)的存儲(chǔ)塊的不同部分中的相同邊緣的位置將是用于從數(shù)字三角測(cè)量算法確定深度的位置。由于這些邊緣在兩個(gè)相機(jī)的存儲(chǔ)塊之間逐幀移動(dòng)，處理器可以比使用逐幀彩色像素嘗試更快地提取距離，速度和方向數(shù)據(jù)（圖2）。 p>

監(jiān)視各個(gè)位平面的各個(gè)處理器可以容納著色，光源，甚至可以識(shí)別被跟蹤對(duì)象的部分模糊邊緣，因?yàn)樗谝曇爸械钠渌苿?dòng)或靜止物體的前方和后方移動(dòng)。

圖2：立體成像可以通過(guò)檢查檢測(cè)到的存儲(chǔ)器陣列中的位置來(lái)利用位平面分離帶來(lái)的對(duì)比度作為每個(gè)相對(duì)圖像的失真。當(dāng)物體在連續(xù)幀中移動(dòng)時(shí)，這些可用于確定深度以及相對(duì)運(yùn)動(dòng)。 （來(lái)源：Digi-Key）

同樣重要的是要注意可以使用抽取的像素和調(diào)色板分辨率。并非每一位24或36位A/D轉(zhuǎn)換的彩色像素都需要提取所需的信息。環(huán)境光級(jí)別和著色可用作算法的一部分，以確定分辨率的最佳抽取。

簡(jiǎn)單與復(fù)雜架構(gòu)

術(shù)語(yǔ)處理器可在此處有所不同。它可以是相當(dāng)高功率，快速時(shí)鐘的CISC DSP類(lèi)型的功能，或基于硬件的功能RISC模塊，或介于兩者之間的任何位置。這是設(shè)計(jì)工程師可以做出的另一種架構(gòu)選擇。

我們是使用具有復(fù)雜架構(gòu)和信號(hào)處理功能的多處理器還是多核處理器，還是使用在分立硬件中實(shí)現(xiàn)的專(zhuān)用邏輯塊像FPGA結(jié)構(gòu)？?jī)烧叨际怯行У姆椒ǎ⑶叶紟в兴鼈兊奶卣骱秃锰?。此外，它們不是相互排斥的：它們可以一起用于為手頭的任務(wù)創(chuàng)建最佳解決方案。

例如，用于質(zhì)量控制檢查應(yīng)用程序等應(yīng)用程序的視覺(jué)系統(tǒng)可以使用類(lèi)似快照的檢查算法，查看焊接連續(xù)性，焊盤(pán)完整性，電路板走線一致性和結(jié)構(gòu)缺陷等特定事項(xiàng)。當(dāng)電路板移動(dòng)通過(guò)靜止視野時(shí)，或者當(dāng)攝像機(jī)使用機(jī)器人機(jī)制移動(dòng)時(shí)，就會(huì)發(fā)生這種情況。

像NXP i.MX 6DualPlus和i.MX 6QuadPlus這樣的多核處理器系列應(yīng)用處理器專(zhuān)為圖形密集型應(yīng)用而設(shè)計(jì)。該系列具有1.2 GHz ARM Cortex-A9處理器，具有高級(jí)內(nèi)存管理和64位DDR3接口或與內(nèi)部L2高速緩存RAM集成的雙通道32位LPDDR2內(nèi)存。

此背景是使用四維720-MHz著色器的3D圖形加速，可以使用專(zhuān)用硬件提供高性能圖形。特殊部件，如四核32位MCIMX6QP5EYM1AA支持 - 硬件 - 高達(dá)1920 x 1200（HD）分辨率的雙顯示器，這意味著幀存儲(chǔ)器和刷新本質(zhì)上支持圖像采集和顯示（對(duì)于調(diào)試和測(cè)試非常有用） out算法），以及圖像處理。

硬件大小調(diào)整和反交錯(cuò)簡(jiǎn)化了視頻數(shù)據(jù)格式化和索引，以允許更多編碼資源用于圖像數(shù)據(jù)處理和覆蓋到顯示數(shù)據(jù)上。這種重疊的示例包括調(diào)整大小的圖像，其可以查看數(shù)據(jù)幀的特定部分以減少處理時(shí)間。另一個(gè)例子是使用著色器，不僅可以使圖像更加突出人眼，還可以在要處理的圖像中顯示細(xì)節(jié)。

示例代碼和硬件設(shè)計(jì)也是此外，還使用恩智浦MCIMX6QP-SDB開(kāi)發(fā)平臺(tái)，該平臺(tái)包括完整的硬件設(shè)計(jì)文件，并直接支持Android，Linux和FreeRTOS操作環(huán)境。為了簡(jiǎn)化接口，HDMI連接以及LVDS連接和支持兩個(gè)1 GHz MIPI DSI數(shù)據(jù)通道，以及相機(jī)MIPI CSI端口（圖3）。

圖3.恩智浦MCIMX6QP-SDB開(kāi)發(fā)平臺(tái)的多核處理器可以實(shí)時(shí)渲染和處理圖像數(shù)據(jù)，如開(kāi)發(fā)環(huán)境工具包和演示軟件所示。 （來(lái)源：恩智浦）

這些處理器本身可以編碼，以便在單個(gè)高分辨率立體快照幀中查看許多焊點(diǎn)的圓錐形狀，例如，根據(jù)需要應(yīng)用于印制電路板質(zhì)量檢測(cè)視頻處理。

此外，可以級(jí)聯(lián)多個(gè)處理器以擴(kuò)展功能。但是，當(dāng)軟件仍然太慢時(shí)，專(zhuān)用硬件本身或與這些高端類(lèi)型的處理器結(jié)合使用可以將性能提升到最高水平。

基于硬件的算法

流水線硬件邏輯序列發(fā)生器總是比基于軟件的處理器執(zhí)行得更快。管道填充可能需要幾個(gè)周期，但是一旦填滿(mǎn)，每個(gè)時(shí)鐘周期都會(huì)提供處理和消化的信息，而不是編碼方法可能需要的多個(gè)時(shí)鐘周期才能達(dá)到相同的交付水平。

雖然檢測(cè)機(jī)可能不需要基于硬件加速的超快速度，但許多應(yīng)用都會(huì)。與敵方野戰(zhàn)炮兵機(jī)器人作戰(zhàn)的野戰(zhàn)炮兵機(jī)器人只有在其目標(biāo)獲取，動(dòng)作控制和準(zhǔn)確性?xún)?yōu)越的情況下才能獲勝。最快，最簡(jiǎn)化的硬件將繼續(xù)存在。

現(xiàn)代邏輯陣列具有密度，速度和深度，以及內(nèi)存和外設(shè)接口，可以適應(yīng)非常復(fù)雜的任務(wù)，包括實(shí)時(shí)視頻。大規(guī)模邏輯陣列的多門(mén)級(jí)架構(gòu)在很大程度上已被查找表（LUT）邏輯元件所取代，這些邏輯元件能夠在單個(gè)同步時(shí)鐘周期內(nèi)輸出每個(gè)邏輯塊的結(jié)果。請(qǐng)記住，現(xiàn)代邏輯陣列的時(shí)鐘頻率可以達(dá)到GHz。

要使用FPGA開(kāi)發(fā)視頻處理算法，您需要使用實(shí)現(xiàn)目標(biāo)部件的平臺(tái)，處理邏輯代碼模式的上傳，提供對(duì)I/O的訪問(wèn)，具有干凈的時(shí)鐘源，并包括針對(duì)特定需求的良好混合片上硬宏，例如鎖相環(huán)（PLL）和高速存儲(chǔ)器接口。一旦您確定了制造商和零件系列，開(kāi)發(fā)平臺(tái)就會(huì)落實(shí)到位。

例如，采用National Instruments的Digilent Nexys視頻FPGA板，采用Xilinx高密度，高性能的Artix FPGA系列（圖4）。它們的范圍從1300到16,825個(gè)邏輯單元和45到740個(gè)DSP切片功能塊。一個(gè)關(guān)鍵特性是雙端口RAM速度高達(dá)509 MHz，允許通過(guò)獨(dú)立的邏輯階段進(jìn)行并發(fā)訪問(wèn)和修改。

圖4.使用開(kāi)發(fā)平臺(tái)（例如National Instruments的Digilent Nexys視頻FPGA板）大大簡(jiǎn)化了使用FPGA開(kāi)發(fā)流水線視頻算法，其中包括視頻處理輸入和輸出提供性能最高的高密度FPGA（在本例中來(lái)自Xilinx。）（來(lái)源：Nexys，一家美國(guó)國(guó)家儀器公司）

National Instruments主板采用低功耗1 V內(nèi)核，具有四通道功能SPI Flash和DDR3存儲(chǔ)器接口分別用于直接訪問(wèn)非易失性和易失性存儲(chǔ)器的外部池。 HDMI和DVI接口也包括使用最小化轉(zhuǎn)換差分信令（TMDS）標(biāo)準(zhǔn)。

雖然開(kāi)發(fā)平臺(tái)是在相對(duì)較快的時(shí)間范圍內(nèi)評(píng)估和設(shè)計(jì)風(fēng)險(xiǎn)相對(duì)較低的好方法，但最終，您我們想要開(kāi)發(fā)自己的主板并使用自己的測(cè)試和開(kāi)發(fā)平臺(tái)。幸運(yùn)的是，Xilinx Vivado工具套件受免費(fèi)的Webpack許可證支持，該許可證包括能夠創(chuàng)建Microblaze軟核處理器，可以在FPGA內(nèi)部用作流程引擎來(lái)指導(dǎo)和管理基于邏輯的流水線架構(gòu)的可編程性?？梢栽贜exys站點(diǎn)下載設(shè)計(jì)資源，示例項(xiàng)目，數(shù)據(jù)表和教程。

結(jié)論

采用低功耗，高性能半導(dǎo)體和正確的工具，架構(gòu)和算法，機(jī)器將在我們?cè)?jīng)認(rèn)為我們遠(yuǎn)遠(yuǎn)優(yōu)越的領(lǐng)域迅速超越人類(lèi)，例如模式識(shí)別，物體識(shí)別，深度感知，運(yùn)動(dòng)跟蹤以及測(cè)量相對(duì)速度甚至加速度的能力。

不只有這樣才能實(shí)現(xiàn)工業(yè)控制和醫(yī)療領(lǐng)域的新應(yīng)用，還能實(shí)現(xiàn)消費(fèi)電子，游戲，當(dāng)然還有機(jī)器人技術(shù)。