嵌入式計(jì)算機(jī)視覺系統(tǒng)與人類的視覺系統(tǒng)非常相似，對(duì)來自范圍廣泛的各種產(chǎn)品的視頻信息進(jìn)行分析和提取，執(zhí)行與人類視覺系統(tǒng)相同的視覺功能。

在智能手機(jī)、數(shù)碼相機(jī)和便攜式攝像機(jī)等嵌入式便攜產(chǎn)品中，必須在有限的尺寸、成本和功耗條件下提供較高的性能。新興的大容量嵌入式視覺產(chǎn)品市場包括汽車安全、監(jiān)控和游戲。計(jì)算機(jī)視覺算法識(shí)別場景中的物體，然后產(chǎn)生一個(gè)比其它圖像區(qū)域更重要的圖像區(qū)。例如，物體和面部檢測(cè)可用于增強(qiáng)視頻會(huì)議體驗(yàn)、公共安全檔案管理，以及基于內(nèi)容的檢索和其它許多方面。

可以進(jìn)行剪裁和尺寸調(diào)整，以便適當(dāng)?shù)貙D像放在面部中心。在本文中，我們提出了一種檢測(cè)數(shù)碼圖像中的面部、剪裁選定的主面部，并將調(diào)整尺寸到固定尺寸輸出圖像的應(yīng)用（參見圖1）。這種應(yīng)用可在單一圖像或在視頻流上使用，并且設(shè)計(jì)用于實(shí)時(shí)運(yùn)行。只要人們關(guān)注移動(dòng)產(chǎn)品上的實(shí)時(shí)面部檢測(cè)，為了實(shí)現(xiàn)實(shí)時(shí)吞吐量，就必須采取合適的執(zhí)行步驟。

本文提出了在可編程向量處理器上執(zhí)行實(shí)時(shí)面部檢測(cè)應(yīng)用的部署步驟，這些步驟可用于在任何移動(dòng)產(chǎn)品上執(zhí)行類似的計(jì)算機(jī)視覺算法，從這一點(diǎn)上說，它們是通用的。

圖1:CEVA面部檢測(cè)應(yīng)用

雖然靜態(tài)圖像處理消耗少量的帶寬和分配內(nèi)存，但是，視頻對(duì)于目前的存儲(chǔ)器系統(tǒng)的要求卻相當(dāng)嚴(yán)苛。

另一方面，由于檢測(cè)和區(qū)分物體需要更多的處理步驟，計(jì)算機(jī)視覺算法的存儲(chǔ)器系統(tǒng)設(shè)計(jì)極具挑戰(zhàn)性?？紤]19x19像素大小的面部圖形縮略圖。對(duì)于這種小圖，可能的灰度值組合就有256361種，需要極高的三維空間。由于面部圖像的復(fù)雜性，明確描述面部特征具有一定的難度；因此，建立了以統(tǒng)計(jì)模型為基礎(chǔ)的其它方法。這些方法將人臉區(qū)域視為一個(gè)圖形，通過瞄準(zhǔn)許多“面部”和“非面部”樣品構(gòu)建區(qū)分器，然后通過分析檢測(cè)區(qū)域的圖形來確定圖像是否包含人臉。

面部檢測(cè)算法必須克服的其它挑戰(zhàn)是：姿態(tài)（正面，45度，側(cè)面，倒置）、存在或缺乏結(jié)構(gòu)部分（胡須、眼鏡）、面部表情、遮擋（部分面部可能被其它物體遮?。D像取向（在相機(jī)光軸不同的旋轉(zhuǎn)方向，面部外表直接變化）及成像條件（照明、相機(jī)特點(diǎn)、分辨率）。

雖然文獻(xiàn)中已經(jīng)介紹了許多面部檢測(cè)算法，但是，只有少量算法能夠滿足移動(dòng)產(chǎn)品的實(shí)時(shí)限制性。雖然據(jù)報(bào)道，許多面部檢測(cè)算法能夠產(chǎn)生高的檢測(cè)率，但是，由于手機(jī)等移動(dòng)產(chǎn)品的計(jì)算和存儲(chǔ)器限制，很少有算法適合實(shí)時(shí)部署在這些移動(dòng)產(chǎn)品上。

通常，面部檢測(cè)算法的實(shí)時(shí)執(zhí)行在具有相對(duì)強(qiáng)大的CPU和較大存儲(chǔ)器尺寸的PC電腦上進(jìn)行。針對(duì)現(xiàn)有面部檢測(cè)產(chǎn)品的考察顯示，Viola和Jones在2001年推出的算法已經(jīng)被廣泛采納。這是一項(xiàng)突破性的工作，允許采用基于外表的方法來實(shí)時(shí)運(yùn)行，同時(shí)保持相同或更高的準(zhǔn)確度。

這種算法利用簡單特征的增強(qiáng)級(jí)聯(lián)，并且可以分為三個(gè)主要部分：（1）積分圖 - 用于快速特征評(píng)估的高效卷積；（2）使用用于特征選擇的Adaboost,并按照重要性順序?qū)λ鼈冞M(jìn)行篩選。每個(gè)特征可作為一個(gè)簡單的（弱）區(qū)分器使用；（3）使用Adaboost來了解將最不可能包含面部的區(qū)域?yàn)V出的級(jí)聯(lián)區(qū)分器（弱區(qū)分器的集合）。圖2是區(qū)分器級(jí)聯(lián)的示意圖。在圖像中，大多數(shù)子圖像并不是面部實(shí)例。

根據(jù)這種假設(shè)，我們可以利用更小的高效區(qū)分器在早期排除許多否定例，同時(shí)檢測(cè)出差不多所有的肯定例。在后期采用更復(fù)雜的區(qū)分器來審查疑難情況。

例：24級(jí)級(jí)聯(lián)區(qū)分器

一級(jí)2特征區(qū)分器=> 排除60%非面部，同時(shí)檢測(cè)100%面部

二級(jí)5特征區(qū)分器=> 排除80%非面部，同時(shí)檢測(cè)100%面部

3級(jí)、4級(jí)和5級(jí)20特征區(qū)分器

6級(jí)和7級(jí)50特征區(qū)分器

8級(jí)至12級(jí)100特征區(qū)分器

13級(jí)至24級(jí)200特征區(qū)分器

圖2:區(qū)分器的級(jí)聯(lián)

在面部檢測(cè)算法的第一級(jí)，利用被稱為積分圖像的中間表示，可以快速計(jì)算矩形特征。如圖3所示，點(diǎn)（x,y）的積分圖像值是上部和左部所有像素的總和。D內(nèi)像素的總和可以計(jì)算為4+1-（2+3）。

圖3:采用積分圖像對(duì)矩形特征進(jìn)行快速評(píng)估

為了在嵌入式產(chǎn)品上執(zhí)行實(shí)時(shí)面部檢測(cè)應(yīng)用，需要將指令級(jí)并行性和和數(shù)據(jù)級(jí)并行性相結(jié)合的高級(jí)并行性。超長指令字（VLIW）架構(gòu)能夠?qū)崿F(xiàn)高級(jí)并行指令處理，提供擴(kuò)展的并行性及低功耗。

單指令多數(shù)據(jù)（SIMD）架構(gòu)能夠在多數(shù)據(jù)元上運(yùn)行單指令，從而縮短代碼長度并提高性能。使用向量處理器架構(gòu)，可通過加法器/減法器并行數(shù)量因子，加速這些積分和的計(jì)算。如果向量寄存器可以加載16像素，而且這些像素可同時(shí)加到下一向量，加速因子是16.顯然，為處理器增加類似的向量處理單元可以使這一因子翻倍。

在下一面部檢測(cè)階段，在多個(gè)位置及按多種尺度掃描圖像。采用Adaboost強(qiáng)大的區(qū)分器（以矩形特征為基礎(chǔ)的區(qū)分器），以決定搜索窗口是否包含面部。再一次，向量處理器具有明顯的優(yōu)勢(shì) - 具有同時(shí)將多個(gè)位置數(shù)據(jù)與閾值進(jìn)行對(duì)比的能力。

假設(shè)在一個(gè)圖像中，大多數(shù)子圖像都不是面部例，可以提供的并行比較器越多，加速越快。

例如，如果架構(gòu)設(shè)計(jì)具有在1個(gè)循環(huán)中比較8個(gè)要素中的2個(gè)向量的能力，則排除16個(gè)位置的子圖像僅需1個(gè)循環(huán)。為了簡化數(shù)據(jù)加載，并且高效率地利用向量處理器加載/儲(chǔ)存，各個(gè)位置可以在空間上彼此接近。

為了獲得高度并行的代碼，架構(gòu)應(yīng)支持指令預(yù)測(cè)。這樣可以使如果-則-否則（if-then-else）構(gòu)造導(dǎo)致的分支用順序碼來代替，從而減少循環(huán)數(shù)和縮短代碼長度。允許條件執(zhí)行，有能力綜合各種條件，在控制代碼中實(shí)現(xiàn)更高的效率。此外，非順序碼，如分支和回路，經(jīng)設(shè)計(jì)具有零循環(huán)損失，而不需要煩瑣的技術(shù)，如動(dòng)態(tài)分支預(yù)測(cè)和增加RISC處理器功率損耗的推理執(zhí)行。

一個(gè)關(guān)鍵的應(yīng)用挑戰(zhàn)是存儲(chǔ)器帶寬，該應(yīng)用需要對(duì)每幀視頻流進(jìn)行掃描，以執(zhí)行面部檢測(cè)。由于其數(shù)據(jù)量較大，視頻流無法儲(chǔ)存在緊耦合存儲(chǔ)器（TCM）中。例如，一個(gè)YUV 4:2:0格式的高清幀占用了3MB數(shù)據(jù)存儲(chǔ)器。這種高存儲(chǔ)器帶寬導(dǎo)致功率損耗更高，并需要更昂貴的DDR存儲(chǔ)器，從而使材料清單成本更高。一個(gè)完美的解決方案是采用數(shù)據(jù)分塊（data tiling）來儲(chǔ)存像素，其中2維數(shù)據(jù)塊在單次突發(fā)中由DDR存取，極大地改善了DDR的效率。直接存儲(chǔ)器存?。?a href="http://www.www27dydycom.cn/tags/dma/" target="_blank">DMA）可以在外部存儲(chǔ)器和核心存儲(chǔ)器子系統(tǒng)之間傳輸數(shù)據(jù)。在最終面部檢測(cè)應(yīng)用階段，包含檢測(cè)面部的子圖像尺寸重新調(diào)整到固定尺寸輸出窗口。

當(dāng)圖像在多個(gè)比例掃描時(shí)，還在檢測(cè)階段使用圖像尺寸調(diào)整過程。尺寸調(diào)整算法廣泛應(yīng)用于圖像處理，用于視頻放大和縮小。面部檢測(cè)應(yīng)用中執(zhí)行的算法是雙三次算法。三次卷積插值根據(jù)離規(guī)定輸入坐標(biāo)最近的16個(gè)像素的加權(quán)平均值來確定灰度值，并將該值分配給輸出坐標(biāo)。首先，在一個(gè)方向（水平方向）上執(zhí)行四個(gè)一維三次卷積，然后，在垂直方向執(zhí)行更多個(gè)一維三次卷積。這意味著要執(zhí)行一個(gè)二維三次卷積，而所需的是一個(gè)一維三次卷積。

向量處理器內(nèi)核具有強(qiáng)大的加載-儲(chǔ)存能力，能夠快速、有效地存取數(shù)據(jù)是此類應(yīng)用的關(guān)鍵特征，其中算法在數(shù)據(jù)塊上運(yùn)行?？赏ㄟ^在單循環(huán)中從存儲(chǔ)器訪問2維存儲(chǔ)器塊來滿足尺寸調(diào)整算法優(yōu)化。

這一特點(diǎn)使處理器能夠有效地實(shí)現(xiàn)較高的存儲(chǔ)器帶寬，不需要載入不必要的數(shù)據(jù)或執(zhí)行數(shù)據(jù)操作的負(fù)荷計(jì)算單元。此外，能夠在數(shù)據(jù)存取期間轉(zhuǎn)置數(shù)據(jù)且不存在任何循環(huán)損失，這使得轉(zhuǎn)置的數(shù)據(jù)塊能夠在單一循環(huán)中存取，對(duì)于執(zhí)行水平過濾和垂直過濾非常切實(shí)可行。處理器的功率是其執(zhí)行強(qiáng)大卷積能力的結(jié)果，可以在單一循環(huán)中執(zhí)行并行的過濾器。

這里是一個(gè)有效解決方案的實(shí)例。在一個(gè)循環(huán)中加載4x8字節(jié)塊，然后每個(gè)迭代利用4個(gè)像素，在垂直方向執(zhí)行三次卷積。這4個(gè)像素預(yù)先安排在4個(gè)獨(dú)立的向量寄存器中，因此，我們能夠同時(shí)獲得8個(gè)結(jié)果。然后，同時(shí)對(duì)這些中間結(jié)果進(jìn)行準(zhǔn)確處理，但是，以轉(zhuǎn)置格式加載這些數(shù)據(jù)，從而完成水平過濾。為了保持結(jié)果準(zhǔn)確度，需要用結(jié)果四舍五入值（rounding value）和后移（post-shift）初始化。過濾器配置應(yīng)當(dāng)在不要求專門指令的條件下實(shí)現(xiàn)這些特征。

總之，這種并行向量處理解決方案核心可在加載/儲(chǔ)存單元操作和處理單元之間實(shí)現(xiàn)平衡。一般說來，數(shù)據(jù)帶寬限制及就功耗和晶片面積而言的處理單元的成本限制了執(zhí)行效率；不過，顯然，可以實(shí)現(xiàn)標(biāo)量處理器架構(gòu)的重要加速。

多媒體器件的多用途可編程HD視頻和圖像平臺(tái)

CEVA-MM3000是可以集成到SoC中的可擴(kuò)展的完全可編程多媒體平臺(tái)，以全軟件形式提供1080p 60fps視頻解碼和編碼、ISP功能和視覺應(yīng)用。該平臺(tái)由兩個(gè)專用處理器，即流處理器和向量處理器組成，集成到一個(gè)完整的多核系統(tǒng)中，包括本地存儲(chǔ)器和共享存儲(chǔ)器、外設(shè)、DMA和與外部總線的標(biāo)準(zhǔn)橋接。這款全面的多內(nèi)核平臺(tái)專為滿足移動(dòng)產(chǎn)品和其它消費(fèi)者電子產(chǎn)品的低功耗要求而設(shè)計(jì)。

向量處理器包括兩個(gè)獨(dú)立的向量處理單元（VPU）。VPU負(fù)責(zé)所有的向量計(jì)算，包括向量間運(yùn)算（利用單指令多數(shù)據(jù)流）和向量內(nèi)部運(yùn)算。向量間指令可在16個(gè)8位（字節(jié)）或8個(gè)16位（字）元上運(yùn)行，可以使用向量寄存器對(duì)，形成32位（雙字）元。VPU具有在單循環(huán)中完成6個(gè)線路（taps）中8個(gè)并行濾波器（taps）的能力。

雖然VPU是作為向量處理器的計(jì)算主力，但是，向量加載和儲(chǔ)存單元（VLSU）作為從數(shù)據(jù)存儲(chǔ)器子系統(tǒng)向向量處理器及從向量處理器向數(shù)據(jù)存儲(chǔ)器子系統(tǒng)傳輸數(shù)據(jù)的工具。VLSU具有適用于加載和儲(chǔ)存操作的256位帶寬，并支持不對(duì)齊（non-aligned）存取。VLSU備有在單循環(huán)中存取二維數(shù)據(jù)塊的能力，并支持不同的數(shù)據(jù)塊尺寸。

圖4:加載4x4像素塊

為了簡化VPU任務(wù)，在讀/寫向量寄存器時(shí)，VLSU可以靈活地操作數(shù)據(jù)結(jié)構(gòu)。在數(shù)據(jù)存取期間，數(shù)據(jù)塊可以轉(zhuǎn)置，而不存在任何循環(huán)損失，能夠在單循環(huán)中實(shí)現(xiàn)轉(zhuǎn)置數(shù)據(jù)塊的存取。轉(zhuǎn)置功能可以動(dòng)態(tài)設(shè)定或清除。采用這種方式，水平過濾器和垂直過濾器可以重復(fù)使用相同的功能，從而節(jié)省每個(gè)過濾器的開發(fā)和調(diào)試時(shí)間，同時(shí)縮小程序存儲(chǔ)器的占位面積。

結(jié)論

對(duì)于采用CEVA-MM3000平臺(tái)的消費(fèi)產(chǎn)品來說，嵌入式視覺應(yīng)用是有效地執(zhí)行算法多樣性的一個(gè)實(shí)例，例如具備裁剪和尺寸調(diào)整功能的面部檢測(cè)。根據(jù)預(yù)測(cè)，將來類似的和更復(fù)雜的應(yīng)用需求將會(huì)增長，所有這些應(yīng)用都可以利用CEVA-MM3000架構(gòu)的可編程性和可擴(kuò)展性。