視頻處理。計算機(jī)視覺。
當(dāng)然可以利用CPU處理這些任務(wù),但是有了更加強(qiáng)大高效的Hexagon? 680 DSP在手,還需要這樣嗎?
過去幾年,開發(fā)人員一直在利用 Hexagon SDK,量身定制 DSP,處理音頻、圖像與計算 。在 HotChips 半導(dǎo)體會議上,我們揭開了即將上市的 Snapdragon 820 處理器中全新 Hexagon DSP 的部分面紗。這款 Hexagon 680 DSP ,集成寬幅向量處理 Hexagon 向量擴(kuò)展(HVX)核心,充分利用新的DSP 應(yīng)用實(shí)例。
集成 HVX 意味著現(xiàn)在可以將CPU從處理視頻與攝像中解放出來,轉(zhuǎn)由 Hexagon DSP 以較低功耗快速處理圖像。我們已經(jīng)發(fā)布了 Hexagon SDK 2.0 HVX 擴(kuò)展,你可以在管線中加入自己的算法,利用DSP進(jìn)行處理。
全新寬幅向量處理HVX核心照像、計算機(jī)視覺(CV)與視頻耗電量巨大,迫切需要從CPU卸載,以減輕負(fù)擔(dān)。Hexagon 設(shè)計人員利用 HVX 核心,加入寬幅向量處理,實(shí)現(xiàn)高性能與低功耗。
你可以在三個主要方面利用 HVX:
1.視頻處理——利用你的算法,提升解碼視頻輸出質(zhì)量。SDK 擴(kuò)展補(bǔ)充,提供框架,允許開發(fā)人員創(chuàng)建端對端應(yīng)用,處理解碼視頻幀。我們提供的擴(kuò)展示例專注兩個方面:
?Android 端視頻處理應(yīng)用,可以作為 Android 多媒體管線與其它Android視頻應(yīng)用相結(jié)合的出發(fā)點(diǎn)。
?Hexagon 端視頻處理算法,可以作為創(chuàng)建在Hexagon和HVX運(yùn)行的算法的出發(fā)點(diǎn)。
2.相機(jī)后處理與CV——我們在擴(kuò)展中包含了一些示例,包括一個端對端.apk ,實(shí)時接收相機(jī)輸入,運(yùn)行CV處理,并發(fā)送給顯示屏。我們提供了一個簡單算法動態(tài)應(yīng)用,你可以替換成你希望在照相機(jī)預(yù)覽路徑運(yùn)行的其它算法。
3.相機(jī)播放——傳感器與攝像前端直接連接,HVX 還包括針對傳感器、Hexagon DSP與攝像前端的硬件協(xié)議接口。你可以借助這個接口利用HVX,在傳感器與攝像前端硬件引入DSP 處理(例如,利用非標(biāo)準(zhǔn)傳感器或執(zhí)行像素矯正)。SDK 中有一個例子告訴你如何創(chuàng)建所需的Hexagon庫,并連接Android攝像機(jī)管線。
所有三個應(yīng)用實(shí)例中,你的算法再也不必在軟件中緩慢運(yùn)行了。而且,你可以將DSP定制服務(wù)更輕松地集成于OEM創(chuàng)建流程。
總之,如果管線其余部分已經(jīng)就緒,擴(kuò)展是開發(fā)人員增加自己后處理算法的正式方法。以前也可以利用Hexagon處理視頻、CV、照相,但是,HVX 更勝一籌,可以處理更大尺寸與分辨率的圖像,并能更快地運(yùn)行算法(見下表)。
進(jìn)一步利用 Hexagon SDK 2.0 HVX 擴(kuò)展
準(zhǔn)備好在HVX上嘗試你自己的圖像處理算法了嗎?搭載Snapdragon 820的設(shè)備將很快面世;同時,你可以在Hexagon SDK模擬器中測試你創(chuàng)建的算法。
敬請留意不久發(fā)布的硬件:全新移動開發(fā)平臺(MDP)與全新DragonBoard開發(fā)工具包,很快就可在Intrinsyc購買。
如果你具有Hexagon DSP開發(fā)經(jīng)驗(yàn),記得獲取 Hexagon SDK 2.0 HVX 擴(kuò)展方面的新聞。如果沒有,請申請獲得Hexagon SDK。讓你的圖像處理從ARM卸載,由DSP接手。
?更多Qualcomm開發(fā)內(nèi)容請詳見:Qualcomm開發(fā)者社區(qū)。
評論