當(dāng)人們討論深度神經(jīng)網(wǎng)絡(luò)(DNN)、深度學(xué)習(xí)和嵌入式視覺時，通常會先討論如何定義網(wǎng)絡(luò)架構(gòu)或結(jié)構(gòu)。不久之前，我們還只能支持線性網(wǎng)絡(luò)，在輸入和輸出級之間的層數(shù)非常有限。相比之下，今天的網(wǎng)絡(luò)技術(shù)，如谷歌的TensorFlow，支持多個輸入、多個輸出以及每級多個層。

圖1：線性網(wǎng)絡(luò)、多輸入&多輸出以及每級多個層

TensorFlow的強(qiáng)大令人難以置信，但人工定義TensorFlow架構(gòu)類似于用匯編語言編寫一個復(fù)雜的軟件。因此Bonsai等公司開始研究提升抽象等級，幫助更多的開發(fā)人員在他們的工作中融合更加豐富的智能模型。一旦定義好網(wǎng)絡(luò)結(jié)構(gòu)，下一步就是訓(xùn)練這種結(jié)構(gòu)，并用32位浮點系數(shù)(“加權(quán)”)產(chǎn)生一個新的版本。假設(shè)我們在創(chuàng)建某類嵌入式視覺圖像處理應(yīng)用，這個過程——可能會用到數(shù)十萬甚至數(shù)百萬幅分類照片——可以在高層進(jìn)行描述，如圖2所示。

圖2：創(chuàng)建嵌入式視覺圖像處理應(yīng)用

網(wǎng)絡(luò)經(jīng)過訓(xùn)練之后，下一步就是準(zhǔn)備部署網(wǎng)絡(luò)了，這與目標(biāo)平臺有關(guān)。假設(shè)這是一個性能受限的、具有功耗意識的部署平臺，那么浮點網(wǎng)絡(luò)需要被轉(zhuǎn)換為定點網(wǎng)絡(luò)，如圖3所示(雖然16位定點實現(xiàn)很常見，但低至8位定點的實現(xiàn)也有大量成功的案例)。

圖3：浮點網(wǎng)絡(luò)轉(zhuǎn)換為定點網(wǎng)絡(luò)

CEVA正在做一些非常有意思的研發(fā)工作，包括一種網(wǎng)絡(luò)產(chǎn)生器。這種網(wǎng)絡(luò)產(chǎn)生器采用基于Caffe或TenserFlow(任何形式)的網(wǎng)絡(luò)浮點表示法，并將其轉(zhuǎn)換為小型快速高能效的定點網(wǎng)絡(luò)，目標(biāo)應(yīng)用是CEVA-XM4智能視覺處理器。

投入實際使用之前的最后一步是將網(wǎng)絡(luò)部署進(jìn)目標(biāo)系統(tǒng)，目標(biāo)系統(tǒng)可以是MCU、FPGA或基于SoC的系統(tǒng)，且可作為目標(biāo)檢測和識別系統(tǒng)的一部分。

圖4：將網(wǎng)絡(luò)部署進(jìn)目標(biāo)系統(tǒng)

目前為止情況一切都很好，但是……

還有巨大的改進(jìn)空間

與大多數(shù)事情一樣，如果只是隨便說說，那么上面的描述聽起來也不錯。然而，在一線搭建實際系統(tǒng)的開發(fā)人員知道，還有許多事情要考慮。

就拿第一步訓(xùn)練網(wǎng)絡(luò)所用到的圖像來說，用什么設(shè)備來捕獲這些圖像？在物理范疇，我們可能會討論鏡頭、圖像傳感器和模擬前端(AFE)等東西。在此之上，我們必須考慮圖像處理管線(可以用軟件函數(shù)實現(xiàn)，或使用硬件加速器)中采用的所有算法，比如增益控制、白平衡、噪聲抑制和銳化、顏色空間轉(zhuǎn)換、插值、壓縮……等等。

當(dāng)然，所有這一切也適合用于捕獲和處理圖像的任何后端攝像系統(tǒng)，這些圖像最后饋入人工神經(jīng)網(wǎng)絡(luò)，實現(xiàn)檢測、識別、分類和其它用途。

越來越多的公司將攝像機(jī)和智能視覺技術(shù)集成進(jìn)產(chǎn)品中，系統(tǒng)的圖像質(zhì)量和精度是體現(xiàn)其價值的核心。除了鏡頭和傳感器等物理組件，一個典型的圖像處理管線可能會達(dá)到10級，每級可能有大約25個調(diào)整參數(shù)。在光學(xué)、傳感器、處理器和算法組合之間優(yōu)化這些系統(tǒng)需要付出很大的努力，而且每個產(chǎn)品和衍生品都要完成這一辛苦的工作，因此可能會限制待評估的替代配置的數(shù)量。

為了解決這一問題，Algolux公司以其機(jī)器學(xué)習(xí)解算器為基礎(chǔ)設(shè)計了一種最優(yōu)化的平臺架構(gòu)，名為CRISP-ML(運(yùn)算型可重配置圖像信號平臺)。這種架構(gòu)可以根據(jù)標(biāo)準(zhǔn)圖像測試卡、加有標(biāo)簽的訓(xùn)練圖像和關(guān)鍵性能指示器(KPI)目標(biāo)調(diào)整成像和計算機(jī)視覺算法，在規(guī)定的成像條件下取得理想的圖像質(zhì)量、視覺精度、功耗和性能目標(biāo)。這種方案可以極大地減少優(yōu)化一個新視覺系統(tǒng)所需的時間和成本，將專家資源留給價值更高的任務(wù)。

當(dāng)我第一次聽到這一切時，第一反應(yīng)就是Algolux的員工正在使用基因算法玩“魔術(shù)”。不過，Algolux公司首席技術(shù)官Paul Green表示，他們其實并沒有使用基因算法，而是使用“有指導(dǎo)性的隨機(jī)搜索與基于微積分的搜索的一種組合”。哇，這才真正激起了我的興趣——“真是個壞小子！”。我期望在不遠(yuǎn)的將來能夠?qū)W習(xí)到更多的內(nèi)容，并寫出更多的報道來。
編輯：hfy