視覺處理技術(shù)一直是大家關(guān)注的熱點領(lǐng)域。在最近的Linley Processor Conference上一致的認為，隨著視覺傳感器收集的數(shù)據(jù)越來越多，以及模型的復(fù)雜，對硬件提出了更高的要求，處理必須實時完成，同時消耗的電量必須更低。本文只是就視覺處理芯片的ISP（Image Signal Processing）和CV（Compute Vision）兩部分進行介紹。

ISP的主要功能包括AE（自動曝光）、AF（自動對焦）、AWB（自動白平衡）、去除圖像噪聲、LSC(Lens Shading Correction)、BPC(Bad PixelCorrection)，最后把Raw Data保存起來，傳給videocodec或CV等。通過ISP可以得到更好的圖像效果，因此在智能手機特別是在高端手機上對ISP的要求很高，比如開始集成雙通道甚至三通道的ISP。一般來說ISP是集成在AP里面（對很多AP芯片廠商來說，這是差異化競爭的關(guān)鍵部分），但是隨著需求的變化也出現(xiàn)了獨立的ISP，主要原因是可以更靈活的配置，同時彌補及配合AP芯片內(nèi)ISP功能的不足。如采用Socionext，Altek，X-Chip、RK等公司的，如下圖結(jié)構(gòu)。

Rockchip的RK1608 Pre-ISP芯片，集成了2顆600MHZ主頻的CEVA-XM4，采用256MB內(nèi)存，支持3路輸入2路輸出，或4路輸入1路輸出。配合第三方的算法，可以實現(xiàn)拍照和錄像時的暗光增強，HDR（高動態(tài)范圍圖像），電子防抖，多幀降噪等預(yù)處理等。據(jù)RK的CMO在演講中提到其在HDR上的性能媲美Google的pixel Visual Core。其實RK早先推出過圖像處理SoC芯片RK1108，同樣內(nèi)嵌CEVAXM4@600MHZ，同時帶video codec，多功能語音處理能力，可見RK在視覺領(lǐng)域其實也算布局已久。

而CV是指對得到的圖像進行目標識別、跟蹤、測量等視覺行動。上文提到的Pixel Visual Core芯片是谷歌收購的一家公司的產(chǎn)品，被應(yīng)用在谷歌Pixel2和Pixel2 XL手機上，作為協(xié)處理器配合高通驍龍835芯片。該芯片的核心是8核IPU（ImageProcessing Unit圖像處理單元），每個IPU 都有512算術(shù)邏輯單元（ALU）。除了通過用Halide來進行圖像處理，用TensorFlow處理機器學(xué)習(xí)，Google還做了一個編譯器，來優(yōu)化硬件代碼，Google使得IPU的功能一場的強大?？梢娫撔酒闹饕δ芷鋵嵤荂V。同樣海思Kirin 970和AppleA11主芯片內(nèi)也嵌有CV模塊。

在ISP和CV上不得不提的是眾多的芯片IP廠商，IP廠商的出現(xiàn)降低了芯片廠商的開發(fā)門檻，但同時也有可能帶來同質(zhì)化的后果。目前在視覺處理芯片上最成功的IP廠商要數(shù)CEVA了，如在上圖中看到的CEVA的DSP XM系列 在Pre ISP，ISP及Post ISP上的應(yīng)用，同時也推出了用于CV的DNN加速軟硬件環(huán)境。自從高通的Hexagon DSP在深度學(xué)習(xí)上的應(yīng)用，普遍的看法是DSP加深度學(xué)習(xí)的HW Accelerator，在嵌入式視覺上應(yīng)用會更高效。CEVA-XM與CNN硬件加速器（最高可512個MAC單元）搭配使用，可實現(xiàn)Vision DSP和HW CNN的高效運行，目前已經(jīng)有大量的公司采用CEVA的IP開發(fā)ISP及CV的芯片。

Synopsys開發(fā)的EV6x Embedded Vision Processor采用的方式類似，它可以將1到4個CPU核與CNN Engine結(jié)合。CNN Engine的MACs數(shù)量可以從880增加到1760再到3520個，用臺積電16納米制造芯片，頻率1.28GHz，芯片的總MACs最高可以達到4.5萬億（相當于9 teraflops的性能）。

Cadence的Tensilica也推出了基于ISP和CV的DSP。Vision C5是一個神經(jīng)網(wǎng)絡(luò)DSP（NNDSP，數(shù)字信息處理器），它在一個內(nèi)核內(nèi)處理神經(jīng)網(wǎng)絡(luò)層，網(wǎng)絡(luò)層擁有1024個8位和512個16位MACs，每平方毫米芯片面積每秒可以完成1萬億次MACs（一個機器指令周期能實現(xiàn)乘加運算）運算。Vision C5有很強的擴展性，內(nèi)核可以增加到任意數(shù)量，擁有更強的性能，可以編程。Vision C5是用臺積電16納米制程制造的，頻率690MHz，與商用GPU相比，它能讓AlexNet的運行速度提高6倍，讓Inception V3提高9倍，讓ResNet50提高4.5倍。

而全球最大的IP公司ARM由于側(cè)重于移動端的CPU和GPUIP，在DSP上的布局稍慢。當然由于ISP對移動端來說至關(guān)重要，ARM也不會錯過。通過收購Apical獲得了ISP的Know How，三星某款型號芯片上采用了該技術(shù)。但目前來看ISP與Video Codec的協(xié)同會更多，在嵌入式CV上的布局有待進一步確認。

目前從視覺處理器SoC芯片產(chǎn)品來說，最知名的公司莫過于Movidius了，該公司已被Intel收購。Movidius的Myriad2VPU在很多領(lǐng)域被廣泛采用，包括大疆無人機，安防的?？岛痛笕A，以及在VR/AR等領(lǐng)域，實現(xiàn)圖像拼接、識別等AI功能。該款VPU采用12個SHAVE 128位SIMD矢量單元，適合低功耗高性能下的視覺和圖像算法，同時在Computational Imaging Hardware Accelerators部分集成了20多種圖形圖像的硬件加速算法，該芯片的時鐘只有300-600MHz，因此對于功率的要求很低。

另一家出名的3D深度及計算視覺芯片公司要數(shù)Inuitive（可用于AR/VR/MR等）了。其產(chǎn)品NU3000是谷歌Project Tango生態(tài)系統(tǒng)的一部分。開發(fā)人員能夠利用它來助力需要實時深度圖生成、映射、定位、導(dǎo)航和其它復(fù)雜信息處理算法的應(yīng)用。該芯片包含的功能強大，包含了Vision/Deep Learning Processor、ComputerVision Accelerators、Depth Processing Engine、Vision Processor等。需要指出的是，從應(yīng)用來看，Movidius和Inutive的芯片是為AI相關(guān)應(yīng)用而設(shè)計的，對畫質(zhì)的要求不需要那么高，ISP部分應(yīng)該做了簡化。