我們之前討論過，訓練過程是機器學習的第一階段，而推理則緊隨其后，為機器學習的第二階段。在訓練階段，算法會生成新模型或把預訓練模型重新調(diào)整用于特定應用，并幫助模型學習其參數(shù)。在推理階段，會根據(jù)學習得到的參數(shù)對新數(shù)據(jù)進行預估和決策。

學習需要大量的時間、計算能力和電力，相反，推理階段需要較少的處理能力，并且也消耗較少的功率。但是，正如之前部分“解析人工智能：訓練”所述，對于物聯(lián)網(wǎng)設備，中央云中的傳統(tǒng)計算方式可能會占用大量資源。處在網(wǎng)絡邊緣的每個物聯(lián)網(wǎng)節(jié)點都收集大量數(shù)據(jù)，從而使邊緣到云端（以及相反從云端到邊緣）的數(shù)據(jù)傳輸既昂貴又緩慢?！斑吘売嬎恪笨梢灾苯訄?zhí)行大多數(shù)計算，并且僅在完全必要時才將相關(guān)信息傳輸回云端（反之亦然），從而無需依靠基于云的服務器來進行所有處理。雖然在網(wǎng)絡邊緣進行計算可以減少數(shù)據(jù)傳輸成本和時間，但該模型也具有某些缺點。例如，網(wǎng)絡邊緣的物聯(lián)網(wǎng)設備需要大量的處理能力來滿足學習和推理需求，這與物聯(lián)網(wǎng)設備要求的高能效原則背道而馳。這正是AI邊緣計算加速器能夠解決的問題。

AI加速器

基于軟件和硬件的AI加速器都可加快機器學習。硬件加速可以針對訓練、推理或兩者兼有。在某些情況下，硬件加速器可以降低功耗。而在其他情況下，硬件加速器可以提高處理能力。目前有幾種主要類型的芯片或處理器可用于硬件加速，這些包括中央處理器（CPU）、圖形處理器（GPU）、現(xiàn)場可編程門陣列（FPGA）、片上系統(tǒng)（SoC）、專用集成電路（ASIC）、視覺處理器（VPC）和神經(jīng)形態(tài)（neuromorphic）集成電路。除了硬件加速器之外，市場上的解決方案還包括基于軟件的方式，例如機器學習框架可用于改善AI軟件開發(fā)和優(yōu)化系統(tǒng)性能。

CPU和GPU

CPU是AI傳統(tǒng)上使用的硬件加速器。盡管CPU一般被設計為通用型器件，但它們通常不足以支持模型生成和推理所需的大量計算。因此，包括ARM（通過DynamIQ產(chǎn)品）和三星（通過Exynos 9系列）等公司已經(jīng)開始創(chuàng)建AI專用芯片。在ARM和三星等公司選擇繼續(xù)使用AI專用CPU的同時，其他公司則正在轉(zhuǎn)向GPU。

GPU起源于視頻游戲行業(yè)，專為處理海量數(shù)據(jù)集而構(gòu)建，非常適合用于機器學習。由于GPU具有比CPU更多的單片處理單元和更高的吞吐量，以及更高的并行處理能力，因此能夠顯著減少計算時間。此外，GPU的單個處理單元比CPU所使用的多個單元更加小巧，從而使GPU更適合于需要小巧和靈活解決方案的空間受限物聯(lián)網(wǎng)設備?？商峁〢I專用GPU的公司包括AMD（Radeon Instinct）、NEC（SX-Aurora）、NVIDIA（DGX）和高通（Adreno）等。

FPGA

盡管CPU和GPU擁有相當大的處理能力，并且對于加速學習和推理非常有效，但它們卻需要花費大量時間和能量在內(nèi)存和處理之間傳輸數(shù)據(jù)。由于CPU和GPU的電路密度相當高，因此經(jīng)常會由于過熱而導致系統(tǒng)故障。對于位于遠端的物聯(lián)網(wǎng)設備，高能耗和潛在系統(tǒng)故障是難以接受的缺點，需要找到一種方法可以將某些任務轉(zhuǎn)移到更節(jié)能的硬件上，這一點非常必要。

基于可編程邏輯的FPGA 是一種能夠在生產(chǎn)后由客戶或設計人員現(xiàn)場重新配置的一種器件。雖然 FPGA 通常不如 CPU 或 GPU 強大，但通過芯片自身內(nèi)部計算而不是數(shù)據(jù)傳輸，能夠為某些計算（如乘法、加法、集分、微分和指數(shù)等）提供快速處理。盡管FPGA提供了更大的靈活性，但它往往相當笨重，因此要實現(xiàn)物聯(lián)網(wǎng)設備的小型化是此類芯片的一大挑戰(zhàn)。能夠提供面向AI應用芯片的主要公司包括NVIDIA（TensorRT）和Xilinx。此外，微軟也正在使用FPGA芯片來加速推理，英特爾目前正在擴展其FPGA產(chǎn)品組合。?

SoC

SoC包含有多個電子器件的組合（微處理器、微控制器、數(shù)字信號處理器、片上存儲器、硬件加速器等）。由于多個組件集成到單一半導體基底，SoC比微控制器芯片功能更加強大。在智能手機中，SoC可以集成視頻、音頻和圖像處理功能。ARM已經(jīng)開發(fā)了機器學習處理器和對象檢測處理器，這些處理器能夠在未來集成到SoC中。隸屬華為集團的海思（HiSilicon）半導體部已經(jīng)得到ARM的IP授權(quán)，以創(chuàng)建最初用于手機和平板電腦的SoC。此外，HiSilicon正在為華為制造升騰芯片（Ascend）。SoC領域的另一大廠商是Arteris，該公司正在開發(fā)一種片上網(wǎng)絡互連交換矩陣技術(shù)（FlexNoC），許多移動和無線公司都在使用該技術(shù)。由于Arteris在知識產(chǎn)權(quán)方面占據(jù)主導地位，因此對該市場有更宏觀的掌握。可能很快會有其他公司在AI SoC市場發(fā)揮重要作用，這些包括英特爾（通過其Movidius子公司）、恩智浦、瑞薩、東芝、德州儀器和意法半導體等。

ASIC、VPU和神經(jīng)形態(tài)芯片

ASIC 專為加速深度學習算法中的訓練而構(gòu)建，包括 Google 的Edge TPU和英特爾的 Nervana都是此類ASIC芯片。視覺處理單元（VPU）旨在加速機器視覺任務，并運行卷積神經(jīng)網(wǎng)絡（CNN）等機器視覺算法，因此 VPU 視頻處理功能不同于 GPU，GPU不提供相同類型的專用任務處理。英特爾的Movidius Myriad芯片、Google的Pixel視覺內(nèi)核、微軟的HoloLens、Inuitive的NU系列和Mobileye的EyeQ等都是一些視覺處理單元例證。

無論是數(shù)字芯片還是模擬芯片都各有不足：數(shù)字電路精準，但耗能巨大，而模擬電路則具有低延遲和低能耗，但精度不夠。因此，研究人員正在尋找一些新方法，結(jié)合數(shù)字和模擬芯片的技術(shù)優(yōu)勢，同時回避兩者的弱點。受人腦的啟發(fā)，神經(jīng)形態(tài)芯片的設計在本質(zhì)上采用數(shù)字架構(gòu)，但采用模擬電路進行混合信號處理。IBM 的 TrueNorth 是一個神經(jīng)形態(tài)處理器，面向傳感器數(shù)據(jù)模式識別和智能等應用。此外，哥倫比亞大學、斯坦福大學的"硅片中的大腦（Brains in Silicon）"項目以及DARPA支持的密歇根大學IC實驗室都在從各個方面研究神經(jīng)形態(tài)系統(tǒng)的實現(xiàn)。

機器學習框架

AI 加速器還包括軟件。例如，機器學習框架可以是接口、程序庫或工具，有助于降低與機器學習相關(guān)的復雜性，以便開發(fā)人員能夠更快、更輕松地構(gòu)建模型并優(yōu)化性能。此類框架采用如Python 或 Java等特定語言構(gòu)建，一些深受市場歡迎的開源機器學習框架來自亞馬遜（AWS）、Apache、Caffe2、Keras、Theano、微軟（Azure）和Google（TensorFlow）等廠商。此外，一些公司還提供內(nèi)部平臺。例如，英特爾的 OpenVINO 工具包是一個軟件和硬件加速器，可優(yōu)化CNN模型的推理。另外，高通的Snapdragon是一個移動平臺和軟件加速器，IBM則有Watson機器學習加速器平臺，而華為最近推出了MindSpore AI框架。

AI?起步

貿(mào)澤電子（Mouser）現(xiàn)在可提供各種硬件，能夠幫助客戶構(gòu)建實現(xiàn)AI的初始模塊。英特爾的即插即用Neural?Compute Stick 2??可以幫助工程師盡早實現(xiàn)對深度神經(jīng)網(wǎng)絡進行原型設計，它采用公司自身的?Movidius X VPU?提供極具吸引力的能效和性能組合，能夠達到4TOPS。高度緊湊的AAEON UP AI?核心處理模塊基于小型?PCI?Express格式，主要面向工業(yè)計算。它還配備了英特爾Movidius VPU，其中采用?Myriad 2 2450，具有?512Mb DDR?內(nèi)存，以及?12?個VUW?可編程SHAVE內(nèi)核和專用視覺加速器。Gumstix的?Aerocore 2?板?采用陣列式NVIDIA Jetson TX1和TX2 CUDA內(nèi)核，使其具有強大的并行處理能力，還包括ARM Cortex-M4微控制器和眾多外設，特別適用于物體識別、生產(chǎn)線檢測等多種機器視覺應用。

展望未來

目前NVIDIA在工業(yè)AI應用中仍然占據(jù)主導地位，大多數(shù)新加入廠商都專注于IoT AI領域。GreenWave?和Reduced Energy Microsystems處于低功耗芯片領域，而?Mythic?和Syntiant正在開發(fā)基于電池供電的處理器。與上述情況類似，Wiliot正在制造一種藍牙芯片，可由周圍環(huán)境中的無線電輻射供電。在巨大的并行數(shù)據(jù)處理市場，有Vathys、Graphcore、Cerebras和Wave Computing等廠商。與此同時，Hailo Technologies?和Horizon Robotics等公司正在開發(fā)用于自動駕駛汽車的專用芯片。在深度學習領域，BrainChip已經(jīng)成功開發(fā)出第一個尖峰式（spiking）神經(jīng)處理器，Thinci推出了流式圖形處理器，Gyrfalcon?正在開發(fā)一種具備專有AI處理內(nèi)存（APiM）技術(shù)的深度學習處理器。最后，在Groq，曾經(jīng)設計Google?TPU的前Google公司設計師正在開發(fā)一種超低延遲芯片。隨著在機器學習領域取得驚人的進展，物聯(lián)網(wǎng)邊緣計算仍存在許多技術(shù)挑戰(zhàn)，軟件和硬件開發(fā)人員都在不斷努力，以便在卓越的處理性能和更高的能效等方面實現(xiàn)最佳的平衡。