對(duì)于開發(fā)人員而言，機(jī)器學(xué)習(xí)（ML）硬件和軟件的進(jìn)步有望將這些復(fù)雜的方法帶入物聯(lián)網(wǎng)（IoT）邊緣設(shè)備。然而，隨著這一研究領(lǐng)域的發(fā)展，開發(fā)人員可以輕松地發(fā)現(xiàn)自己沉浸在這些技術(shù)背后的深層理論中，而不是專注于當(dāng)前可用的解決方案，以幫助他們將基于ML的設(shè)計(jì)推向市場(chǎng)。

本文簡(jiǎn)要回顧了ML的目標(biāo)和能力，ML開發(fā)周期，以及基本完全連接神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)（CNN）的體系結(jié)構(gòu)。然后討論了支持主流ML應(yīng)用程序的框架，庫(kù)和驅(qū)動(dòng)程序。

最后展示了通用處理器和FPGA如何作為實(shí)現(xiàn)機(jī)器學(xué)習(xí)算法的硬件平臺(tái)。

ML簡(jiǎn)介

人工智能（AI）的一個(gè)子集，ML涵蓋了廣泛的方法和算法。作為一種強(qiáng)大的數(shù)據(jù)分類技術(shù)或在數(shù)據(jù)流中尋找感興趣的模式，它迅速受到關(guān)注。已經(jīng)出現(xiàn)了廣泛的算法來(lái)解決特定類型的問題。

例如，聚類技術(shù)和其他無(wú)監(jiān)督學(xué)習(xí)方法可以揭示大型數(shù)據(jù)集中不同類別的數(shù)據(jù)。強(qiáng)化學(xué)習(xí)提供了能夠探索未知狀態(tài)并選擇替代解決方案的方法，目的是學(xué)習(xí)識(shí)別這些狀態(tài)并在將來(lái)適當(dāng)?shù)刈龀鲰憫?yīng)。最后，監(jiān)督學(xué)習(xí)方法使用表示所需輸出的預(yù)備輸入數(shù)據(jù)來(lái)教授算法如何對(duì)新輸入數(shù)據(jù)進(jìn)行分類。

監(jiān)督學(xué)習(xí)方法通過(guò)使用精心準(zhǔn)備的訓(xùn)練集來(lái)獲得他們的名字，這些訓(xùn)練集將輸入數(shù)據(jù)配對(duì)（稱為特征向量），具有預(yù)期輸出（稱為標(biāo)簽），以訓(xùn)練算法模型，以便將來(lái)對(duì)未標(biāo)記的輸入數(shù)據(jù)模式進(jìn)行分類。例如，開發(fā)人員可能有幾個(gè)特征向量，包括不同的采樣傳感器值集合，這些值都代表某些工業(yè)過(guò)程中的安全條件，以及其他特征向量及其自身的傳感器樣本都表示不安全的情況。

監(jiān)督學(xué)習(xí)方法可以使用這些代表性特征向量及其已知的安全/不安全標(biāo)簽來(lái)訓(xùn)練算法，以基于新的傳感器值識(shí)別其他安全和不安全的條件。

神經(jīng)網(wǎng)絡(luò)

有監(jiān)督的學(xué)習(xí)方法，神經(jīng)網(wǎng)絡(luò)算法已迅速獲得其準(zhǔn)確分類數(shù)據(jù)的能力?；旧窠?jīng)網(wǎng)絡(luò)有三個(gè)階段（圖1）。第一個(gè)是輸入層，其包括輸入特征向量中的每個(gè)特征的輸入。第二個(gè)是隱藏的一些神經(jīng)元層，它們以不同的方式轉(zhuǎn)換這些特征。第三層是輸出層，其將該變換的結(jié)果呈現(xiàn)為一組概率，輸入特征向量可以用訓(xùn)練期間提供的標(biāo)簽之一進(jìn)行分類。

圖1：神經(jīng)網(wǎng)絡(luò)包括輸入層，一個(gè)或多個(gè)隱藏轉(zhuǎn)換層，以及呈現(xiàn)該轉(zhuǎn)換結(jié)果的輸出層。 （圖像來(lái)源：Digi-Key Electronics）

此外，一層神經(jīng)元與后續(xù)層神經(jīng)元之間的每個(gè)連接都有一個(gè)相關(guān)的權(quán)重，有效地代表了該特定連接的相對(duì)強(qiáng)度。

在完全連接的神經(jīng)網(wǎng)絡(luò)中，每個(gè)i輸入神經(jīng)元呈現(xiàn)其特征值xi，通過(guò)與下一個(gè)隱藏層中的每個(gè)目標(biāo)神經(jīng)元aj相關(guān)聯(lián)的加權(quán)因子wij進(jìn)行縮放。每個(gè)隱藏層神經(jīng)元aj對(duì)加權(quán)輸入w1jx1 + w2jx2 + ... + wnjxn（和一些偏差值）求和，然后應(yīng)用一些激活函數(shù)，該函數(shù)縮放或以其他方式減少呈現(xiàn)給附加到其輸出的神經(jīng)元的求和結(jié)果。此過(guò)程通過(guò)其他隱藏層和最終輸出層重復(fù)，其中該減少的值表示輸入要素向量[x1，x2，... xn]可被分類為標(biāo)簽y1或y2的概率（對(duì)于圖1所示的簡(jiǎn)單網(wǎng)絡(luò)）訓(xùn)練過(guò)程通過(guò)調(diào)整權(quán)重和偏差值（統(tǒng)稱為模型的參數(shù)）來(lái)改進(jìn)模型以實(shí)現(xiàn)訓(xùn)練集向量與其相關(guān)標(biāo)簽之間的最佳匹配。通常以一組隨機(jī)模型參數(shù)開始，訓(xùn)練算法通過(guò)模型重復(fù)傳遞訓(xùn)練數(shù)據(jù)集。對(duì)于每個(gè)完整的傳遞或紀(jì)元，訓(xùn)練算法試圖減少預(yù)測(cè)標(biāo)簽和已知標(biāo)簽之間的差異 - 在每個(gè)時(shí)期由某種類型的特定損失函數(shù)計(jì)算的差異。

表示為函數(shù)在模型參數(shù)中，損失函數(shù)描述了與這些參數(shù)相關(guān)聯(lián)的多維空間中的表面。因此，經(jīng)過(guò)良好調(diào)整的訓(xùn)練過(guò)程基本上可以找到從起點(diǎn)（初始隨機(jī)模型參數(shù)）到多維參數(shù)空間上最小點(diǎn)的最快路徑（圖2）。

圖2：神經(jīng)網(wǎng)絡(luò)訓(xùn)練尋求找到最小化損失函數(shù)的參數(shù)集（預(yù)期輸出和計(jì)算輸出之間的差異），使用梯度下降找到最小損失點(diǎn)的最快路徑。 （圖片來(lái)源：Mathworks）

在任何曲線上，從任何特定點(diǎn)到最小點(diǎn)的變化方向和速率當(dāng)然由曲線上該點(diǎn)的切線斜率來(lái)描述，即其導(dǎo)數(shù)（或其中的偏導(dǎo)數(shù)）多維參數(shù)空間）。例如，對(duì)于在多維表面上具有值w和正偏導(dǎo)數(shù)p的某個(gè)假設(shè)參數(shù)，可以通過(guò)設(shè)置w = w-αp將參數(shù)移向最小值，其中α是一個(gè)術(shù)語(yǔ)，稱為學(xué)習(xí)率，用于幫助避免p太大以至于wp單獨(dú)跳過(guò)最小值而永不收斂的情況。

神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法使用這種技術(shù)，稱為梯度下降或其變化，在計(jì)算后修改模型參數(shù)每個(gè)時(shí)代的損失函數(shù)。通過(guò)計(jì)算每個(gè)時(shí)期的最小損失的最短路徑，訓(xùn)練算法最終可以找到傳遞最小損失的特定模型參數(shù)，或者足夠接近最小損失的模型參數(shù)，通過(guò)附加歷元的迭代將對(duì)結(jié)果幾乎沒有增加。/p>

復(fù)雜神經(jīng)網(wǎng)絡(luò)

這種通用訓(xùn)練過(guò)程在概念上適用于任何神經(jīng)網(wǎng)絡(luò)，無(wú)論它是否類似于圖1所示的基本架構(gòu)，在深度神經(jīng)網(wǎng)絡(luò)（DNN）設(shè)計(jì)中增加了許多隱藏層，或使用完全不同的架構(gòu)。開發(fā)人員可以找到任意數(shù)量的神經(jīng)網(wǎng)絡(luò)架構(gòu)，旨在解決特定的應(yīng)用問題。其中，CNN架構(gòu)已成為圖像識(shí)別的首選方法。

CNN設(shè)計(jì)用于需要高級(jí)識(shí)別圖像，手寫和其他復(fù)雜表示的應(yīng)用，CNN使用管道方法學(xué)習(xí)重要特征在所提供的輸入中，并在其輸出處對(duì)這些特征進(jìn)行分類（圖3）。

圖3：CNN結(jié)合了一個(gè)功能學(xué)習(xí)階段，包括通過(guò)多個(gè)感受域過(guò)濾圖像的轉(zhuǎn)換，以及將這些結(jié)果重新組合成分類階段的分類階段。最終輸出層。 （圖像來(lái)源：Mathworks）

CNN以用于預(yù)處理圖像的輸入層開始。特征學(xué)習(xí)階段通常包括多層卷積，整流線性單元（ReLU）和池化功能，這些功能組合起來(lái)識(shí)別圖像的邊緣，顏色分組和其他獨(dú)特元素等特征。

執(zhí)行在這種識(shí)別中，卷積層用多組神經(jīng)元檢查圖像的輸入體積，稱為深度列，它們都連接到輸入圖像中的相同局部區(qū)域（它們的感受野）并接收其所有顏色通道。為了產(chǎn)生卷積，這組神經(jīng)元（稱為濾波器或內(nèi)核）將其感知場(chǎng)滑過(guò)圖像。在此過(guò)程中，內(nèi)核計(jì)算前面描述的相同類型的輸入加權(quán)和。類似地，ReLU層用作前面描述的激活功能。池化層提供了一種專門的功能，可以有效地對(duì)從連接的內(nèi)核接收的結(jié)果進(jìn)行采樣。

CNN的最終分類階段重新連接所有單個(gè)內(nèi)核輸出，并生成輸出，指示輸入圖像對(duì)應(yīng)于在標(biāo)記圖像訓(xùn)練期間使用的特定標(biāo)簽之一的概率。

開發(fā)人員可以找到具體的CNN架構(gòu)的例子，從原始的LeNet，AlexNet和CIFAR ConvNet等相對(duì)較淺的模型，到22層模型GoogleNet架構(gòu)等大型模型，以及每年在ImageNet大規(guī)模視覺中常用的數(shù)百層的非常深的模型認(rèn)可比賽。諸如此類的DNN能夠進(jìn)行顯著的非線性變換，以提取特征并以非常低的錯(cuò)誤率對(duì)復(fù)雜圖像進(jìn)行分類。

然而，直到最近，實(shí)施CNN的能力需要深入了解概率，統(tǒng)計(jì)和線性代數(shù)的基礎(chǔ)數(shù)學(xué)至少是。今天，開發(fā)人員可以利用基于軟件堆棧的復(fù)雜機(jī)器學(xué)習(xí)框架，顯著簡(jiǎn)化包括CNN在內(nèi)的復(fù)雜神經(jīng)網(wǎng)絡(luò)架構(gòu)的實(shí)現(xiàn)。

ML框架

機(jī)器學(xué)習(xí)框架，如MATLAB for Machine學(xué)習(xí)，Microsite的認(rèn)知工具包，Google的TensorFlow，三星的Veles以及許多其他人提供設(shè)計(jì)，訓(xùn)練和部署神經(jīng)網(wǎng)絡(luò)模型所需的資源。在這些框架內(nèi)，開發(fā)人員使用機(jī)器學(xué)習(xí)庫(kù)（如Keras或TensorFlow Estimators）來(lái)描述神經(jīng)網(wǎng)絡(luò)層并實(shí)現(xiàn)訓(xùn)練算法。反過(guò)來(lái)，這些庫(kù)使用優(yōu)化的數(shù)學(xué)庫(kù)（如NumPy）來(lái)處理用于梯度下降和損失函數(shù)計(jì)算的復(fù)雜矩陣運(yùn)算。對(duì)于這些操作所需的特定數(shù)值計(jì)算，這些庫(kù)構(gòu)建在較低級(jí)別的庫(kù)上，例如Basic Linear Algebra Subroutines（BLAS）。為了加速訓(xùn)練，這些環(huán)境通常嚴(yán)重依賴于具有相應(yīng)GPU啟用庫(kù)的一個(gè)或多個(gè)圖形處理單元（GPU），例如NumPy兼容CuPy，BLAS兼容cuBLAS或NVIDIA自己的CUDA深度神經(jīng)網(wǎng)絡(luò)庫(kù)（cuDNN）等。最后，這些不同的庫(kù)利用甚至更低級(jí)別的驅(qū)動(dòng)程序，包括跨平臺(tái)OpenCL或NVIDIA CUDA，用于支持GPU的環(huán)境。

這種對(duì)數(shù)字?jǐn)?shù)學(xué)處理優(yōu)化庫(kù)的深度依賴反映了矩陣操作在神經(jīng)網(wǎng)絡(luò)發(fā)展。特別地，一般操作，一般矩陣乘法（gemm），主導(dǎo)神經(jīng)網(wǎng)絡(luò)中使用的計(jì)算類型，特別是CNN（圖4）。

圖4：雖然其影響的具體情況因CNN架構(gòu)的不同而有所不同，但單精度浮動(dòng)通用矩陣乘法（SGEMM）操作主導(dǎo)了培訓(xùn)和推理。 （圖像來(lái)源：Arm ?）

鑒于矩陣運(yùn)算的優(yōu)勢(shì)，底層硬件的功能在確定神經(jīng)網(wǎng)絡(luò)的訓(xùn)練時(shí)間和推理中起著核心作用完成模型的時(shí)間。實(shí)際上，這意味著如果目標(biāo)應(yīng)用程序具有適度的性能要求，即使是相對(duì)低級(jí)別的通用系統(tǒng)（如Raspberry Pi）也可用于CNN培訓(xùn)和推理。事實(shí)上，任何圍繞通用處理器設(shè)計(jì)的系統(tǒng)，如Arm Cortex ? MCU都可以作為ML平臺(tái)。

為了幫助開發(fā)人員在其Cortex MCU上部署神經(jīng)網(wǎng)絡(luò)，Arm提供針對(duì)Arm Cortex-A系列MCU優(yōu)化的專用計(jì)算庫(kù)，例如Texas Instruments Sitara MCU，NXP i.MX6 MCU和NXP i.MX8 MCU。對(duì)于基于Arm Cortex-M的MCU，Arm提供CMSIS-NN，這是針對(duì)Arm Cortex-M系列器件的Cortex微控制器軟件接口標(biāo)準(zhǔn)（CMSIS）中的神經(jīng)網(wǎng)絡(luò)特定庫(kù)（圖5）。 CMSIS-NN庫(kù)設(shè)計(jì)為Arm Cortex微控制器軟件接口標(biāo)準(zhǔn)（CMSIS）的附加軟件包，增強(qiáng)了CMSIS-CORE，優(yōu)化了卷積層，池，激活（例如：ReLU）以及其他常用功能。神經(jīng)網(wǎng)絡(luò)模型。

圖5：CMSIS-NN庫(kù)通過(guò)神經(jīng)網(wǎng)絡(luò)模型中常用的優(yōu)化函數(shù)增強(qiáng)了CMSIS-CORE。 （圖像源：Arm）

例如，使用CMSIS-NN庫(kù)，開發(fā)人員可以在STMicroelectronics Mbed兼容的NUCLEO-F746ZG開發(fā)板上實(shí)現(xiàn)模型，該開發(fā)板使用基于Arm Cortex-M7的STM32F746ZG MCU 。

專業(yè)的AI芯片最終將為神經(jīng)網(wǎng)絡(luò)和其他機(jī)器學(xué)習(xí)算法提供顯著的性能增強(qiáng)，但是這些芯片仍然處于規(guī)劃階段，同時(shí)算法也在鞏固。

需要增加的開發(fā)人員現(xiàn)在，性能可以轉(zhuǎn)向現(xiàn)成的FPGA，例如Intel Arria 10 GX，Lattice Semiconductor iCE40 UltraPlus或Lattice ECP5。這類FPGA集成了能夠加速GEMM操作的DSP模塊，并嵌入了存儲(chǔ)器模塊以減少存儲(chǔ)器訪問瓶頸，從而限制了這些計(jì)算密集型操作的性能。

Lattice Semiconductor使基于FPGA的模型邁出了一步通過(guò)提供機(jī)器學(xué)習(xí)FPGA IP和神經(jīng)網(wǎng)絡(luò)編譯器，進(jìn)一步提高SensAI堆棧。使用SensAI，開發(fā)人員可以在可用的Lattice FPGA開發(fā)平臺(tái)上實(shí)現(xiàn)高級(jí)神經(jīng)網(wǎng)絡(luò)，包括Lattice ICE40UP5K-MDP-EVN移動(dòng)開發(fā)板和Lattice LF-EVDK1-EVN嵌入式視覺開發(fā)套件。

雖然速度更快硬件平臺(tái)通常意味著更快的訓(xùn)練和推理時(shí)間，目標(biāo)平臺(tái)中有限的資源通常需要仔細(xì)平衡推理時(shí)間，延遲，內(nèi)存占用和功耗。機(jī)器學(xué)習(xí)專家通過(guò)對(duì)每個(gè)神經(jīng)網(wǎng)絡(luò)架構(gòu)的進(jìn)一步改進(jìn)來(lái)響應(yīng)這些要求。諸如模型參數(shù)和激活函數(shù)的減少比特量化的方法導(dǎo)致早期方法的存儲(chǔ)器占用減少3倍至4倍。進(jìn)一步的改進(jìn)繼續(xù)減少模型大小和復(fù)雜性，以實(shí)現(xiàn)更快的計(jì)算，從而縮短推理時(shí)間，降低延遲并降低功耗。

創(chuàng)新模型架構(gòu)，培訓(xùn)方法和專用硬件的結(jié)合繼續(xù)使先進(jìn)的機(jī)器學(xué)習(xí)方法更接近任何開發(fā)人員的優(yōu)勢(shì)。

結(jié)論

機(jī)器學(xué)習(xí)正在成為用戶識(shí)別，對(duì)象識(shí)別以及智能產(chǎn)品中所需的許多其他功能的強(qiáng)大解決方案。盡管機(jī)器學(xué)習(xí)技術(shù)曾被人工智能專家限制使用，但機(jī)器學(xué)習(xí)框架的廣泛應(yīng)用為主流開發(fā)人員的廣泛應(yīng)用打開了大門。

即使機(jī)器學(xué)習(xí)能力繼續(xù)快速發(fā)展，開發(fā)人員也可以已經(jīng)開始將這些框架與通用處理器和FPGA結(jié)合使用，以便在廣泛的應(yīng)用中使用機(jī)器學(xué)習(xí)。