機(jī)器學(xué)習(xí)是使用算法解析數(shù)據(jù)，從中學(xué)習(xí)，然后做出決策或預(yù)測(cè)的過程。機(jī)器不是準(zhǔn)備程序代碼來完成任務(wù)，而是使用大量數(shù)據(jù)和算法“訓(xùn)練”以自行執(zhí)行任務(wù)。

機(jī)器學(xué)習(xí)正在使用神經(jīng)網(wǎng)絡(luò) （NN） 算法發(fā)生革命性變化，神經(jīng)網(wǎng)絡(luò)算法是我們大腦中發(fā)現(xiàn)的生物神經(jīng)元的數(shù)字模型。這些模型包含像大腦神經(jīng)元一樣連接的層。許多應(yīng)用程序都受益于機(jī)器學(xué)習(xí)，包括圖像分類/識(shí)別、大數(shù)據(jù)模式檢測(cè)、ADAS、欺詐檢測(cè)、食品質(zhì)量保證和財(cái)務(wù)預(yù)測(cè)。

作為機(jī)器學(xué)習(xí)的算法，神經(jīng)網(wǎng)絡(luò)包括由多個(gè)層組成的廣泛的拓?fù)浣Y(jié)構(gòu)和大小；第一層（“輸入層”）、中間層（“隱藏層”）和最后一層（“輸出層”）。隱藏層對(duì)輸入執(zhí)行各種專用任務(wù)并將其傳遞到下一層，直到在輸出層生成預(yù)測(cè)。

一些神經(jīng)網(wǎng)絡(luò)相對(duì)簡(jiǎn)單，只有兩層或三層神經(jīng)元，而所謂的深度神經(jīng)網(wǎng)絡(luò) （DNN） 可能包含多達(dá) 1000 層。為特定任務(wù)確定正確的 NN 拓?fù)浜痛笮⌒枰c類似網(wǎng)絡(luò)進(jìn)行實(shí)驗(yàn)和比較。

設(shè)計(jì)高性能機(jī)器學(xué)習(xí)應(yīng)用程序需要網(wǎng)絡(luò)優(yōu)化，這通常使用修剪和量化技術(shù)完成，以及計(jì)算加速，使用 ASIC 或 FPGA 執(zhí)行。

在本文中，我們將討論 DNN 的工作原理、為什么 FPGA 在 DNN 推理中越來越受歡迎，并考慮使用 FPGA 開始設(shè)計(jì)和實(shí)現(xiàn)基于深度學(xué)習(xí)的應(yīng)用程序所需的工具。

開發(fā) DNN 應(yīng)用程序的設(shè)計(jì)流程

設(shè)計(jì) DNN 應(yīng)用程序是一個(gè)三步過程。這些步驟是選擇正確的網(wǎng)絡(luò)，訓(xùn)練網(wǎng)絡(luò)，然后將新數(shù)據(jù)應(yīng)用于訓(xùn)練模型進(jìn)行預(yù)測(cè)（推理）。

如前所述，DNN 模型中有多個(gè)層，每一層都有特定的任務(wù)。在深度學(xué)習(xí)中，每一層都旨在提取不同層次的特征。例如，在邊緣檢測(cè)神經(jīng)網(wǎng)絡(luò)中，第一個(gè)中間層檢測(cè)邊緣和曲線等特征。然后將第一個(gè)中間層的輸出饋送到第二層，第二層負(fù)責(zé)檢測(cè)更高級(jí)別的特征，例如半圓或正方形。第三個(gè)中間層組裝其他層的輸出以創(chuàng)建熟悉的對(duì)象，最后一層檢測(cè)對(duì)象。

在另一個(gè)示例中，如果我們開始識(shí)別停車標(biāo)志，則經(jīng)過訓(xùn)練的系統(tǒng)將包括用于檢測(cè)八邊形形狀、顏色以及其中的字母“S”、“T”、“O”和“P”的層秩序和孤立。輸出層將負(fù)責(zé)確定它是否是停車標(biāo)志。

DNN 學(xué)習(xí)模型

有四種主要的學(xué)習(xí)模型：

監(jiān)督：在這個(gè)模型中，所有的訓(xùn)練數(shù)據(jù)都被標(biāo)記了。NN 將輸入數(shù)據(jù)分類為從訓(xùn)練數(shù)據(jù)集中學(xué)習(xí)的不同標(biāo)簽。

無監(jiān)督：在無監(jiān)督學(xué)習(xí)中，深度學(xué)習(xí)模型被交給一個(gè)數(shù)據(jù)集，而沒有明確說明如何處理它。訓(xùn)練數(shù)據(jù)集是沒有特定期望結(jié)果或正確答案的示例集合。然后，NN 會(huì)嘗試通過提取有用的特征并分析其結(jié)構(gòu)來自動(dòng)找到數(shù)據(jù)中的結(jié)構(gòu)。

半監(jiān)督：這包括帶有標(biāo)記和未標(biāo)記數(shù)據(jù)的訓(xùn)練數(shù)據(jù)集。這種方法在難以從數(shù)據(jù)中提取相關(guān)特征時(shí)特別有用，并且標(biāo)記示例對(duì)于專家來說是一項(xiàng)耗時(shí)的任務(wù)。

強(qiáng)化：這是獎(jiǎng)勵(lì)網(wǎng)絡(luò)以獲得結(jié)果并提高性能的行為。這是一個(gè)迭代過程：反饋的輪次越多，網(wǎng)絡(luò)就越好。這種技術(shù)對(duì)于訓(xùn)練機(jī)器人特別有用，機(jī)器人會(huì)在諸如駕駛自動(dòng)駕駛汽車或管理倉(cāng)庫(kù)庫(kù)存等任務(wù)中做出一系列決策。

訓(xùn)練與推理

在訓(xùn)練中，未經(jīng)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型從現(xiàn)有數(shù)據(jù)中學(xué)習(xí)新的能力。一旦訓(xùn)練好的模型準(zhǔn)備好，它就會(huì)被輸入新數(shù)據(jù)并測(cè)量系統(tǒng)的性能。正確檢測(cè)圖像的比率稱為推理。

在圖 1 給出的示例中（識(shí)別貓），在輸入訓(xùn)練數(shù)據(jù)集后，DNN 開始調(diào)整權(quán)重以尋找貓；其中權(quán)重是每個(gè)神經(jīng)元之間連接強(qiáng)度的度量。

如果結(jié)果錯(cuò)誤，錯(cuò)誤將被傳播回網(wǎng)絡(luò)層以修改權(quán)重。這個(gè)過程一次又一次地發(fā)生，直到它得到正確的權(quán)重，這導(dǎo)致每次都得到正確的答案。

如何實(shí)現(xiàn)高性能 DNN 應(yīng)用

使用 DNN 進(jìn)行分類需要大數(shù)據(jù)集，從而提高準(zhǔn)確性。然而，一個(gè)缺點(diǎn)是它為模型產(chǎn)生了許多參數(shù)，這增加了計(jì)算成本并且需要高內(nèi)存帶寬。

優(yōu)化 DNN 應(yīng)用程序有兩種主要方法。首先是通過修剪冗余連接和量化權(quán)重并融合神經(jīng)網(wǎng)絡(luò)來縮小網(wǎng)絡(luò)規(guī)模的網(wǎng)絡(luò)優(yōu)化。

修剪： 這是 DNN 壓縮的一種形式。它減少了與其他神經(jīng)元的突觸連接數(shù)，從而減少了數(shù)據(jù)總量。通常，接近零的權(quán)重會(huì)被移除。對(duì)于分類 ［2］ 等任務(wù)，這有助于消除冗余連接，但精度會(huì)略有下降。

量化： 這樣做是為了使神經(jīng)網(wǎng)絡(luò)達(dá)到合理的大小，同時(shí)實(shí)現(xiàn)高性能的準(zhǔn)確性。這對(duì)于內(nèi)存大小和計(jì)算數(shù)量必然受到限制的邊緣應(yīng)用程序尤其重要。在此類應(yīng)用中，為了獲得更好的性能，模型參數(shù)保存在本地內(nèi)存中，以避免使用 PCIe 或其他互連接口進(jìn)行耗時(shí)的傳輸。在該方法中，執(zhí)行通過低位寬數(shù)的神經(jīng)網(wǎng)絡(luò)（INT8）來逼近使用浮點(diǎn)數(shù)的神經(jīng)網(wǎng)絡(luò)（FTP32）的過程。這極大地降低了使用神經(jīng)網(wǎng)絡(luò)的內(nèi)存需求和計(jì)算成本。通過量化模型，我們稍微損失了精度和準(zhǔn)確度。但是，對(duì)于大多數(shù)應(yīng)用程序來說，不需要 32 位浮點(diǎn)。

優(yōu)化 DNN 的第二種方法是通過計(jì)算加速，使用 ASIC 或 FPGA。其中，后一種選擇對(duì)機(jī)器學(xué)習(xí)應(yīng)用程序有很多好處。這些包括：

電源效率： FPGA 提供了一種靈活且可定制的架構(gòu)，它只允許使用我們需要的計(jì)算資源。在 ADAS 等許多應(yīng)用中，為 DNN 配備低功耗系統(tǒng)至關(guān)重要。

可重構(gòu)性： 與 ASIC 相比，F(xiàn)PGA 被認(rèn)為是原始可編程硬件。此功能使它們易于使用，并顯著縮短了上市時(shí)間。為了趕上每天發(fā)展的機(jī)器學(xué)習(xí)算法，擁有對(duì)系統(tǒng)重新編程的能力是非常有益的，而不是等待 SoC 和 ASIC 的長(zhǎng)時(shí)間制造。

低延遲： 與最快的片外存儲(chǔ)器相比，F(xiàn)PGA 內(nèi)部的 Block RAM 提供的數(shù)據(jù)傳輸速度至少快 50 倍。這是機(jī)器學(xué)習(xí)應(yīng)用程序的游戲規(guī)則改變者，低延遲是必不可少的。

性能可移植性： 您無需任何代碼修改或回歸測(cè)試即可獲得下一代 FPGA 設(shè)備的所有優(yōu)勢(shì)。

靈活性： FPGA 是原始硬件，可以針對(duì)任何架構(gòu)進(jìn)行配置。沒有固定的架構(gòu)或數(shù)據(jù)路徑可以束縛您。這種靈活性使 FPGA 能夠進(jìn)行大規(guī)模并行處理，因?yàn)閿?shù)據(jù)路徑可以隨時(shí)重新配置。靈活性還帶來了任意對(duì)任意 I/O 連接能力。這使 FPGA 無需主機(jī) CPU 即可連接到任何設(shè)備、網(wǎng)絡(luò)或存儲(chǔ)設(shè)備。

功能安全：： FPGA 用戶可以在硬件中實(shí)現(xiàn)任何安全功能。根據(jù)應(yīng)用程序，可以高效地進(jìn)行編碼。FPGA 廣泛用于航空電子設(shè)備、自動(dòng)化和安全領(lǐng)域，這證明了這些設(shè)備的功能安全性，機(jī)器學(xué)習(xí)算法可以從中受益。

成本效率： FPGA 是可重新配置的，應(yīng)用程序的上市時(shí)間非常短。ASIC 非常昂貴，如果沒有出現(xiàn)錯(cuò)誤，制造時(shí)間需要 6 到 12 個(gè)月。這是機(jī)器學(xué)習(xí)應(yīng)用程序的一個(gè)優(yōu)勢(shì)，因?yàn)槌杀痉浅Ｖ匾?，而?NN 算法每天都在發(fā)展。

現(xiàn)代 FPGA 通常在其架構(gòu)中提供一組豐富的 DSP 和 BRAM 資源，可用于 NN 處理。但是，與 DNN 的深度和層大小相比，這些資源已不足以進(jìn)行完整和直接的映射；當(dāng)然不會(huì)像前幾代神經(jīng)網(wǎng)絡(luò)加速器中經(jīng)常使用的那樣。即使使用像 Zynq MPSoC 這樣的設(shè)備（即使是最大的設(shè)備也僅限于 2k DSP 片和總 BRAM 大小小于 10 MB），將所有神經(jīng)元和權(quán)重直接映射到 FPGA 上也是不可能的。

那么，我們?nèi)绾卫?FPGA 的功率效率、可重編程性、低延遲等特性進(jìn)行深度學(xué)習(xí)呢？

需要新的 NN 算法和架構(gòu)修改才能在 FPGA 等內(nèi)存資源有限的平臺(tái)上進(jìn)行 DNN 推理。

現(xiàn)代 DNN 將應(yīng)用程序分成更小的塊，由 FPGA 處理。由于 FPGA 中的片上存儲(chǔ)器不足以存儲(chǔ)網(wǎng)絡(luò)所需的所有權(quán)重，我們只需要存儲(chǔ)當(dāng)前階段的權(quán)重和參數(shù)，它們是從外部存儲(chǔ)器（可能是 DDR 存儲(chǔ)器）加載的。

然而，在 FPGA 和內(nèi)存之間來回傳輸數(shù)據(jù)將使延遲增加多達(dá) 50 倍。首先想到的是減少內(nèi)存數(shù)據(jù)。除了上面討論的網(wǎng)絡(luò)優(yōu)化（剪枝和量化）之外，還有：

權(quán)重編碼：在FPGA中，編碼格式可以隨意選擇。可能會(huì)有一些準(zhǔn)確性損失，但是與數(shù)據(jù)傳輸引起的延遲及其處理的復(fù)雜性相比，這可以忽略不計(jì)。權(quán)重編碼創(chuàng)建了二元神經(jīng)網(wǎng)絡(luò) （BNN），其中權(quán)重減少到只有一位。這種方法減少了傳輸和存儲(chǔ)的數(shù)據(jù)量，以及計(jì)算復(fù)雜度。然而，這種方法只會(huì)導(dǎo)致具有固定輸入寬度的硬件乘法器的小幅減少。

批處理：在這種方法中，我們使用流水線方法將芯片上已有的權(quán)重用于多個(gè)輸入。它還減少了從片外存儲(chǔ)器傳輸?shù)?FPGA ［5］ 的數(shù)據(jù)量。

在 FPGA 上設(shè)計(jì)和實(shí)現(xiàn) DNN 應(yīng)用

讓我們深入研究在 FPGA 上實(shí)現(xiàn) DNN。在此過程中，我們將利用最合適的商用解決方案來快速跟蹤應(yīng)用程序的開發(fā)。

例如，Aldec 有一個(gè)名為TySOM-3A-ZU19EG的嵌入式開發(fā)板。除了廣泛的外設(shè)，它還搭載 Xilinx Zynq UltraScale+ MPSoC 系列中最大的 FPGA，該器件具有超過一百萬個(gè)邏輯單元，并包括一個(gè)運(yùn)行頻率高達(dá) 1.5GHz 的四核 Arm Cortex-A53 處理器。

重要的是，就我們的目的而言，這款龐大的 MPSoC 還支持賽靈思為機(jī)器學(xué)習(xí)開發(fā)人員創(chuàng)建的深度學(xué)習(xí)處理單元 （DPU）。

DPU 是專用于卷積神經(jīng)網(wǎng)絡(luò) （CNN） 處理的可編程引擎。它旨在加速計(jì)算機(jī)視覺應(yīng)用中使用的 DNN 算法的計(jì)算工作量，例如圖像/視頻分類和對(duì)象跟蹤/檢測(cè)。

DPU 有一個(gè)特定的指令集，使其能夠有效地與許多 CNN 一起工作。與常規(guī)處理器一樣，DPU 獲取、解碼和執(zhí)行存儲(chǔ)在 DDR 內(nèi)存中的指令。該單元支持多種 CNN，如 VGG、ResNet、GoogLeNet、YOLO、SSD、MobileNet、FPN 等 ［3］。

DPU IP 可以作為一個(gè)塊集成到所選 Zynq?-7000 SoC 和 Zynq UltraScale?+ MPSoC 器件的可編程邏輯 （PL） 中，并直接連接到處理系統(tǒng) （PS）。

為了創(chuàng)建 DPU 的說明，Xilinx 提供了深度神經(jīng)網(wǎng)絡(luò)開發(fā)套件 （DNNDK） 工具包。賽靈思聲明：

DNNDK 被設(shè)計(jì)為一個(gè)集成框架，旨在簡(jiǎn)化和加速深度學(xué)習(xí)處理器單元 （DPU） 上的深度學(xué)習(xí)應(yīng)用程序開發(fā)和部署。DNNDK是一個(gè)優(yōu)化推理引擎，它使DPU的計(jì)算能力變得容易獲得。它為開發(fā)深度學(xué)習(xí)應(yīng)用程序提供了最佳的簡(jiǎn)單性和生產(chǎn)力，涵蓋了神經(jīng)網(wǎng)絡(luò)模型壓縮、編程、編譯和運(yùn)行時(shí)啟用 ［4］ 的各個(gè)階段。

DNNDK 框架包括以下單元：

DECENT： 執(zhí)行剪枝和量化以滿足低延遲和高吞吐量

DNNC： 將神經(jīng)網(wǎng)絡(luò)算法映射到 DPU 指令

DNNAS：將 DPU 指令組裝成 ELF 二進(jìn)制代碼

N 2 Cube：充當(dāng) DNNDK 應(yīng)用程序的加載器，處理資源分配和 DPU 調(diào)度。其核心組件包括 DPU 驅(qū)動(dòng)程序、DPU 加載程序、跟蹤器和用于應(yīng)用程序開發(fā)的編程 API。

Profiler：由 DPU 跟蹤器和 DSight 組成。D 跟蹤器在 DPU 上運(yùn)行 NN 時(shí)收集原始分析數(shù)據(jù)。DSight 使用此數(shù)據(jù)生成可視化圖表以進(jìn)行性能分析。

Dexplorer：為 DPU 提供運(yùn)行模式配置、狀態(tài)檢查和代碼簽名檢查。

DDump：轉(zhuǎn)儲(chǔ) DPU ELF、混合可執(zhí)行文件或 DPU 共享庫(kù)中的信息。它加速了用戶的調(diào)試和分析。

這些符合圖 2 所示的流程。

圖 2.上述深度神經(jīng)網(wǎng)絡(luò)開發(fā)套件 （DNNK） 框架使基于 FPGA 的機(jī)器學(xué)習(xí)項(xiàng)目的設(shè)計(jì)過程對(duì)開發(fā)人員來說更加容易。

使用 DNNDK 可以讓開發(fā)人員更輕松地設(shè)計(jì)基于 FPGA 的機(jī)器學(xué)習(xí)項(xiàng)目；此外，Aldec 的 TySOM-3A-ZU19EG 板等平臺(tái)也可提供寶貴的啟動(dòng)功能。例如，Aldec 準(zhǔn)備了一些針對(duì)板的示例——包括手勢(shì)檢測(cè)、行人檢測(cè)、分割和交通檢測(cè)——這意味著開發(fā)人員不是從一張白紙開始的。

讓我們考慮一下今年早些時(shí)候在 Arm TechCon 上展示的一個(gè)演示。這是使用 TySOM-3A-ZU19EG 和 FMC-ADAS 子卡構(gòu)建的交通檢測(cè)演示，該子卡為 5 倍高速數(shù)據(jù) （HSD） 攝像頭、雷達(dá)、激光雷達(dá)和超聲波傳感器提供接口和外圍設(shè)備——大多數(shù)人的感官輸入ADAS 應(yīng)用程序。

圖 3 顯示了演示的架構(gòu)。FPGA 中實(shí)現(xiàn)了兩個(gè) DPU，它們通過 AXI HP 端口連接到處理單元，以執(zhí)行深度學(xué)習(xí)推理任務(wù)，例如圖像分類、對(duì)象檢測(cè)和語(yǔ)義分割。DPU 需要指令來實(shí)現(xiàn)由 DNNC 和 DNNAS 工具準(zhǔn)備的神經(jīng)網(wǎng)絡(luò)。他們還需要訪問輸入視頻和輸出數(shù)據(jù)的內(nèi)存位置。

圖 3. 流量檢測(cè)演示具有 5 個(gè)視頻輸入管道，用于數(shù)據(jù)打包、AXI4 到 AXI 流數(shù)據(jù)傳輸、色彩空間轉(zhuǎn)換 （YUV2RGB） 以及將視頻發(fā)送到內(nèi)存。

應(yīng)用程序在應(yīng)用程序處理單元 （APU） 上運(yùn)行，以通過管理中斷和執(zhí)行單元之間的數(shù)據(jù)傳輸來控制系統(tǒng)。DPU 和用戶應(yīng)用程序之間的連接是通過 DPU API 和 Linux 驅(qū)動(dòng)程序?qū)崿F(xiàn)的。有一些功能可以將新圖像/視頻讀取到 DPU、運(yùn)行處理并將輸出發(fā)送回用戶應(yīng)用程序。

開發(fā)和訓(xùn)練模型是使用 FPGA 之外的 Caffe 完成的，而優(yōu)化和編譯是使用作為 DNNDK 工具包的一部分提供的 DECENT 和 DNNC 單元完成的（圖 2）。在本設(shè)計(jì)中，SSD 對(duì)象檢測(cè) CNN 用于背景、行人和車輛檢測(cè)。

在性能方面，使用四個(gè)輸入通道實(shí)現(xiàn)了 45 fps，展示了使用 TySOM-3A-ZU19EG 和 DNNDK 工具包的高性能深度學(xué)習(xí)應(yīng)用程序。

審核編輯：郭婷