Vitis AI Library 是一組高層次庫(kù)和 API，專為利用深度學(xué)習(xí)處理單元 (DPU) 來(lái)高效執(zhí)行 AI 推斷而構(gòu)建。它是基于 Vitis AI 運(yùn)行時(shí)利用統(tǒng)一 API 構(gòu)建的，并且支持 XRT 2022.1。

Vitis AI Library 通過(guò)封裝諸多高效且高質(zhì)量的神經(jīng)網(wǎng)絡(luò)，提供易用且統(tǒng)一的接口。由此可簡(jiǎn)化深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的使 用，對(duì)于不具備深度學(xué)習(xí)或 FPGA 知識(shí)的用戶也是如此。Vitis AI Library 使您能夠?qū)Ｗ⒂陂_(kāi)發(fā)自己的應(yīng)用，而不是底層硬件。

目標(biāo)受眾

Vitis AI Library 的目標(biāo)用戶如下：

用戶想要使用經(jīng)過(guò)預(yù)訓(xùn)練的 AMD 賽靈思模型來(lái)快速構(gòu)建應(yīng)用。

用戶使用 Vitis AI Library 支持網(wǎng)絡(luò)列表下其自有數(shù)據(jù)集來(lái)訓(xùn)練自有模型。

用戶具有與 Vitis AI Library 支持的模型類似的自定義模型，并使用 Vitis AI 后處理庫(kù)。

注釋：如果您擁有的自定義模型與 Vitis AI Library 所支持的模型截然不同，或者您有專業(yè)的后處理要求，則可使用 Vitis AI Library 實(shí)現(xiàn)作為參考。

相關(guān)庫(kù)

以下 Vitis AI Library 與本文檔有關(guān)。

Vitis AI Library 程序包列表

模塊框圖

Vitis AI Library 包含 4 個(gè)部分：

基本庫(kù)：基本庫(kù)提供了基本編程接口，其中包含 DPU 和每個(gè)模型可用的后處理模塊。dpu_task 是適用于 DPU 運(yùn)算的接口庫(kù)。cpu_task 是適用于分配給 CPU 的運(yùn)算的接口庫(kù)。xnnpp 是每個(gè)模型的后處理庫(kù)，其中具有內(nèi)置模塊， 如最優(yōu)化和加速。

模型庫(kù)：模型庫(kù)能實(shí)現(xiàn)大部分開(kāi)源神經(jīng)網(wǎng)絡(luò)部署，包括常見(jiàn)的網(wǎng)絡(luò)類型，如分類、檢測(cè)、分割等。這些庫(kù)提供了易于使用的快速部署方法，并具有統(tǒng)一的接口，適用于 AMD 賽靈思模型或自定義模型。

庫(kù)測(cè)試樣本：庫(kù)測(cè)試樣本用于快速測(cè)試和評(píng)估模型庫(kù)。

應(yīng)用演示：應(yīng)用演示為您展示了如何使用 Vitis AI Library 來(lái)開(kāi)發(fā)應(yīng)用。

Vitis AI Library 模塊框圖如下圖所示。

功能特性

Vitis AI Library 特征包括：

全棧應(yīng)用解決方案

經(jīng)最優(yōu)化的預(yù)處理和后處理函數(shù)/庫(kù)

開(kāi)源模型庫(kù)

統(tǒng)一操作接口，具有 DPU 以及模型的預(yù)處理和后處理接口

基于應(yīng)用的實(shí)用模型庫(kù)、預(yù)處理和后處理庫(kù)以及應(yīng)用示例

Vitis AI Library v2.5 版本說(shuō)明

本節(jié)包含有關(guān) Vitis AI Library 2.5 版本的功能特性和更新的信息。

關(guān)鍵功能特性與增強(qiáng)功能

此版本的 Vitis AI Library 包含以下關(guān)鍵功能特性與增強(qiáng)功能：

全新模型庫(kù)：支持下列新模型庫(kù)：OCR、Textmountain 檢測(cè)、車輛分類、OFA_YOLO 檢測(cè)、EfficientDet_D2、Movenet 檢測(cè)。

全新模型支持：添加 11 個(gè)全新 PyTorch 模型、添加 5 個(gè)全新 TensorFlow 模型、添加 1 個(gè)全新 TensorFlow2 模型。

新增 CPU 運(yùn)算符支持：添加 8 個(gè) CPU 運(yùn)算符。

自定義運(yùn)算符增強(qiáng)功能：在 Python 中添加自定義運(yùn)算符寄存示例。

Xdputil 工具增強(qiáng)功能：xdputil 支持查看指定運(yùn)算符的信息。

兼容性

Vitis AI Library 2.5 已經(jīng)過(guò)下列鏡像的測(cè)試。

xilinx-zcu102-dpu-v2022.1-v2.5.0.img.gz

xilinx-zcu104-dpu-v2022.1-v2.5.0.img.gz

xilinx-kv260-dpu-v2022.1-v2.5.0.img.gz

xilinx-vck190-dpu-v2022.1-v2.5.0.img.gz

器件支持

Vitis AI Library 2.5 支持以下平臺(tái)和評(píng)估板 (EVB)。

邊緣器件支持

云開(kāi)發(fā)板支持

審核編輯：劉清