Vitis AI 2.0 來(lái)了！

Vitis AI 2.0 全面發(fā)布！作為賽靈思 FPGA 和自適應(yīng) SoC 上最綜合全面的基于軟件的 AI 加速解決方案，Vitis AI 繼續(xù)為用戶的 AI 產(chǎn)品貢獻(xiàn)價(jià)值與競(jìng)爭(zhēng)力。2.0 版本的 Vitis AI 解決方案更易于開(kāi)發(fā)者使用，給邊緣和數(shù)據(jù)中心帶來(lái)進(jìn)一步的性能提升。本篇文章將會(huì)介紹新產(chǎn)品特性，具體包括模型、軟件工具、深度學(xué)習(xí)處理單元以及最新的性能信息。

Vitis AI 2.0 版本的主要特性：

1

通過(guò)更好的CPU OP流程顯著提升了模型覆蓋率，同時(shí)支持了Tensorflow框架內(nèi)推理機(jī)制；

2

新增20個(gè)先進(jìn)的 AI 模型，用于 CNN 和 NLP 中的傳感器融合、視頻分析、超分辨率和情感估計(jì)應(yīng)用；

3

在 VCK190和 VCK5000硬件平臺(tái)上提供了靈活的DPU IP配置及新功能，包括支持 3D 卷積、depthwise卷積等，可滿足更多需求。

1

易用性取得突破性進(jìn)展

用戶自定義OP ：

熟悉 Vitis AI 的用戶了解，這個(gè)工具和 IP 有時(shí)會(huì)遇到不支持的網(wǎng)絡(luò)層，導(dǎo)致部署失敗。不受 Vitis AI 工具與 DPU IP 支持的這些網(wǎng)絡(luò)層將被逐一劃分給 CPU 處理器，用戶需要手動(dòng)處理 DPU 和 CPU 之間的數(shù)據(jù)交換，這個(gè)過(guò)程會(huì)影響用戶體驗(yàn)。

在 Vitis AI 2.0 中，自定義 OP 流程提供更簡(jiǎn)便的模型部署途徑。對(duì)于 DPU 不支持的 OP，這種方法在用 Graph Runner 對(duì)它們進(jìn)行部署之前，先在量化流中定義這些 OP，然后完成注冊(cè)和實(shí)現(xiàn)。通過(guò)這種方法，用戶可以輕松部署完整模型，避免在流程中出錯(cuò)。

WeGO Tensorflow 推理流程：

新版本中在易用性方面取得突破性進(jìn)展的另一體現(xiàn)是引入了全圖形優(yōu)化器 (WeGO) 流。這是將 Vitis AI 開(kāi)發(fā)套件與該框架集成后，從 Tensorflow 直接推斷的結(jié)果。在 Vitis AI 2.0 中，WeGO 可用于 TensorFlow 1.x 框架以及數(shù)據(jù)中心版本 DPU 上的AI推斷。

WeGO 自動(dòng)為 Vitis AI 量化器量化的模型執(zhí)行子圖劃分，可以優(yōu)化并加速數(shù)據(jù)中心端DPU子圖應(yīng)用。DPU 不支持的圖形部分將拆分給 Tensorflow，在 CPU 上執(zhí)行。整個(gè)過(guò)程對(duì)用戶完全透明，依托對(duì)框架內(nèi)原生的所有層的支持，以及數(shù)據(jù)中心端 DPU 上更優(yōu)異的性能，整體易用性得到了進(jìn)一步提升。

2

全新模型

AI 模型庫(kù)已成為 Vitis AI 堆棧中用戶最常使用的組件之一。它提供了能夠適用于多種視覺(jué)場(chǎng)景的免費(fèi)、開(kāi)放且可再訓(xùn)練的優(yōu)化模型。在 Vitis AI 2.0 版本中，免費(fèi)模型的數(shù)量已增至 130 個(gè)，覆蓋主流框架 Pytorch、Tensorflow、Tensorflow 2 和 Caffe 。

部分新增模型如 SOLO、Yolo-X、UltraFast、CLOC、SESR、 DRUNet、SSR、FADNet、PSMNet、FairMOT。這些模型可廣泛用于目標(biāo)檢測(cè)、分割、激光雷達(dá)成像傳感器融合、醫(yī)療成像處理、基于 2D 和 3D 的深度估算、用于情感檢測(cè)再識(shí)別、客戶滿意度和開(kāi)放信息提取的NLP模型等。除了這些經(jīng)過(guò)訓(xùn)練的模型，新版本也提供了能夠提高模型準(zhǔn)確性與硬件性能的 OFA 搜索模型。

3

DPU 可擴(kuò)展性和新硬件平臺(tái)

Vitis AI 2.0 新增對(duì) VCK190、VCK5000 量產(chǎn)板和新硬件 Alveo U55c 的支持。到目前，從嵌入式到數(shù)據(jù)中心，Vitis AI 全面支持所有主要的器件或加速器卡，包括 Zynq Ultrascale+ MPSoC、Versal ACPA 和 Alveo 卡。

邊緣和云平臺(tái)上的 DPU IP 都已升級(jí)以實(shí)現(xiàn)更多功能，如 Conv3D、Depthwise Conv、h-sigmoid、h-swish 等。Versal Edge DPU 能從 Batch 1 到 Batch 5 支持 C32 模式和 C64 模式，加強(qiáng) DPU 與定制應(yīng)用集成的靈活性。

除了上述新特性，賽靈思還改進(jìn)了 Vitis AI 工具鏈的功能與性能，由此 AI 量化器與編譯器均支持自定義 OP，且都支持更高版本的 Pytorch (v1.8-1.9) 和 Tensorflow (v2.4-2.6)。

AI 編譯器、基于全新算法的Optimizer、AI Library、VART、AI Profiler和 WAA 都支持本次發(fā)布的新增模型和自定義OP 流程等。

審核編輯：郭婷