YOLOv9引入了可編程梯度信息 (PGI) 和廣義高效層聚合網(wǎng)絡(luò) (GELAN) 等開創(chuàng)性技術(shù)，不僅增強(qiáng)了模型的學(xué)習(xí)能力，還確保了在整個檢測過程中保留關(guān)鍵信息，從而實現(xiàn)了卓越的準(zhǔn)確性和性能。該模型在效率、準(zhǔn)確性和適應(yīng)性方面都有顯著提高，大大超過了現(xiàn)有的實時目標(biāo)檢測器，在MS COCO數(shù)據(jù)集上樹立了新的標(biāo)桿。官方代碼目前已經(jīng)開源。本文我們將結(jié)合之前開發(fā)的LabVIEW AI工具包for OpenVINO 工具包部署YOLO9模型實現(xiàn)實時目標(biāo)檢測。

項目源碼：

https://pan.baidu.com/s/1DXX4ZhoRgu9h6roJXxAfzA?pwd=yiku

前言

01

LabVIEW AI工具包for OpenVINO

OpenVINO 是一個由英特爾開發(fā)的開源框架，可以加速計算機(jī)視覺和深度學(xué)習(xí)推理在邊緣設(shè)備上的應(yīng)用。它提供了一套全面的工具和預(yù)訓(xùn)練模型，支持快速開發(fā)和部署，優(yōu)化了多種英特爾硬件的性能，包括CPU、GPU、FPGA和VPU。OpenVINO 支持跨平臺部署，使得開發(fā)者能夠無縫集成最先進(jìn)的人工智能能力到其應(yīng)用中，從而實現(xiàn)高效、低延遲的推理性能。

OpenVINO 2023.3版本是最新長期支持版本，引入了額外的框架更改，優(yōu)化了生成式AI模型的特性，并增強(qiáng)了對現(xiàn)有平臺的支持。在大型語言模型推理、KV緩存處理和低精度運(yùn)行時間方面做了新的優(yōu)化。此外，該版本新增了對新平臺的全面支持，包括在CPU上對int4和int8權(quán)重壓縮的支持，并優(yōu)化了首個令牌生成的延遲。用戶可以很方便地在英特爾CPU、GPU(intel)、FPGA、VPU等硬件上跑AI應(yīng)用。

LabVIEW AI工具包 for OpenVINO 是我們（VIRobotics團(tuán)隊）基于OpenVINO 2023.3LTS開發(fā)的一款A(yù)I推理加速工具包，整個工具包作為LabVIEW的插件，可以顯著提升在LabVIEW環(huán)境中開發(fā)和部署計算機(jī)視覺及深度學(xué)習(xí)應(yīng)用的效率和性能。利用OpenVINO 在加速邊緣設(shè)備上的深度學(xué)習(xí)推理的能力，使得用戶能夠在LabVIEW的圖形編程環(huán)境中直接訪問高效的AI模型推理。這不僅簡化了開發(fā)流程，降低了對專業(yè)深度學(xué)習(xí)知識的需求，還能充分發(fā)揮英特爾硬件（CPU、GPU(intel)、FPGA、VPU）在AI推理方面的優(yōu)勢，從而實現(xiàn)更快的處理速度、更低的延遲以及更高的準(zhǔn)確度。

02

YOLOv9模型

YOLOv9 在COCO 數(shù)據(jù)集上的表現(xiàn)體現(xiàn)了其在實時物體檢測方面的顯著進(jìn)步，為各種模型大小設(shè)定了新的基準(zhǔn)。具體如下圖所示。

COCO 數(shù)據(jù)集：

https://docs.ultralytics.com/zh/datasets/detect/coco/

如下圖所示，在MS COCO數(shù)據(jù)集上實時目標(biāo)檢測器的比較中，基于GELAN和PGI的目標(biāo)檢測方法在目標(biāo)檢測性能方面超越了所有先前的從頭開始訓(xùn)練的方法。在準(zhǔn)確性方面，新方法優(yōu)于使用大型數(shù)據(jù)集預(yù)訓(xùn)練的RT DETR，同時也優(yōu)于基于深度卷積設(shè)計的YOLO MS在參數(shù)利用方面的表現(xiàn)。

YOLOv9環(huán)境搭建

1. 部署本項目時所用環(huán)境

操作系統(tǒng)：Windows 64

LabVIEW：2018及以上 64位版本

AI視覺工具包：

techforce_lib_opencv_cpu-1.0.0.26.vip

LabVIEW AI工具包for OpenVINO：

virobotics_lib_openvino-1.0.0.36.vip

LabVIEW Object_Detection工具包

2. 軟件下載及安裝

在Windows上搭建OpenVINO LabVIEW開發(fā)環(huán)境

https://github.com/VIRobotics/openvino_handbook/blob/main/doc/Install_OpenVINO_LabVIEW_Windows.md

3. LabVIEW Object_Detection工具包下載與安裝

在下載鏈接：

https://pan.baidu.com/s/1bBQuc6gA8SQ5HPfBp1p83A?pwd=yiku

中下載并安裝Object_Detection工具包

項目實踐

01

項目簡介

本文我們將結(jié)合之前開發(fā)的 LabVIEW OpenVINO 工具包和LabVIEW Object_Detection工具包部署YOLOv9模型實現(xiàn)視頻流及實時目標(biāo)檢測。

整個項目工程如下，項目模型以YOLOv9-C為例

model：yolov9 IR模型文件及coco.names文件

video：測試視頻

yolov9_openvino_video.vi：yolov9檢測視頻流

yolov9_openvino_video.vi：yolov9實時目標(biāo)檢測

02

加載YOLOv9模型實現(xiàn)實時目標(biāo)檢測

1. 模型及其他初始化：

加載yolov9模型及coco.name文件并實現(xiàn)必要參數(shù)的初始化；

2. 攝像頭圖像采集：

啟動攝像頭，設(shè)置相機(jī)分辨率并采集圖像

3. 實時推理并繪制檢測結(jié)果：

進(jìn)行圖像預(yù)處理，推理，并獲取推理結(jié)果，將結(jié)果繪制出來，以圖片控件的形式顯示在前面板上；

4. 釋放資源：

釋放相機(jī)資源及模型所占內(nèi)存等資源

5. 完整源碼；

03

運(yùn)行效果

請讀者先下載本文的源代碼到本地

項目源碼鏈接：

https://pan.baidu.com/s/1DXX4ZhoRgu9h6roJXxAfzA?pwd=yiku

按照前文YOLOv9環(huán)境搭建安裝相關(guān)工具包，然后運(yùn)行 yolov9_openvino_video.vi（運(yùn)行之前請確保電腦已聯(lián)網(wǎng)），運(yùn)行結(jié)果如下圖所示：

審核編輯：劉清