前言

之前每次進(jìn)行機(jī)器學(xué)習(xí)和模型訓(xùn)練的時候發(fā)現(xiàn)想要訓(xùn)練不同模型的時候需要使用不同的框架，有時候費了九牛二虎之力終于寫下了幾百行代碼之后，才發(fā)現(xiàn)環(huán)境調(diào)試不通，運行效率也差強(qiáng)人意，于是自己寫了一個基于LabVIEW的機(jī)器視覺工具包，讓編程變得更簡單便捷的同時，還能夠使用多種框架和硬件加速。

一、工具包內(nèi)容

此人工智能視覺工具包主要優(yōu)勢如下：

1. 圖形化編程，無需掌握文本編程基礎(chǔ)即可完成機(jī)器視覺項目。
2. 多種攝像頭數(shù)據(jù)采集和矩陣計算。
3. 數(shù)百種圖像算子的調(diào)用。
4. 提供tensorflow、pytorch、caffe、darknet、onnx、paddle等多種框架深度學(xué)習(xí)模型的調(diào)用并實現(xiàn)推理。
5. 支持Nvidia GPU、Intel、TPU、NPU多種加速。
6. 提供近百個應(yīng)用程序范例，包括物體分類、物體檢測、物體測量、圖像分割、 人臉識別、自然場景下OCR等多種實用場景。**

工具包中的函數(shù)選版如下：

例如，一個攝像頭采集并進(jìn)行yolov5目標(biāo)檢測的范例程序，只需在LabVIEW中編寫簡單的圖形化程序，即可實現(xiàn)。在大量簡化編程難度的同時，也保持了c++的高效運行特性。

?

二、工具包下載鏈接

https://pan.baidu.com/s/1nyclNG8uMLnYBmcGKVDtWQ?pwd=yiku

三、實現(xiàn)物體識別

無論使用何種框架訓(xùn)練物體檢測模型，都可以無縫集成到LabVIEW中，并使用智能視覺工具包提供的CUDA接口實現(xiàn)加速推理，模型包括但不限于：

• yolov3/yolov4/yolov5//yolox/pp-yolo
• SSD，F(xiàn)astest-RCNN（物體檢測）
• mobileNet、VGGnet、Resnet、Densenet、Efficientnet等（物體分類）

通過算法優(yōu)化，在LabVIEW中運行模型的速度明顯好于python，這對于對性能要求較高的工業(yè)現(xiàn)場來說非常友好實用。比如說：工地安全帽檢測、物體表面缺陷檢測等，如下圖使用yolov4進(jìn)行物體識別，在GPU模式下，無論是運行速度和識別率都可以達(dá)到工業(yè)級別。。

實測過程中我們發(fā)現(xiàn)同一系統(tǒng)環(huán)境下，使用labview工具包的識別效率遠(yuǎn)高于python識別效率。

四、實現(xiàn)圖像分割

圖像分割是當(dāng)今計算機(jī)視覺領(lǐng)域的關(guān)鍵問題之一。從宏觀上看，圖像分割是一項高層次的任務(wù)，為實現(xiàn)場景的完整理解鋪平了道路。場景理解作為一個核心的計算機(jī)視覺問題，其重要性在于越來越多的應(yīng)用程序通過從圖像中推斷知識來提供營養(yǎng)。隨著深度學(xué)習(xí)軟硬件的加速發(fā)展，一些前沿的應(yīng)用包括自動駕駛汽車、人機(jī)交互、醫(yī)療影像等，都開始研究并使用圖像分割技術(shù)。

本次集成的智能工具包提供了多種圖像分割的調(diào)用模塊，并實現(xiàn)了GPU模式下的加速運行。如：

語義分割：Segnet、deeplabv1~deeplabv3、u-net等；實例分割：Mask-RCNN、PANet等

五、自然場景下的文字識別

人工智能提供了文本檢測定位（DB_TD500_resnet50、EAST）、文本識別的模塊（CRNN)，用戶可以使用該模塊實現(xiàn)自然場景下的中英文文字識別

應(yīng)用：身份證識別、表單識別、包裝盒標(biāo)簽檢測等

總結(jié)

可以通過鏈接進(jìn)行工具包的下載，如有問題可添加技術(shù)交流群進(jìn)行進(jìn)一步的探討。

審核編輯 黃宇