缺陷檢測(cè)在電子制造業(yè)中是非常重要的應(yīng)用。然而，由于存在的缺陷多種多樣，傳統(tǒng)的機(jī)器視覺(jué)算法很難對(duì)缺陷特征進(jìn)行完全建模和遷移缺陷特征，致使傳統(tǒng)機(jī)器視覺(jué)算法可重復(fù)使用性不是很大，并且需要區(qū)分工作條件，這將浪費(fèi)大量的人力成本。因此，越來(lái)越多的工程師開(kāi)始將深度學(xué)習(xí)算法引入缺陷檢測(cè)領(lǐng)域，因?yàn)樯疃葘W(xué)習(xí)在特征提取和定位方面取得了非常好的效果。

本文將介紹瑞薩電子深度學(xué)習(xí)算法在缺陷檢測(cè)領(lǐng)域的應(yīng)用，以PCB電路板缺陷檢測(cè)為例。

在這里，我們提出了一種缺陷檢測(cè)解決方案，使用YOLOv3-tiny深度學(xué)習(xí)算法。YOLOv3-tiny是一種輕量級(jí)的目標(biāo)檢測(cè)算法。YOLOv3-tiny的網(wǎng)絡(luò)結(jié)構(gòu)如下：

與原來(lái)的YOLOv3模型相比，YOLOv3-tiny減少了一些層數(shù)和參數(shù)，提高了嵌入式設(shè)備上的推理速度和效率。該算法具有較高的實(shí)時(shí)性和良好的精度，非常適合工業(yè)缺陷檢測(cè)應(yīng)用。

該缺陷檢測(cè)解決方案可以部署在RZ/V2MMPU芯片上。RZ/V2M是一款集成了瑞薩DRP-AI硬件加速單元的的AI專(zhuān)用處理器，其硬件特性如下：

RZ/V2M系統(tǒng)框圖

高達(dá)4K分辨率的硬件ISP

具有高度的魯棒性，產(chǎn)生穩(wěn)定的圖像，不受環(huán)境的影響

傳感器和鏡頭控制，如自動(dòng)曝光、白平衡、畸變校正、黑點(diǎn)校正、缺陷像素修正等

色彩質(zhì)量增強(qiáng)，HDR，WDR，噪聲衰減，如色彩校正、黑度校正等

色彩控制，如色彩空間轉(zhuǎn)換、圖像翻轉(zhuǎn)、裁剪、整形等

視覺(jué)和AI能力

DRP-AI硬件加速器，高精度FP16數(shù)據(jù)類(lèi)型

AI能效性能（低消耗、低發(fā)熱量）

攝像頭接口：2× MIPI CSI

視頻及圖像引擎

H.265/H.264 編解碼器

編碼：H.265 最高2160p30, H.264最高1080p60

解碼：H.265 最高2160p30, H.264 最高1080p60

2D圖像引擎：200 MPixels/s

JPEG硬件編碼器

顯示：HDMI 1.4a

高速接口

1× Gigabit Ethernet

1×USB3.1 Gen1 Host/Peripheral

1× PCIe Gen 2 (2 lanes)

2× SDIO 3.0

1× eMMC 4.5.1

基于以上硬件特性，使得RZ/V2M可以很好的支持工業(yè)缺陷檢測(cè)，AI模型部署過(guò)程如下圖所示：

ONNX是一種用于表示機(jī)器學(xué)習(xí)模型的開(kāi)放格式。

ONNX定義了一組通用運(yùn)算符，機(jī)器學(xué)習(xí)和深度學(xué)習(xí)模型的構(gòu)建基塊以及通用文件格式，使AI開(kāi)發(fā)人員能夠使用具有各種框架、工具、運(yùn)行時(shí)和編譯器的模型。

此應(yīng)用程序在RZ/V2M MPU中的硬件設(shè)置如下：

YOLOv3-tiny 缺陷檢測(cè)解決方案部署在 RZ/V2M，具有低功耗（小于5W）、高性能推理效果的特點(diǎn)，RZ/V2M為52fps（不包括前處理和后處理）。

嵌入式缺陷檢測(cè)不僅用于電子制造中的PCB缺陷檢測(cè)，還具有廣泛的應(yīng)用場(chǎng)景，以下是一些常見(jiàn)示例：

工業(yè)自動(dòng)化

在制造過(guò)程中，可以實(shí)時(shí)檢測(cè)產(chǎn)品中的缺陷，例如不正確的產(chǎn)品組裝、零件缺失或損壞。

農(nóng)業(yè)領(lǐng)域

在農(nóng)業(yè)生產(chǎn)中，它可用于檢測(cè)作物或蔬菜中的缺陷，例如疾病，害蟲(chóng)或水果畸形。

安防監(jiān)控

可用于安防監(jiān)控系統(tǒng)中的缺陷檢測(cè)，如檢測(cè)建筑物或公共場(chǎng)所的異常物體、入侵行為或安全隱患。

醫(yī)學(xué)成像

在醫(yī)學(xué)領(lǐng)域，可應(yīng)用于醫(yī)學(xué)圖像分析，檢測(cè)疾病標(biāo)志物、腫瘤或異常組織等。

車(chē)輛檢測(cè)

在智能交通系統(tǒng)中，可用于車(chē)輛檢測(cè)，如交通流量監(jiān)控、非法車(chē)輛檢測(cè)或停車(chē)場(chǎng)管理。

隨著人工智能技術(shù)的不斷進(jìn)步，我們期待在工業(yè)制造、安防、智能零售、服務(wù)機(jī)器人等多個(gè)領(lǐng)域推出更多應(yīng)用和解決方案。

審核編輯：湯梓紅