今天，我將展示如何使用令人印象深刻的Hailo AI Hat在樹(shù)莓派5上訓(xùn)練、編譯和部署自定義模型。注意：文章內(nèi)的鏈接可能需要科學(xué)上網(wǎng)。

Hailo AI Hat

根據(jù)你的設(shè)置，在樹(shù)莓派5的CPU上運(yùn)行YOLO每秒可以提供1.5到8幀（FPS）。盡管對(duì)于這樣一個(gè)小設(shè)備來(lái)說(shuō)，這一性能已經(jīng)相當(dāng)出色，但對(duì)于許多實(shí)時(shí)應(yīng)用來(lái)說(shuō)，這還不夠快。如果你需要更高的性能，就需要外部硬件。目前，Hailo為樹(shù)莓派5設(shè)計(jì)的AI Hat是一個(gè)極佳的選擇。

Hailo是一家專(zhuān)注于開(kāi)發(fā)人工智能硬件的芯片制造商。在這個(gè)故事中，我感興趣的是他們專(zhuān)門(mén)為樹(shù)莓派5打造的AI Hat+設(shè)備：

我的樹(shù)莓派 5帶AI Hat+ Hailo8，還有Camera Noir v2

這款A(yù)I Hat有兩個(gè)版本，一個(gè)搭載Hailo-8芯片，據(jù)說(shuō)可以提供26 TOPS（每秒萬(wàn)億次運(yùn)算），另一個(gè)搭載Hailo-8L芯片，提供13 TOPS。

在這個(gè)故事中，我將使用搭載Hailo8架構(gòu)的AI Hat版本。

為什么選擇Docker？

準(zhǔn)備好下載并安裝千兆字節(jié)的第三方庫(kù)吧。我們將使用Docker容器作為隔離環(huán)境，來(lái)配置和安裝所需的一切，而無(wú)需修改主機(jī)。

也就是說(shuō)，我們需要設(shè)置兩個(gè)不同的Docker容器：

YOLOv5容器：這個(gè)容器有兩個(gè)任務(wù)。首先，我們將使用自定義數(shù)據(jù)集訓(xùn)練模型。其次，我們將模型轉(zhuǎn)換為ONNX格式。

Hailo容器：這個(gè)容器用于將ONNX文件轉(zhuǎn)換為Hailo的HEF格式。

嘗試使用同一個(gè)Docker容器來(lái)完成這兩項(xiàng)任務(wù)，會(huì)因?yàn)閹?kù)（如numpy）的沖突而帶來(lái)不必要的麻煩。相信我，使用Docker來(lái)做它設(shè)計(jì)的事情，可以節(jié)省你的時(shí)間！

第一個(gè)Dockerfile由Hailo提供。第二個(gè)Dockerfile將在這個(gè)故事的后面部分提供。

本例中使用的數(shù)據(jù)集

我將使用Tech Zizou標(biāo)記口罩?jǐn)?shù)據(jù)集。你可以在這里找到它。

nature中發(fā)現(xiàn)的Tech Zizou標(biāo)簽口罩?jǐn)?shù)據(jù)

從Kaggle下載文件，并按照以下方式解壓：

mkdirsourceunzip -qq archive.zip -dsource/

source/obj中的文件結(jié)構(gòu)不符合YOLO的預(yù)期。希望下面的代碼能解決這個(gè)問(wèn)題：

importos, shutil, random# preparing the folder structurefull_data_path ='source/obj/'extension_allowed ='.jpg'split_percentage =90images_path ='datasets/images/'ifos.path.exists(images_path): shutil.rmtree(images_path)os.mkdir(images_path)labels_path ='datasets/labels/'ifos.path.exists(labels_path): shutil.rmtree(labels_path)os.mkdir(labels_path)training_images_path = images_path +'train/'validation_images_path = images_path +'val/'training_labels_path = labels_path +'train/'validation_labels_path = labels_path +'val/'os.mkdir(training_images_path)os.mkdir(validation_images_path)os.mkdir(training_labels_path)os.mkdir(validation_labels_path)files = []ext_len =len(extension_allowed)forr, d, f in os.walk(full_data_path): forfile in f: iffile.endswith(extension_allowed): strip = file[0:len(file) - ext_len] files.append(strip)random.shuffle(files)size =len(files) split =int(split_percentage * size /100)print("copying training data")fori inrange(split): strip = files[i] image_file = strip + extension_allowed src_image = full_data_path + image_file shutil.copy(src_image, training_images_path) annotation_file = strip +'.txt' src_label = full_data_path + annotation_file shutil.copy(src_label, training_labels_path)print("copying validation data")fori inrange(split, size): strip = files[i] image_file = strip + extension_allowed src_image = full_data_path + image_file shutil.copy(src_image, validation_images_path) annotation_file = strip +'.txt' src_label = full_data_path + annotation_file shutil.copy(src_label, validation_labels_path)print("finished")

這段代碼假設(shè)數(shù)據(jù)在source/obj/文件夾中，并將輸出數(shù)據(jù)放入datasets文件夾中。將文件命名為tidy_data.py，并按照以下方式運(yùn)行：

mkdirdatasetspython tidy_data.py

準(zhǔn)備數(shù)據(jù)

我們最終得到以下結(jié)構(gòu)：

Yolo預(yù)期的文件夾結(jié)構(gòu)

這里有一些需要注意的事項(xiàng)：

這個(gè)數(shù)據(jù)集只有兩個(gè)類(lèi)別：戴口罩和不戴口罩。

只有1359張訓(xùn)練圖像和151張驗(yàn)證圖像。

訓(xùn)練數(shù)據(jù)量很小。僅使用這些數(shù)據(jù)從頭開(kāi)始訓(xùn)練模型將產(chǎn)生非常差的模型，這種情況稱(chēng)為過(guò)擬合。

我們?cè)谶@里不深入探討建模細(xì)節(jié)。無(wú)論如何，為了簡(jiǎn)化事情，我們將使用一種稱(chēng)為遷移學(xué)習(xí)的技術(shù)，即在訓(xùn)練開(kāi)始前，將預(yù)訓(xùn)練的權(quán)重輸入到模型中。特別是，我們將使用Ultralytics提供的使用COCO數(shù)據(jù)庫(kù)訓(xùn)練的權(quán)重。

YOLOv5

Ultralytics的最新YOLO版本是11。

它比YOLOv5更快、更準(zhǔn)確。但這并不意味著YOLOv5已經(jīng)過(guò)時(shí)。實(shí)際上，Ultralytics明確表示，在某些特定場(chǎng)景下，YOLOv5是更優(yōu)的選擇。

在這個(gè)故事中，我有充分的理由避免使用YOLO 11：Hailo堆棧目前還不支持YOLO 11。

如果你真的不想使用YOLOv5，你可以輕松地將這個(gè)故事改編為使用YOLO 8。

Linux，朋友，Linux！

這個(gè)故事使用Linux，具體來(lái)說(shuō)是Ubuntu LTS。

對(duì)于人工智能開(kāi)發(fā)，我推薦使用Ubuntu 20.04或22.04。LTS一路相伴！

任務(wù)簡(jiǎn)報(bào)

整個(gè)過(guò)程由三個(gè)簡(jiǎn)單的步驟組成：

步驟1：訓(xùn)練自定義模型：在這一步中，我們使用自定義數(shù)據(jù)加上預(yù)訓(xùn)練的YOLOv5權(quán)重來(lái)訓(xùn)練模型，以執(zhí)行我們的檢測(cè)任務(wù)（在我們的例子中，是檢測(cè)戴或不戴口罩的臉）。這一步的輸出是一個(gè)pytorchbest.pt文件。這個(gè)文件只包含我們模型的參數(shù)值。

步驟2：將best.pt轉(zhuǎn)換為ONNX格式：ONNX是一種用于機(jī)器學(xué)習(xí)模型的開(kāi)放格式。這一步的輸出是一個(gè)best.onnx文件。

步驟3：將best.onnx轉(zhuǎn)換為HEF格式：Hailo可執(zhí)行格式是一種專(zhuān)門(mén)為在Hailo芯片上運(yùn)行而高度優(yōu)化的模型。在這一步中，我們將ONNX文件轉(zhuǎn)換為HEF文件。

一旦我們有了.hef格式的模型，我們只需將其部署到樹(shù)莓派上并進(jìn)行測(cè)試。

步驟1：訓(xùn)練你的自定義數(shù)據(jù)

為Hailo架構(gòu)訓(xùn)練模型并沒(méi)有什么新奇之處。你可以像往常一樣訓(xùn)練你的模型。

如果你已經(jīng)有了模型，就跳過(guò)這一步。否則，請(qǐng)繼續(xù)閱讀。

首先，如果系統(tǒng)中還沒(méi)有安裝Docker，請(qǐng)安裝它。

同時(shí)，安裝NVIDIA Container Toolkit。

Hailo在GitHub上共享了一個(gè)包含所需資源的倉(cāng)庫(kù)?？寺∷?/span>

gitclonehttps://github.com/hailo-ai/hailo_model_zoo

克隆 the hailo_model_zoo 倉(cāng)庫(kù)

我們?cè)趆ailo_model_zoo/training/yolov5文件夾中尋找YOLOv5訓(xùn)練的Dockerfile。移動(dòng)到這個(gè)文件夾，并使用以下命令構(gòu)建鏡像：

cdhailo_model_zoo/training/yolov5docker build -t yolov5:v0 .

構(gòu)建鏡像

現(xiàn)在，運(yùn)行容器：

docker run-it--name custom_training--gpus all--ipc=host-v/home/doleron/hailo/shared:/home/hailo/shared yolov5:v0

簡(jiǎn)而言之，-it標(biāo)志要求Docker以交互模式運(yùn)行容器，這對(duì)于后續(xù)執(zhí)行命令是必要的。

參數(shù)-v /home/doleron/hailo/shared:/home/hailo/shared將我機(jī)器上的/home/doleron/hailo/shared文件夾映射到容器機(jī)器上的/home/hailo/shared文件夾。

--gpus all指示Docker使用主機(jī)上可用的任何GPU。

現(xiàn)在，我們?cè)谌萜鲀?nèi)部。我們可以檢查/home/hailo/shared的內(nèi)容，以確保我們的數(shù)據(jù)集文件在那里：

ls/home/hailo/shared/ -als

使用交互模式運(yùn)行容器

這個(gè)容器沒(méi)有nano編輯器。除非你是Vim用戶(hù)，否則我建議按照以下方式安裝nano：

sudoapt updatesudo apt install nano -y

安裝完nano后，我們可以繼續(xù)并設(shè)置我們的訓(xùn)練。將datasets文件夾復(fù)制到workspace文件夾中：

cp-r /home/hailo/shared/datasets ..

現(xiàn)在，編寫(xiě)data/dataset.yaml文件：

nano data/dataset.yaml

這是data/dataset.yaml的內(nèi)容：

train: ../datasets/images/trainval: ../datasets/images/valnc: 2names: 0:'using mask' 1:'without mask'

按control-x，y，然后Enter保存文件并退出nano。

創(chuàng)建data/dataset.yaml文件

是時(shí)候訓(xùn)練我們的模型了！確保你在/workspace/yolov5文件夾中，并輸入：

python train.py--img640--batch16--epochs100--datadataset.yaml--weightsyolov5s.pt

如果你遇到類(lèi)似RuntimeError: CUDA out of memory的錯(cuò)誤，嘗試將--batch 16減少到--batch 8或更少。

我希望你熟悉基本的機(jī)器學(xué)習(xí)術(shù)語(yǔ)：batches、epoch等。你可以按照這份指南調(diào)整這些超參數(shù)。

https://docs.ultralytics.com/zh/guides/hyperparameter-tuning/

如果一切順利，你的GPU將開(kāi)始全力運(yùn)轉(zhuǎn)：

我的RTX 4070在燃燒!

保持溫度在81°C以下，你就沒(méi)事。

在我的情況下，這次訓(xùn)練大約用了40分鐘。

作為參考，使用另一臺(tái)配備GTX 1080的機(jī)器大約需要2小時(shí)。

最后，你會(huì)得到類(lèi)似這樣的結(jié)果：

訓(xùn)練結(jié)束

這意味著訓(xùn)練已經(jīng)完成。我們可以在runs/exp0文件夾中檢查結(jié)果。將這個(gè)文件夾復(fù)制到共享區(qū)域：

mkdir/home/hailo/shared/runscp-r runs/exp0 /home/hailo/shared/runs/

你最終會(huì)得到一個(gè)這樣的文件夾：

訓(xùn)練結(jié)果文件夾

我們可以檢查訓(xùn)練結(jié)果：

訓(xùn)練結(jié)果

比較第一行圖表（訓(xùn)練性能）和第二行圖表（驗(yàn)證性能），我們發(fā)現(xiàn)模型沒(méi)有過(guò)擬合。

值得一提的是，使用不同的驗(yàn)證實(shí)例集是評(píng)估模型質(zhì)量的首要要求。

可以使用常規(guī)的機(jī)器學(xué)習(xí)工程技術(shù)來(lái)改進(jìn)模型，以達(dá)到更高的性能。然而，這并不是我們現(xiàn)在的重點(diǎn)。

記?。何覀兊闹攸c(diǎn)是學(xué)習(xí)如何在樹(shù)莓派/Hailo AI Hat上使用這樣的模型。

讓我們進(jìn)入下一步！

步驟2：將best.pt文件轉(zhuǎn)換為ONNX

回到容器中，最好的權(quán)重文件是runs/exp0/weights/best.pt。我們可以使用以下命令將其轉(zhuǎn)換為ONNX：

python3 models/export.py --weights runs/exp0/weights/best.pt --img 640

注意，best.onnx已經(jīng)生成：

將best.pt轉(zhuǎn)換成best.onnx

將best.onnx復(fù)制到主機(jī)機(jī)器上：

cpruns/exp0/weights/best.onnx /home/hailo/shared/

我們已經(jīng)完成了這個(gè)容器的任務(wù)。如果你想退出，就退出吧。

步驟3：將ONNX轉(zhuǎn)換為HEF

本教程中最簡(jiǎn)單的部分是使用YOLOv5訓(xùn)練自定義模型并將結(jié)果文件轉(zhuǎn)換為ONNX?，F(xiàn)在，是時(shí)候?qū)NNX文件編譯成專(zhuān)有的Hailo可執(zhí)行格式（HEF）了。

在任何地方啟動(dòng)一個(gè)新的終端，并編寫(xiě)這個(gè)Dockerfile：

# using a CUDA supported Ubuntu 22.04 image as baseFROM nvidia/cuda:12.4.1-cudnn-runtime-ubuntu22.04 AS base_cudaENV DEBIAN_FRONTEND=noninteractiveENV PYTHONDONTWRITEBYTECODE=1ENV PYTHONUNBUFFERED=1RUN apt-get update && \ apt-get install -y \ # see: the Hailo DFC user guide python3.10 \ python3.10-dev \ python3.10-venv \ python3.10-distutils \ python3-pip \ python3-tk \ graphviz \ libgraphviz-dev \ libgl1-mesa-glx \ # utilities python-is-python3 \ build-essential \ sudo \ curl \ git \ nano && \ # clean up rm-rf /var/lib/apt/lists/*# update pipRUN python3 -m pip install --upgrade pip setuptools wheelWORKDIR /workspaceARG user=hailoARG group=hailoARG uid=1000ARG gid=1000RUN groupadd --gid$gid$group&& \ adduser --uid$uid--gid$gid--shell /bin/bash --disabled-password --gecos""$user&& \ chmodu+w /etc/sudoers &&echo"$userALL=(ALL) NOPASSWD: ALL">> /etc/sudoers &&chmod-w /etc/sudoers && \ chown-R$user:$group/workspace

將其保存為Dockerfile，并使用以下命令構(gòu)建鏡像：

dockerbuild -t hailo_compiler:v0 .

一旦鏡像構(gòu)建完成，按照以下方式啟動(dòng)容器：

docker run-it--name compile_onnx_file--gpus all--ipc=host-v/home/doleron/hailo/shared:/home/hailo/shared hailo_compiler:v0

這個(gè)命令會(huì)給我們一個(gè)容器機(jī)器內(nèi)的命令提示符：

運(yùn)行新Docker容器

這看起來(lái)像是似曾相識(shí)。我們?cè)谏弦还?jié)中剛剛執(zhí)行了類(lèi)似的步驟。那又怎樣？

關(guān)鍵在于：我們正在掛載第二個(gè)隔離容器來(lái)安裝Hailo的東西，而不用擔(dān)心與其他庫(kù)的沖突。特別是，我們需要安裝三個(gè)包：

Hailort：Hailo運(yùn)行時(shí)平臺(tái)

Hailort Wheel：Hailort Python庫(kù)

Hailo DFC：Hailo數(shù)據(jù)流編譯器

FOSS社區(qū)習(xí)慣了開(kāi)源生態(tài)系統(tǒng)。在這個(gè)上下文中，一切都可以從公開(kāi)可用的倉(cāng)庫(kù)中安裝。然而，Hailo在人工智能市場(chǎng)這個(gè)充滿(mǎn)挑戰(zhàn)和野性的商業(yè)世界中運(yùn)作。因此，他們的軟件還不是開(kāi)源的。希望Hailo的軟件至少是免費(fèi)的。

要使用Hailo的東西，我們必須在Hailo Network上創(chuàng)建一個(gè)賬戶(hù).

訪問(wèn)軟件下載頁(yè)面，并下載三個(gè)包：

hailort_4.21.0_amd64.deb

hailort-4.21.0-cp310-cp310-linux_x86_64.whl

hailo_dataflow_compiler-3.31.0-py3-none-linux_x86_64.whl

Hailo 網(wǎng)絡(luò)下載頁(yè)面

將它們保存在共享文件夾的某個(gè)地方，并將它們復(fù)制到容器中：

cp/home/hailo/shared/libs/* .

在安裝軟件之前，為Python創(chuàng)建一個(gè)虛擬環(huán)境并激活它：

python -m venv .venvsource.venv/bin/activate

然后，安裝Hailo RT包：

dpkg-i ./hailort_4.21.0_amd64.deb

安裝Hailo RT

接下來(lái)，安裝Hailo RT Python API：

pipinstall ./hailort-4.21.0-cp310-cp310-linux_x86_64.whl

現(xiàn)在，安裝Hailo DFC：

pipinstall ./hailo_dataflow_compiler-3.31.0-py3-none-linux_x86_64.whl

注意，包版本表示在這個(gè)故事編寫(xiě)時(shí)Hailo軟件的當(dāng)前階段。它們必須與容器Python版本（3.10）匹配。

我們還沒(méi)完成。我們必須克隆并安裝hailo_model_zoo：

gitclonehttps://github.com/hailo-ai/hailo_model_zoo.gitcdhailo_model_zoopip install -e .

檢查hailomz是否正確設(shè)置：

hailomz--version

安裝Hailo內(nèi)容

堅(jiān)持??！最困難的部分現(xiàn)在來(lái)了：將best.onnx文件編譯成best.hef文件。

要使這工作，我們需要將hailo_model_zoo/cfg/postprocess_config/yolov5s_nms_config.json中的類(lèi)別數(shù)更改為2：

請(qǐng)注意，在hailo_model_zoo倉(cāng)庫(kù)中有一個(gè)hailo_model_zoo文件夾！

在開(kāi)始編譯器之前，設(shè)置USER環(huán)境變量：

exportUSER=hailo

現(xiàn)在，按照以下方式調(diào)用hailomz：

hailomz compile--ckpt/home/hailo/shared/best.onnx--calib-path/home/hailo/shared/datasets/images/train/--yaml hailo_model_zoo/cfg/networks/yolov5s.yaml

慢慢來(lái)。等待10分鐘，讓hailomz優(yōu)化并編譯你的模型：

用hailomz編譯模型

如果一切順利，你會(huì)得到以下消息：

HEF 編譯

注意，將ONNX轉(zhuǎn)換為HEF包括一個(gè)新元素：校準(zhǔn)圖像。校準(zhǔn)圖像是Hailo編譯器用于優(yōu)化模型的特性空間的示例。我在這里沒(méi)有找到任何文檔，但一旦hailomz編譯器警告我使用超過(guò)1024個(gè)實(shí)例，使用相同的訓(xùn)練集似乎就能工作。

將yolov5s.hef復(fù)制到共享區(qū)域：

cpyolov5s.hef /home/hailo/shared/

最困難的部分已經(jīng)完成。我們可以退出容器實(shí)例。

在樹(shù)莓派5上部署模型

將yolov5s.hef復(fù)制到樹(shù)莓派上。

在樹(shù)莓派上運(yùn)行Hailo應(yīng)用程序的細(xì)節(jié)超出了這個(gè)故事的范圍。

在樹(shù)莓派上，運(yùn)行以下命令：

gitclonehttps://github.com/hailo-ai/hailo-rpi5-examples.gitcdhailo-rpi5-examplessourcesetup_env.shpython basic_pipelines/detection.py --labels-json custom.json --hef-path /home/pi/Documents/yolov5s.hef --input /home/pi/Documents/videoplayback.mp4 -f

其中custom.json是：

{ "detection_threshold":0.5, "max_boxes":200, "labels":[ "unlabeled", "with mask", "without mask" ]}

使用這個(gè)視頻的結(jié)果是：

即使在高清分辨率下，對(duì)象檢測(cè)也能達(dá)到30 fps。這是令人印象深刻的！您可以探索其他輸入類(lèi)型，例如:

python basic_pipelines/detection.py --labels-json custom.json --hef-path /home/pi/Documents/yolov5s.hef --input usb -f

或者

python basic_pipelines/detection.py --labels-json custom.json --hef-path /home/pi/Documents/yolov5s.hef --input rpi -f

查看Hailo RPI示例倉(cāng)庫(kù)以獲取更多參數(shù)和用法示例。

https://github.com/hailo-ai/hailo-rpi5-examples

使用其他YOLO版本

值得注意的是，在撰寫(xiě)本文時(shí)，Hailo模型編譯器僅與YOLO3、YOLO4、YOLOv5、YOLOv8和YOLOX進(jìn)行了測(cè)試。

查看Hailo開(kāi)發(fā)者專(zhuān)區(qū)，了解Hailo編譯器何時(shí)將支持更早的YOLO版本。

結(jié)論

我們展示了使用Hailo AI Hat在樹(shù)莓派5上訓(xùn)練自定義數(shù)據(jù)集、編譯和部署模型的完整步驟序列。

我期待著弄清楚AI Hat能做什么。但這是另一個(gè)故事的話題了。

原文地址：

https://pub.towardsai.net/custom-dataset-with-hailo-ai-hat-yolo-raspberry-pi-5-and-docker-0d88ef5eb70f