在這篇特邀文章中，我們的合作伙伴索尼公司的雷蒙娜-雷納（Ramona Rayner）將向您展示如何快速探索不同的模型和人工智能功能，以及如何在 Raspberry Pi 人工智能相機(jī)的基礎(chǔ)上輕松構(gòu)建應(yīng)用程序。
最近推出的 Raspberry Pi AI Camera 是一款功能強(qiáng)大的硬件，可讓您在 Raspberry Pi 上構(gòu)建功能強(qiáng)大的 AI 應(yīng)用程序。通過(guò)將人工智能推理卸載到 IMX500 加速器芯片上，可以利用更多的計(jì)算資源來(lái)處理邊緣應(yīng)用邏輯！我們很想知道您將創(chuàng)造出什么，也很想為您提供更多的工具。這篇文章將介紹如何快速探索不同的模型和人工智能功能，以及如何在 Raspberry Pi AI Camera 的基礎(chǔ)上輕松構(gòu)建應(yīng)用程序。如果您沒(méi)有機(jī)會(huì)閱讀入門指南，請(qǐng)務(wù)必先查看該指南，以確認(rèn)您的 AI 相機(jī)設(shè)置正確。

探索訓(xùn)練前的模型

開(kāi)始探索 Raspberry Pi 人工智能相機(jī)可能性的一個(gè)好方法是試用 IMX500 Model Zoo 中的一些預(yù)訓(xùn)練模型。為了簡(jiǎn)化探索過(guò)程，可以考慮使用圖形用戶界面工具（GUI Tool），該工具旨在快速上傳不同的模型，并查看 AI 攝像機(jī)上的實(shí)時(shí)推理結(jié)果。IMX500 Model Zoo :https://github.com/raspberrypi/imx500-modelsGUI Tool :https://github.com/SonySemiconductorSolutions/aitrios-rpi-sample-app-gui-tool要啟動(dòng)圖形用戶界面工具，請(qǐng)確保已安裝 Node.js。(通過(guò)在終端運(yùn)行 node --version 驗(yàn)證 Node.js 是否已安裝），并在軟件源的根目錄下運(yùn)行以下命令來(lái)構(gòu)建和運(yùn)行該工具：https://github.com/SonySemiconductorSolutions/aitrios-rpi-sample-app-gui-tool

make build

./dist/run.sh

圖形用戶界面工具可通過(guò) http://127.0.0.1:3001 訪問(wèn)。查看模型操作

點(diǎn)擊界面右上角的 ADD（添加）按鈕添加自定義模型。

提供添加自定義網(wǎng)絡(luò)所需的詳細(xì)信息，并上傳 network.rpk 文件和（可選）labels.txt 文件。

• 選擇模型并導(dǎo)航至 “相機(jī)預(yù)覽 ”以查看模型的運(yùn)行情況！

以下是 IMX500 Model Zoo 中的幾款機(jī)型：

探索不同的型號(hào)可以讓您深入了解攝像機(jī)的功能，并確定最適合您要求的型號(hào)。當(dāng)您認(rèn)為已經(jīng)找到合適的型號(hào)時(shí)，就可以構(gòu)建應(yīng)用程序了。

建立應(yīng)用當(dāng)模型推理在 IMX500 上進(jìn)行時(shí)，Raspberry Pi 上有足夠的 CPU 來(lái)運(yùn)行應(yīng)用程序。為了演示這一點(diǎn)，我們將運(yùn)行一個(gè)鍛煉監(jiān)測(cè)示例應(yīng)用程序。鍛煉監(jiān)測(cè)示例應(yīng)用程序:https://github.com/SonySemiconductorSolutions/aitrios-rpi-sample-apps/tree/main/examples/workout-monitor其目的是通過(guò)檢測(cè)和跟蹤進(jìn)行引體向上、俯臥撐、腹肌鍛煉和深蹲等常見(jiàn)鍛煉的人，實(shí)時(shí)計(jì)算鍛煉次數(shù)。該應(yīng)用程序?qū)⒂?jì)算框架中每個(gè)人的重復(fù)次數(shù)，確保多人可以同時(shí)鍛煉和競(jìng)爭(zhēng)，同時(shí)獲得自動(dòng)重復(fù)次數(shù)計(jì)算。要運(yùn)行該示例，請(qǐng)克隆示例應(yīng)用程序資源庫(kù)，并確保從 Raspberry Pi IMX500 Model Zoo 下載 HigherHRNet 模型。

sudo apt install python3-opencv

并從存儲(chǔ)庫(kù)的根目錄運(yùn)行：

python3 -m venv venv --system-site-packagessource venv/bin/activatecd examples/workout-monitor/pip install -e .

在練習(xí)之間切換非常簡(jiǎn)單，只需提供相應(yīng)的練習(xí)參數(shù)，如引體向上、俯臥撐、腹肌鍛煉或深蹲。

workout-monitor --model /path/to/imx500_network_higherhrnet_coco.rpk --exercise pullup

模型后處理，將模型輸出張量解釋為邊界框和骨架關(guān)鍵點(diǎn)

跟蹤器模塊（ByteTrack）用于給檢測(cè)到的人一個(gè)唯一的 ID，以便計(jì)算每個(gè)人的運(yùn)動(dòng)次數(shù)

匹配器模塊，通過(guò)匹配各幀中的人物來(lái)提高追蹤結(jié)果的準(zhǔn)確性，從而避免丟失他們的 ID

CV2 可視化功能，可將檢測(cè)結(jié)果可視化，并查看應(yīng)用程序的結(jié)果

所有這些都是在邊緣實(shí)時(shí)完成的，而 IMX500 則負(fù)責(zé)人工智能推理！

現(xiàn)在，你和人工智能攝像機(jī)都在測(cè)試對(duì)方的極限。你能做多少個(gè)引體向上？