描述

一家商店可能會因為產品缺貨或在大商店貨架上的擺放位置不正確而導致銷售額下降。工作人員進行目視檢查，以發(fā)現貨架上缺貨和錯放的產品。

我們正在嘗試使視覺檢查過程自動化，其中計算機視覺充當另一組眼睛，監(jiān)視商店中的每個貨架。經過訓練的 FOMO 模型可以識別商店庫存中的產品，并在需要補貨時提醒員工。FOMO 模型經過訓練可以識別商店中的所有產品。該模型可以識別和計算貨架上可用物品的數量。當計數低于閾值時，工作人員會立即收到警報，從而確保產品的適當供應。

人工智能支持的庫存控制還使管理人員能夠跟蹤產品趨勢并更輕松地下新產品訂單以滿足未來需求。

優(yōu)點

• 對店內商品進行實時檢測和統計
• 庫存不足時立即發(fā)出警報
• 可升級系統監(jiān)控進出庫時間，幫助管理者追蹤產品動向
• 可以分析用戶行為以修改商店中產品的對齊方式
• 管理商店所需的員工數量減少。
• 員工無干擾的環(huán)境為客戶提供了更多的探索空間。

它是如何工作的？

該系統的關鍵部件是智能相機。智能相機由一個 Raspberry Pi 4 和一個兼容的相機模塊組成，在其中運行一個物體檢測模型。對象檢測模型計算貨架上的產品數量，當數量低于閾值時，會在 Web 界面中生成警報。

?

硬件要求

• 樹莓派 4B
• 5MP 攝像頭模組
• 兼容電源

軟件要求

• 邊緣脈沖 Python SDK
• Python 3.x
• HTML、CSS、JS

硬件設置

當前的硬件設置非常少。該設置包括使用 15 針帶狀電纜連接到 Raspberry Pi 4B 的 5 MP 攝像頭模塊。

?

軟件設置

如果您是新手，還沒有為 EdgeImpulse 設置 Raspberry Pi，請按照此快速教程將設備連接到 EdgeImpulse 儀表板。

成功連接設備后，您應該會在“設備”選項卡中看到類似這樣的內容。

?

構建 TinyML 模型

1. 數據采集與標注

在初步的軟件和硬件設置之后，現在是構建對象檢測模型的時候了。讓我們從收集一些數據開始。我們可以使用兩種方法來收集數據。我們可以使用連接的設備直接收集數據，也可以使用 Uploader 上傳現有數據。在這個項目中，我們使用前一種方法。

?

上傳數據后，我們可以從標記隊列中標記未標記的圖像。這里我們有兩個類，因此有兩個標簽 - Drink 和 Biscuit 。

2. 沖動設計

由于我們的案例是實時檢測和計數，因此我們需要一個性能更快且準確度可靠的模型。所以我們使用 FOMO 來生成一個輕量級、更快的模型。由于 FOMO 在 96x96 圖像上表現更好，我們將圖像尺寸設置為 96px。保持調整大小模式以適合最短軸，向脈沖添加圖像處理塊和對象檢測（圖像）學習塊。

?

轉到“圖像”選項卡，選擇顏色深度并保存用于生成特征的參數。我們選擇RGB作為顏色深度。生成特征后，繼續(xù)訓練模型。

?

3.模型訓練

現在我們已經設計了沖動，讓我們繼續(xù)訓練模型。我們用于模型訓練的設置如圖所示。您可以調整模型訓練設置，使訓練后的模型表現出更高的準確性，但要注意不要過度擬合。

?

我們使用FOMO (MobileNet V2 0.35)作為神經網絡。讓我們使用默認訓練設置訓練模型，看看輸出模型的準確性。

?

通過大量的訓練數據，我們使用默認訓練設置本身達到了 98.9% 的非常好的準確率。現在讓我們看看模型在測試數據上的表現如何。為此，請繼續(xù)進行模型測試和全部分類。

?

該模型在測試數據上也表現出色。現在是測試最后階段或更確切地說是模擬部署的時候了。轉到“部署”選項卡并直接在您的手機上運行 Impulse 。現在將手機放在您的產品前面，看看模型在現實世界中的表現如何。

?

該模型在現實世界中表現非常好。那么，讓我們繼續(xù)部署。

Firebase 實時數據庫

對于我們的項目，我們使用了 Firebase 實時數據庫，它使我們無需等待即可快速上傳和檢索數據。在這種情況下，我們利用了 Pyrebase 包，它是 Firebase 的 Python 包裝器。

要安裝 Pyrebase，

pip install pyrebase

在數據庫中，按照給定的步驟操作。

• 創(chuàng)建一個項目。
• 然后導航到構建部分并創(chuàng)建一個實時數據庫。
• 以測試模式啟動，因此我們可以在不進行任何身份驗證的情況下更新數據
• 從項目設置中，復制配置。

現在通過替換配置詳細信息將這段代碼添加到您的 python 文件中以從 firebase 訪問數據。

import pyrebase
config = {
"apiKey": "apiKey",
"authDomain": "projectId.firebaseapp.com",
"databaseURL": "https://databaseName.firebaseio.com",
"storageBucket": "projectId.appspot.com"
}
firebase = pyrebase.initialize_app(config)

網絡界面

我們正在使用使用 HTML、CSS 和 JS 創(chuàng)建的網頁來實時顯示缺陷。Firebase Realtime Database 中更新的數據在網頁上實時更新。該網頁顯示商店中每種產品的當前數量。如果計數小于前綴閾值，它會在 Web 界面中顯示警報。

?

?

?

項目演示

?

?