描述

問(wèn)題

我喜歡露營(yíng)，但我不是一個(gè)“露營(yíng)愛(ài)好者”，我通常每年都會(huì)和家人一起露營(yíng)一到兩次。但也有不少露營(yíng)愛(ài)好者去深林。雖然在深林中露營(yíng)非常冒險(xiǎn)，但存在熊、土狼等野生動(dòng)物的威脅。有使用攝像頭追蹤野生動(dòng)物的設(shè)備，但問(wèn)題是攝像頭在黑暗中無(wú)法工作。在大多數(shù)情況下，野生動(dòng)物會(huì)在夜間襲擊露營(yíng)者。

我們?nèi)绾谓鉀Q？

我們需要一種可以在黑暗中工作并在任何野生動(dòng)物接近時(shí)提醒露營(yíng)者的設(shè)備。我們不能為此使用普通相機(jī)。我們需要一些可以在沒(méi)有光的情況下工作的東西，比如熱像儀。

解決方案是露營(yíng)車(chē)

隆重推出配備 Grove MLX90640 紅外熱像儀和 Seeed 的 Wio 終端的露營(yíng)車(chē)。在 Wio 終端上運(yùn)行的 tinyML 模型可以預(yù)測(cè)是否有任何動(dòng)物或人類(lèi)靠近。如果檢測(cè)到，數(shù)據(jù)將發(fā)送到 AWS IoT 主題。

?

?

我已經(jīng)使用 Edge Impulse Studio 構(gòu)建了 ML 模型。在編寫(xiě)此項(xiàng)目時(shí)（2021 年 11 月），EI 不支持用于開(kāi)箱即用數(shù)據(jù)收集的熱像儀饋送，因此從 Wio 終端收集數(shù)據(jù)并轉(zhuǎn)發(fā)到 Edge Impulse 以構(gòu)建模型。數(shù)據(jù)收集過(guò)程的靈感來(lái)自 Naveen 的hackster項(xiàng)目。

創(chuàng)建EI項(xiàng)目

轉(zhuǎn)到您的EI 帳戶并創(chuàng)建一個(gè)新項(xiàng)目。導(dǎo)航到“密鑰”選項(xiàng)卡并添加新的 HMAC 密鑰。將密鑰復(fù)制到某處，稍后您將需要它。

?

數(shù)據(jù)采集

紅外熱像儀搭載了一個(gè)32x24陣列的熱傳感器（MLX90640），它可以檢測(cè)腳外物體的溫度，精度為±1.5℃。為了方便地獲取熱圖像，使用I2C協(xié)議從相機(jī)中獲取低分辨率圖像。數(shù)據(jù)將是 768 個(gè)溫度值的 32x24 數(shù)組。MLX90640 通過(guò) I2C 端口連接到 Wio 終端，我已插入 SD 卡以捕獲 CSV 文件中的讀數(shù)。Wio 終端上的 3 個(gè)按鈕用于標(biāo)記 3 個(gè)類(lèi)

A - Animal , B- Human , C - Background

使用程序 WIO_Camper_Data_Collector.ino 收集數(shù)據(jù)。上傳此程序并開(kāi)始收集數(shù)據(jù)。

收集數(shù)據(jù)后，從 Wio Terminal 中取出 SD 卡并插入您的計(jì)算機(jī)。您應(yīng)該會(huì)看到如下所示的 CVS 文件。

?

每個(gè)文件有 768 個(gè)值，用逗號(hào)分隔。

?

將所有文件復(fù)制到文件夾 data 下名為 raw 的目錄中。然后運(yùn)行程序imager.py ，它將在 /data/visual 文件夾下創(chuàng)建數(shù)據(jù)的可視化表示。

python3 imager.py

此步驟是可選的。它可以幫助您以圖像格式查看 csv 數(shù)據(jù)，但與訓(xùn)練模型無(wú)關(guān)。

?

數(shù)據(jù)轉(zhuǎn)發(fā)

這是非常有趣的部分。Edge Impulse 數(shù)據(jù)轉(zhuǎn)發(fā)器僅支持時(shí)間序列原始數(shù)據(jù)。但是熱像儀數(shù)據(jù)是非時(shí)間序列的。相反，它是一個(gè) 32x24 的數(shù)組，其中包含 768 個(gè)離散值。我們將其視為間隔為 1 微秒的單通道 768 時(shí)間序列數(shù)據(jù)。下圖將幫助您想象我在說(shuō)什么。

?

您會(huì)注意到一張圖像（768 個(gè)值）表示為間隔為 1 毫秒的時(shí)間序列數(shù)據(jù)。現(xiàn)在您知道我們希望在上傳到 Edge Impulse 之前如何格式化數(shù)據(jù)了。讓我們開(kāi)始吧。

打開(kāi)data-formatter.py并粘貼您之前獲得的 HMAC 密鑰。然后運(yùn)行程序。

python3 data-formatter.py

該程序?qū)槊總€(gè) cvs 文件創(chuàng)建一個(gè) json 文件并將它們存儲(chǔ)在/data/formatted_data文件夾下。您可以在下面看到值表示為間隔為 1 秒的時(shí)間序列數(shù)據(jù)。只有傳感器數(shù)據(jù)通道是溫度。

?

當(dāng)您準(zhǔn)備好數(shù)據(jù)后，我們將使用 Edge Impulse CLI 上傳數(shù)據(jù)。您需要安裝 CLI。按照本教程設(shè)置 CLI。

CD 進(jìn)入 formatted_data 文件夾并執(zhí)行以下命令。

edge-impulse-uploader --category split *.json

這應(yīng)該將所有 json 數(shù)據(jù)上傳到“數(shù)據(jù)采集”頁(yè)面下的 Edge Impulse 項(xiàng)目。

?

建立模型

當(dāng)我們收集了數(shù)據(jù)后，讓我們構(gòu)建和訓(xùn)練我們的模型。導(dǎo)航到“創(chuàng)建沖動(dòng)”頁(yè)面。

?

單擊“添加輸入塊”，選擇“時(shí)間序列數(shù)據(jù)”。將窗口大小和窗口增加大小都設(shè)置為 768ms。還記得我們的 json 數(shù)據(jù)有 768 個(gè)值，間隔為 1 毫秒嗎？

接下來(lái)，單擊“添加處理塊”，選擇“原始數(shù)據(jù)”。

然后，點(diǎn)擊“Add a learning block”，選擇 Classification (Keras) 并保存 impulse。

?

導(dǎo)航到“原始數(shù)據(jù)”頁(yè)面，保持默認(rèn)并移動(dòng)到“NN 分類(lèi)器”，調(diào)整訓(xùn)練周期和學(xué)習(xí)率。盡量不要過(guò)度擬合模型。如果您的模型表現(xiàn)不佳，請(qǐng)嘗試收集更多數(shù)據(jù)并重新訓(xùn)練。

?

下載 Arduino 庫(kù)

導(dǎo)航到“部署”頁(yè)面，選擇“Arduino”并構(gòu)建。這會(huì)將庫(kù)下載為 zip 文件。將此庫(kù)導(dǎo)入 Arduino IDE。我假設(shè)你的項(xiàng)目名稱是“camper”，你的 arduino 庫(kù)文件應(yīng)該是camper_inferencing.h

?

設(shè)置 AWS 物聯(lián)網(wǎng)

在這個(gè)項(xiàng)目的第一階段，我使用 WiFi 連接將數(shù)據(jù)發(fā)送到 AWS IoT。要使Wio 終端連接wifi，您需要更新設(shè)備固件。過(guò)程非常簡(jiǎn)單。按照此說(shuō)明進(jìn)行操作。

要連接到 AWS，您需要?jiǎng)?chuàng)建一個(gè)“Thing”并使用證書(shū)連接到“Thing”。Seeed studio 編寫(xiě)了一個(gè)實(shí)用的 python 程序，它將為您創(chuàng)建所有資源。按照這個(gè)。我有另一個(gè)項(xiàng)目，我在其中解釋了 AWS 設(shè)置。你可以參考這個(gè)項(xiàng)目。

create_thing.py將在終端上輸出證書(shū)和私鑰。復(fù)制它們并粘貼到cogfig.h文件中。

#ifndef _CONFIG_H_
#define _CONFIG_H_

// TODO ADD YOUR CONFIGURATION HERE
// WiFi and MQTT configuration
static auto constexpr WIFI_SSID = "";
static auto constexpr WIFI_PASSWORD = "";

// DHCP client id
static auto constexpr CLIENT_ID = "CLIENTID";
// hostname of your MQTT ATS endpoint
static auto constexpr HOST_ADDRESS = "xxxxxxx-ats.iot.us-east-1.amazonaws.com";

static auto constexpr TOPIC_NAME = "camper";
static auto constexpr ALERT_TOPIC_NAME = "camper_alerts";

// "AWS root CA1 and CA2 (RSA)", see
// https://docs.aws.amazon.com/iot/latest/developerguide/managing-device-certs.html#server-authentication

static auto constexpr aws_root_ca_pem = "CA_Root_Certificate";

// certificate and private key for the thing. See README.md for details
// and use the create_thing.py script to create certificate and key.
// "The certificate for this thing"
auto constexpr certificate_pem_crt = "";
auto constexpr private_pem_key= "";
#endif

您還需要輸入您的 wifi 憑證和 AWS IoT 主機(jī)地址。更改后，將 WIO_Camper_Inference.ino 程序上傳到 wio 終端。

設(shè)備每分鐘都會(huì)向 AWS IoT 主題發(fā)送數(shù)據(jù)，當(dāng)檢測(cè)到動(dòng)物或人類(lèi)時(shí)，設(shè)備也會(huì)發(fā)出嗡嗡聲。

?

我用我的寵物測(cè)試了這個(gè)，因?yàn)槲也唤?jīng)常在外面看到動(dòng)物，但我計(jì)劃找個(gè)時(shí)間在動(dòng)物園里測(cè)試一下 :)

?

由于數(shù)據(jù)在 AWS 中，您可以從這里做很多事情。就像將數(shù)據(jù)發(fā)送到 dynamodb、運(yùn)行一些分析、使用 Amazon Pinpoint 將推送通知發(fā)送到手機(jī)、將文本消息發(fā)送到您的手機(jī)。

階段2

正如您所想象的，依賴 wifi 在這里并不是一個(gè)好的解決方案，因?yàn)樵撛O(shè)備主要會(huì)在您的家庭 wifi 之外。我的計(jì)劃很少

• 我可以構(gòu)建一個(gè)移動(dòng)應(yīng)用程序，通過(guò)藍(lán)牙連接到 Wio 終端并將數(shù)據(jù)發(fā)送到移動(dòng)應(yīng)用程序，而不是 wio 終端直接向 AWS 發(fā)送數(shù)據(jù)。然后，移動(dòng)應(yīng)用程序?qū)⑹褂?Cognito 將數(shù)據(jù)發(fā)送到 AWS。我在我的伙伴項(xiàng)目中做過(guò)類(lèi)似的事情。
• 我可以完全消除對(duì) wifi 或蜂窩連接的依賴，并直接從設(shè)備向 LoRa 網(wǎng)絡(luò)（TTN 或 Helium）發(fā)送數(shù)據(jù)。然后 TTN 或 Helium 會(huì)將消息委托給 AWS IoT。我以前做過(guò)類(lèi)似的項(xiàng)目。您可以查看保存泥炭地或VFence項(xiàng)目。

?

該項(xiàng)目也發(fā)布在PCBWay上。