描述

介紹

盡管當(dāng)今可穿戴設(shè)備種類繁多，但大多數(shù)人工智能功能歸結(jié)為僅定義非常簡單的動(dòng)作。他們確定一個(gè)人是在跑步還是在睡覺，他們計(jì)算步數(shù)，并確定一個(gè)人是否跌倒。

在我看來，我們已經(jīng)準(zhǔn)備好從我們的設(shè)備進(jìn)行更復(fù)雜的分析。如果他們能夠識別更具體、相似和復(fù)雜的活動(dòng)會(huì)怎樣？它將開啟前所未有的可能性，創(chuàng)造出許多有趣的新應(yīng)用程序和設(shè)備。

然而，識別更復(fù)雜的活動(dòng)需要龐大而復(fù)雜的神經(jīng)網(wǎng)絡(luò)，這需要大量的計(jì)算。這顯然會(huì)很快耗盡嵌入該神經(jīng)網(wǎng)絡(luò)的物聯(lián)網(wǎng)設(shè)備的電池。大多數(shù)可穿戴設(shè)備應(yīng)在常亮模式下運(yùn)行，這對此類解決方案的能源效率提出了嚴(yán)格要求。

我們?nèi)绾谓鉀Q這個(gè)挑戰(zhàn)？在我的項(xiàng)目中，我想展示一個(gè)示例，說明如何顯著增加智能功能的復(fù)雜性，并確定可穿戴設(shè)備可以使用非常小且準(zhǔn)確的神經(jīng)網(wǎng)絡(luò)識別什么。

在我的項(xiàng)目中，您將找到有關(guān)如何使用 Nicla Sense ME 實(shí)施多項(xiàng)日?；顒?dòng)識別的詳細(xì)指南。

如果你有 Nicla Sense ME，你可以在你的實(shí)驗(yàn)/項(xiàng)目/課程中嘗試我的預(yù)訓(xùn)練模型。

我們的測試結(jié)果表明，該模型完美地識別了 30 名未使用其數(shù)據(jù)訓(xùn)練模型的參與者的動(dòng)作。

按照本教程，您還可以輕松地進(jìn)行自己的實(shí)驗(yàn)并根據(jù)您的數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)以識別相同或不同的動(dòng)作。

我們相信，使用小型神經(jīng)網(wǎng)絡(luò)識別極其復(fù)雜和相似的動(dòng)作的能力為永遠(yuǎn)在線的設(shè)備開辟了一個(gè)新時(shí)代。

下面，您將找到有關(guān)如何重現(xiàn)此實(shí)驗(yàn)的完整教程，包括數(shù)據(jù)收集、模型訓(xùn)練、模型嵌入和推理。此外，我們還創(chuàng)建了一個(gè)帶有預(yù)訓(xùn)練模型的公共存儲庫，該模型已證明對新用戶具有良好的泛化能力。它是一個(gè)預(yù)編譯的模型存檔，您只需點(diǎn)擊幾下鼠標(biāo)即可下載并嵌入到您的 Nicla Sense ME 中，然后開始測試。

https://github.com/NeutonTinyML/hand-activity-recognition

使用 Nicla Sense ME 收集數(shù)據(jù)

對于這個(gè)案例，我選擇了 5 種類型的活動(dòng)（對于您的實(shí)驗(yàn)，您可以選擇其他活動(dòng)）：

• 洗手
• 刷牙
• 鼓掌
• 梳理頭發(fā)
• 隨機(jī)活動(dòng)（負(fù)類）

對于每種活動(dòng)類型，我使用 Nicla Sense ME 連續(xù) 10 分鐘不間斷地收集傳感器數(shù)據(jù)。數(shù)據(jù)是從 7 個(gè)不同地點(diǎn)的 7 個(gè)不同的人那里收集的。這是一個(gè)非常具有挑戰(zhàn)性但又很有趣的過程，因?yàn)闉榱苏_收集數(shù)據(jù)，中斷是不可取的。對于那些計(jì)劃重新進(jìn)行我的實(shí)驗(yàn)的人，這里有一些建議：在為另一項(xiàng)活動(dòng)收集數(shù)據(jù)之前，先休息一下！但是，如果 10 分鐘的持續(xù)刷毛太多了，您可以進(jìn)行兩個(gè) 5 分鐘的數(shù)據(jù)收集流，然后將兩個(gè)文件連接起來。

對于負(fù)類，我們收集了 60 分鐘的數(shù)據(jù)。這次不需要做任何特別的事情；繼續(xù)你的日?；顒?dòng)。在鍵盤上打字，操作鼠標(biāo)，接聽電話，喝茶，或做任何你想做的事。只需確保在收集負(fù)面類別數(shù)據(jù)期間，您的手不會(huì)完全閑著不動(dòng)。負(fù)面類別是除上述 4 類之外的所有其他類別的子集。

腳步：

現(xiàn)在讓我為您提供有關(guān)如何調(diào)整 Arduino 板 Nicla Sense ME 以收集數(shù)據(jù)的詳細(xì)指南。

1.訪問https://www.arduino.cc/en/software，為您的操作系統(tǒng)下載 Arduino IDE 2.xx，并安裝軟件包。

2.打開 Arduino IDE，單擊Boards Manager圖標(biāo)，鍵入“nicla sense me”并安裝Arduino Mbed OS Nicla Boards包。

單擊庫管理器圖標(biāo)，在搜索框中鍵入“nicla sense me”并安裝兩個(gè)庫：Arduino_BHY2和ArduinoBLE 。

在搜索框中鍵入“printf”并安裝LibPrintf 。

3.在主菜單中選擇File->Examples->Arduino_BHY2>BHYFirmwareUpdate 。

4.將Nicla Sense ME板連接到 USB 并在下拉菜單中選擇端口。

5.點(diǎn)擊上傳按鈕...

…等到上傳過程完成。

6.單擊串行監(jiān)視器圖標(biāo)并選擇115200 波特，然后單擊 Nicla 開發(fā)板上的重置按鈕。

7. 5-10 秒后，您會(huì)看到 BHY 固件已上傳。

8.使用 Nicla Sense ME 從 Neuton存儲庫下載用于傳感器數(shù)據(jù)收集的 Arduino 預(yù)編譯庫。

模型 -> Arduino_Neuton.zip（不要解壓存檔）

9.將“Arduino_Neuton.zip”模型安裝到 Arduino IDE 中：

Sketch -> Include Library -> Add .ZIP Library…（指向下載的“Arduino_Neuton.zip”存檔）

10.退出并重新啟動(dòng) Arduino IDE（Arduino IDE 最多需要一分鐘時(shí)間來索引所有示例，包括新安裝的“Arduino_Neuton”）

11、打開安裝好的例子：File -> Examples -> Arduino_Neuton -> Inertial_Sensor_Data_Collection （會(huì)彈出一個(gè)新的Arduino IDE窗口，關(guān)閉之前的Arduino IDE窗口）

12.將 Nicla Sense ME 連接到計(jì)算機(jī)的 USB 端口。

13.在 IDE 中選擇您的 MCU 并上傳固件。

14.固件上傳后（1-2 分鐘），打開串行監(jiān)視器 - 您應(yīng)該看到傳感器讀數(shù)（如果您看到連接錯(cuò)誤 - 重新啟動(dòng) Arduino IDE 并再次打開串行監(jiān)視器）

現(xiàn)在您可以從 USB 端口拔下電路板。

15.將電路板牢固地連接到手表或手鏈上。Micro-USB 端口應(yīng)位于右下角。

16.將帶有電路板的手表或手環(huán)戴在右手上，并連接數(shù)據(jù)線。確保連接器附近的電纜沒有拉緊，以免損壞電路板。

17.根據(jù)您的操作系統(tǒng)，打開串行端口并嘗試記錄數(shù)據(jù)。在提示中可以看到串口。

如果您使用的是 macOS，請?jiān)诮K端中使用此命令：

stty -f /dev/cu.usbmodem85EB3A0F2 115200 | 貓/dev/cu.usbmodem85EB3A0F2 | T 恤 4_brushing_hair.csv

這會(huì)將端口速度設(shè)置為 115200 波特。從串行端口打印出文本數(shù)據(jù)并將其保存為 CSV 文件。

按 Control-C 停止錄制。將有一個(gè) CSV 文件，其中包含來自傳感器（加速度計(jì)、線性加速度計(jì)和陀螺儀）的數(shù)據(jù)和時(shí)間戳。

18.開始記錄運(yùn)動(dòng)。按下 Nicla 板上的重置按鈕并重新開始記錄到文件。

例如，拍手 10 分鐘（使用智能手機(jī)中的秒表應(yīng)用程序）。在此過程中，改變雙手的位置，使數(shù)據(jù)更加多樣化。錄制過程中不要停止移動(dòng)。

按下重置按鈕后約 7 秒內(nèi)將開始錄制。

10 分鐘結(jié)束后，繼續(xù)運(yùn)動(dòng) 10-20 秒并停止記錄。

19.對每個(gè)活動(dòng)類型重復(fù)第 18 步（使用不同的文件名）：

在記錄每個(gè)動(dòng)作之前重置板。

模型訓(xùn)練

在您收集了所有活動(dòng)的數(shù)據(jù)并將它們組合成一個(gè)數(shù)據(jù)集后，前往Neuton.ai平臺訓(xùn)練您的模型。

1.創(chuàng)建一個(gè)新的解決方案

2.選擇數(shù)據(jù)類型，上傳數(shù)據(jù)

3.在左側(cè)字段中刪除變量 lacc_X、lacc_Y、lacc_Z（此模型不需要線性加速度計(jì)）；在右邊的字段中選擇目標(biāo)變量并單擊下一步。

4.選擇任務(wù)類型。

5.選擇輸入數(shù)據(jù)類型為 INT16。

6.啟用數(shù)字信號預(yù)處理，選擇 Window size 200 和 Sliding shift 5。

7.對于每個(gè)特征（acc_X、acc_Y、acc_Z、gyro_X、gyro_Y、gyro_Z）重復(fù)以下步驟：

A。點(diǎn)擊“編輯”

b. 選擇“全部刪除”

C。選擇“統(tǒng)計(jì)”功能并檢查以下功能：均值、均方根、平均絕對偏差、標(biāo)準(zhǔn)偏差、均值交叉率、過零率

8.選擇單片機(jī)位深：8位，開始訓(xùn)練。

模型訓(xùn)練完成后，進(jìn)入“預(yù)測”選項(xiàng)卡，檢查模型質(zhì)量指標(biāo)并下載包含模型的存檔以進(jìn)行嵌入。

下載的模型源代碼如下所示：

該檔案包含將模型嵌入任何 MCU 所需的一切。使用存檔內(nèi)容編譯一個(gè) Arduino 草圖，用這個(gè)草圖刷新你的 Nicla Sense ME 并開始推理。

?