描述

TeamName- 尤達

TeamMembers- Tharun Medini（只有我）

Goal

該項目的主要任務是在 Arduino Nano BLE Sense 33 等邊緣設備上訓練神經(jīng)網(wǎng)絡。該設備的內(nèi)存和處理能力非常有限。因此，我們需要將神經(jīng)網(wǎng)絡壓縮到一個非常小的占用空間，然后將其與某個特定任務的真實輸入信號結合使用。

Task

我選擇了喚醒詞檢測任務。在這個任務中，我們需要邊緣設備（Arduino Nano BLE Sense 33）來聽聲音，并將口語分類為“是”、“否”、“不是”和靜音。為了觀察性能，我們打算在我們說“是”時點亮板上的綠色 LED，當我們說“否”時點亮紅色 LED。換句話來說，當我們保持沉默時，藍色的 LED 應該會亮起，并且什么都不會亮起。

WorkFlow

涉及的三個主要步驟是 1) 在 Tensorflow 中訓練機器學習模型 2) 將模型量化為低位（通常為 8 位）并將其轉(zhuǎn)換為 C 代碼和 3) 構建并將其上傳到 Arduino Nano BLE Sense 33 板。

Data and Model

用于訓練的數(shù)據(jù)集是一個語音命令數(shù)據(jù)集，它有 65000 個數(shù)據(jù)點，對應于 30 個單詞的一秒話語。我們對數(shù)據(jù)進行預處理，將 30 個類修改為僅 4 個。兩個類明確表示“是”和“否”，將 28 個單詞放入一個名為“未知”的類中，最后一個類表示沉默。數(shù)據(jù)被預先特征化為 2D 頻譜圖，并使用 CNN 進行訓練。

Arduino Issues

我訂購了兩塊 Arduino Nano 板，因為我在使用第一塊時遇到了很多問題。可操作性是命中注定的。我還訂購了具有顯式數(shù)據(jù)模式和電源模式切換的電纜，因為默認電纜無法正常工作。

另一個主要問題是，從 Arduino IDE 上傳代碼后，COM 端口發(fā)生變化，Arduino 斷開連接。但是，使用網(wǎng)絡編輯器，我克服了這個問題。

?

?