描述

在這個(gè)項(xiàng)目中，我們將向您展示我們?nèi)绾沃谱饕粋€(gè)傳感器，該傳感器可以告訴您酒吧或酒館是否擠滿了人。

介紹

當(dāng)您想去酒吧/酒館但不知道酒吧/酒館是否已滿，是否有派對(duì)或空無(wú)一人時(shí)，您是否曾經(jīng)遇到過(guò)這樣的情況，您可以喝一杯聊天? 有了這個(gè)應(yīng)用程序，您將來(lái)不會(huì)遇到任何此類問(wèn)題。

描述

這個(gè)項(xiàng)目包括一個(gè) Arduino Nano 板，它充當(dāng)我們的傳感器或麥克風(fēng)，以及一個(gè)移動(dòng)應(yīng)用程序，它充當(dāng)我們?cè)谖覀兯诘貐^(qū)尋找酒吧和酒吧的搜索引擎。

Arduino 板上的麥克風(fēng)對(duì)酒吧/酒吧的客滿程度進(jìn)行采樣。然后，它使用機(jī)器學(xué)習(xí)算法處理這些信息，以確定酒吧/酒吧是否擠滿了人。然后，信息通過(guò)藍(lán)牙低功耗 (BLE) 發(fā)送到連接的手機(jī)，我們可以在其中檢查我們想去的任何酒吧/酒吧的信息。

機(jī)器學(xué)習(xí)

Edge Impulse 是一個(gè)免費(fèi)的機(jī)器學(xué)習(xí)開發(fā)平臺(tái)。我們使用共享電子郵件創(chuàng)建了一個(gè)帳戶并創(chuàng)建了一個(gè)新項(xiàng)目。這很重要，因?yàn)閷㈨?xiàng)目公開或與他人共享不會(huì)使他們能夠調(diào)整模型或幫助您收集數(shù)據(jù)。

• 數(shù)據(jù)采集

收集數(shù)據(jù)的最佳方式或最簡(jiǎn)單的方式是使用我們的手機(jī)（而不是 Arduino 板），因?yàn)樗O(shè)置起來(lái)更簡(jiǎn)單，獲取數(shù)據(jù)的速度也更快。通過(guò)我們手機(jī)上的錄音機(jī)應(yīng)用程序，我們收集了 3 種不同的數(shù)據(jù)（語(yǔ)音、音樂(lè)和靜音）。

我們決定我們每個(gè)人都將貢獻(xiàn)至少 20 分鐘的數(shù)據(jù)。我們的樣本持續(xù)時(shí)間為 10 秒，這意味著我們每個(gè)人至少貢獻(xiàn)了 120 個(gè)不同數(shù)據(jù)的樣本。由于大流行，我們無(wú)法進(jìn)入酒吧/酒吧，因此我們不得不與家人一起模仿不同的場(chǎng)景。

?

?

?

?

1 / 3 ?靜音樣本

?

當(dāng)我們收集到足夠的數(shù)據(jù)時(shí)，我們將其上傳到 Edge Impulse 數(shù)據(jù)采集中。Edge Impulse 自動(dòng)在訓(xùn)練集和測(cè)試集之間分割數(shù)據(jù)。通常，該比率為 80%（訓(xùn)練集）和 20%（測(cè)試集），但您可以通過(guò)將樣本分配到各自的集合來(lái)使用我們自己的比率。

上傳現(xiàn)有數(shù)據(jù)

?

• 沖動(dòng)設(shè)計(jì)

下一步是創(chuàng)造沖動(dòng)。選擇“創(chuàng)建沖動(dòng)”后，添加處理塊和學(xué)習(xí)塊，然后保存沖動(dòng)。對(duì)于處理模塊，我們選擇了音頻（MFCC）模塊，它使用梅爾頻率倒譜系數(shù)從音頻信號(hào)中提取特征，非常適合識(shí)別人聲。對(duì)于學(xué)習(xí)模塊，我們選擇了神經(jīng)網(wǎng)絡(luò) (Keras) 模塊，它從數(shù)據(jù)中學(xué)習(xí)模式，并將這些模式應(yīng)用于新數(shù)據(jù)。這個(gè)塊非常適合對(duì)運(yùn)動(dòng)進(jìn)行分類或識(shí)別音頻。

創(chuàng)造沖動(dòng)

?

您可以檢查/更改/保存“MFCC”下的參數(shù)，然后生成特征以查看您收集的數(shù)據(jù)的表示。要訓(xùn)??練您的模型，請(qǐng)選擇“NN 分類器”并單擊“開始訓(xùn)練”。訓(xùn)練完成后，您將獲得上次訓(xùn)練性能的準(zhǔn)確度、混淆矩陣和結(jié)果的 3D 模型。

?

?

?

?

1 / 3 ? 3D 模型

?

在此之后，您可以在“模型測(cè)試”選項(xiàng)卡下測(cè)試您的模型。如果您想提高模型的準(zhǔn)確性，您可能不得不使用 MFCC 和 NN Classifier 模塊的參數(shù)，但您必須小心，因?yàn)榫仍礁?，模型的?fù)雜性就會(huì)越大，有可能，Arduino Nano 將無(wú)法運(yùn)行該模型。

部署

要使用 Arduino Nano 板，您需要?jiǎng)?chuàng)建正確的庫(kù)。在“部署”選項(xiàng)卡下，我們選擇了“Arduino 庫(kù)”，Edge Impulse 創(chuàng)建了我們自己的庫(kù)，該庫(kù)是基于我們的項(xiàng)目制作的。您將看到一個(gè)包含您的模型的 zip 庫(kù)，然后您可以將其編譯到您的 Arduino Nano 上。

現(xiàn)在我們可以檢查模型是否正常工作。在串行監(jiān)視器中，您應(yīng)該會(huì)收到 3 種不同的反饋。如果您與某人交談，串行監(jiān)視器應(yīng)打印出 Talk 標(biāo)簽，如果您正在聽音樂(lè)，則標(biāo)簽應(yīng)為 Music，如果無(wú)聲，則標(biāo)簽應(yīng)為 Silence。

因?yàn)槲覀冃枰ㄟ^(guò) BLE 連接 Arduino，所以我們稍微修改了從 Edge Impulse 導(dǎo)出的代碼。它還會(huì)自動(dòng)連接應(yīng)用程序，而無(wú)需從可用藍(lán)牙設(shè)備列表中選擇合適的設(shè)備。

我們修改了代碼，以便 Arduino 可以將正確的標(biāo)簽發(fā)送到應(yīng)用程序。如果 Arduino 閱讀的談話多于音樂(lè)和沉默，那么應(yīng)用程序會(huì)告訴我們這個(gè)酒吧/酒吧里擠滿了人，如果音樂(lè)響亮，那么在場(chǎng)人員的交流或沉默應(yīng)用程序會(huì)告訴我們酒吧/酒吧是開著的，但那里的人不多，如果沒(méi)有音樂(lè)也沒(méi)有人在說(shuō)話，應(yīng)用程序應(yīng)該告訴我們酒吧/酒吧里很安靜，這意味著它可能已經(jīng)關(guān)門了。此外，我們修改了我們的代碼，使 Arduino 平均使用最后 5 分鐘（最后 30 個(gè)樣本）并每 5 分鐘刷新一次，否則實(shí)例會(huì)發(fā)生任何劇烈變化。

移動(dòng)應(yīng)用

我們決定使用的移動(dòng)應(yīng)用是安卓設(shè)備的 Mit2app 發(fā)明者，因?yàn)樗?a target='_blank' class='arckwlink_none'>編程界面的意義上是實(shí)用的，速度快，并且易于初學(xué)者使用。然而，缺點(diǎn)是圖形用戶界面設(shè)計(jì)。編碼的框圖如下圖所示。

?

?

?

?

1 / 3 ?用于主屏幕和斷開連接的塊

?

該應(yīng)用程序易于使用。您只需登錄應(yīng)用程序，然后轉(zhuǎn)到地圖，您（將來(lái)，因?yàn)檫@只是一個(gè)原型）將在那里看到酒吧的標(biāo)記，并且根據(jù)顏色，您可以決定去哪里。

?

?

?

?

1 / 2 ?地圖屏幕

?

這是一個(gè)視頻，向您展示了該應(yīng)用程序的使用及其工作原理。

結(jié)論

該應(yīng)用程序非常適合原型。這個(gè)應(yīng)用程序是為一個(gè)酒吧/酒吧制作的，看看它是否可以工作，所以有很多改進(jìn)需要做，這將顯著增強(qiáng)用戶體驗(yàn)，在嘗試將應(yīng)用程序投放市場(chǎng)之前應(yīng)該考慮。

• 改進(jìn)

限制我們的第一件事是，由于大流行，所有的酒吧/酒吧都關(guān)閉了，所以我們無(wú)法在真實(shí)情況下進(jìn)行測(cè)試。進(jìn)行了測(cè)試，但只有少數(shù)人集中在一個(gè)地方。

此外，您應(yīng)該考慮包括更多的酒吧/酒吧，但問(wèn)題是要存儲(chǔ)收集到的所有數(shù)據(jù)。為此，您需要更多的 Arduino 或一些麥克風(fēng)，一個(gè)供 Arduino 連接的在線服務(wù)器，以及通過(guò)服務(wù)從具有不同 ID 的酒吧/酒吧發(fā)送的數(shù)據(jù)將被存儲(chǔ)在哪里。

該應(yīng)用程序本身是功能性的，但可以使其更具吸引力。在將任何產(chǎn)品引入市場(chǎng)之前，應(yīng)考慮切換到本機(jī)代碼，因?yàn)樗梢栽趹?yīng)用程序設(shè)計(jì)中提供更大的靈活性。