描述

背景

在過去十年中，由于仿生假肢在改善中風(fēng)后患者和截肢者生活質(zhì)量方面的重要應(yīng)用，其研究和開發(fā)取得了顯著增長。根據(jù) Grand View 研究數(shù)據(jù)庫 [1]，2020 年全球假肢和矯形器市場規(guī)模為 61.1 億美元，預(yù)計 2021 年至 2028 年將以 4.2% 的復(fù)合年增長率增長。截肢，殘余肌肉和假肢之間的控制接口（即神經(jīng)機器接口）對于仿生假肢的自然運動至關(guān)重要。如圖 1 所示，基于肌電圖 (EMG) 的控制界面已廣泛應(yīng)用于醫(yī)學(xué)以及一些娛樂應(yīng)用，如假肢控制、康復(fù)手套、或者為VR游戲提供另一種交互方式。基于 EMG 的神經(jīng)機器接口可以測量電活動以響應(yīng)神經(jīng)對肌肉的刺激，以識別人體運動意圖并將記錄的 EMG 信號轉(zhuǎn)換為有效的控制信號以驅(qū)動外部假肢。最近，由于從許多用戶那里收集的大量 EMG 數(shù)據(jù)以及學(xué)習(xí)算法和計算設(shè)備的進步，深度學(xué)習(xí)在進一步提高基于 EMG 的控制界面設(shè)計的準(zhǔn)確性和魯棒性方面顯示出巨大的潛力。然而，深度學(xué)習(xí)方法臨床部署的一個關(guān)鍵挑戰(zhàn)和障礙是它們的高計算成本，因為大多數(shù)控制組件都是使用具有有限功率和計算能力的便攜式嵌入式系統(tǒng)構(gòu)建的。在這個項目中，

圖 1 基于 EMG 的神經(jīng)機器接口

?

方法

該項目旨在在 Sony Spresense 微控制器上部署一個深度神經(jīng)網(wǎng)絡(luò)，用于實時仿生手臂控制。我們使用 2D 卷積神經(jīng)網(wǎng)絡(luò) (CNN) 作為 EMG 模式識別算法，該算法在部署到 Sony Spresense 之前已經(jīng)過微調(diào)和壓縮。我們的 EMG 數(shù)據(jù)收集基于 Myo Armband 和 ESP32 Board。這個項目有4個主要部分：

• EMG 信號采集和預(yù)處理
• 離線 CNN 模型訓(xùn)練和微調(diào)
• 設(shè)備端 CNN 模型部署和推理
• 實時仿生手臂控制

圖 2 系統(tǒng)概述：EMG 數(shù)據(jù)收集、CNN 模型推斷和仿生手臂控制。

?

系統(tǒng)概述：圖 2 顯示了系統(tǒng)概述。我們首先通過藍牙將 Myo Armband 與 ESP32 連接起來。其次，Myo Armband 可以獲取 EMG 數(shù)據(jù)，同時 ESP32 通過 UART 串??行通信向 Sony Spresense 傳輸信號。第三，Sony Spresense 對傳輸?shù)?EMG 數(shù)據(jù)進行預(yù)處理，并實時進行手勢預(yù)測。最后，預(yù)測的手勢被轉(zhuǎn)換為 PWM 信號以控制仿生手臂，其中 3 個伺服系統(tǒng)控制不同的手指。

在接下來的會議中，我們將詳細(xì)分析每個部分。

圖 3 EMG 模式識別：傳統(tǒng)機器學(xué)習(xí) VS 深度學(xué)習(xí)算法

?

EMG模式識別： EMG信號是人體皮膚表面肌肉收縮過程中產(chǎn)生的電信號的記錄。EMG 信號模式識別是非侵入式神經(jīng)機接口應(yīng)用的技術(shù)核心。如圖 3 所示，8 個傳感器 Myo Armband 將用于收集人體皮膚的 EMG 信號。然后，收集的信號可以輸入深度學(xué)習(xí)（例如，CNN）或機器學(xué)習(xí)（例如，LDA、SVM）模型以執(zhí)行模式識別，返回不同手勢的輸出概率。與需要特征工程的傳統(tǒng)機器學(xué)習(xí)相比，深度學(xué)習(xí)在特征提取方面表現(xiàn)出色，例如從 EMG 信號中獲取平均絕對值 (MAV) 或過零 (ZC)。

在這個項目中，我們利用 CNN 模型直接學(xué)習(xí)原始 EMG 特征，而無需任何額外的特征工程。但是，深度學(xué)習(xí)模型可能會比機器學(xué)習(xí)模型引入額外的計算開銷。如圖 3 所示，CNN 模型通常由高性能 GPU 進行預(yù)訓(xùn)練，計算成本高、內(nèi)存占用大、能耗高。將它們部署到計算資源有限的低功耗設(shè)備上非常具有挑戰(zhàn)性。為了在 Sony Spresense 上實現(xiàn)實時接口，我們將利用 TensorFlow Lite 來加速 CNN 模型。

圖 4 目標(biāo)：在 Sony Spresense 微控制器上部署深度神經(jīng)網(wǎng)絡(luò)，用于實時仿生手臂控制。

?

EMG 數(shù)據(jù)預(yù)處理：如圖 5 所示，Myo Armband 包括 8 個傳感器/通道，因此每個 EMG 陣列為 1x8（每個通道一個 EMG 樣本）。為了從原始 EMG 信號中提取空間域特征，我們結(jié)合了 32 個 EMG 樣本來創(chuàng)建一個 EMG 窗口（8×32）。在 EMG 信號收集過程中，我們以 16 步長重疊 EMG 窗口，以便下一個 EMG 窗口包含來自先前 EMG 窗口的最后 16 個樣本，以便進一步結(jié)合時域特征。此外，原始 EMG 值是一個 0 - 255 范圍內(nèi)的 8 位無符號數(shù)，因此如果 EMG 值大于 127，我們通過將值減去 256 將 EMG 值從無符號數(shù)更改為有符號數(shù)。最后，我們將有一個給定從 NinaPro DB5 數(shù)據(jù)集獲得的 7 個手勢，從 EMG 樣本計算的 8 個通道中的每個通道的一組平均值和標(biāo)準(zhǔn)偏差。

圖 5 肌電數(shù)據(jù)預(yù)處理

?

圖 6 深度神經(jīng)網(wǎng)絡(luò)模型和訓(xùn)練數(shù)據(jù)

?

深度神經(jīng)網(wǎng)絡(luò)模型與訓(xùn)練：如圖 6 所示，我們的 CNN 模型由 2 個卷積層和一個全連接層組成。第一個卷積層由 32 個濾波器組成，然后是 PReLU 激活函數(shù)、用于加速模型訓(xùn)練的批量歸一化、用于對抗過度擬合的空間 2D dropout 和最大池化。第二個卷積層與第一層相同，只是它使用 64 個過濾器而不是 32 個。最后，我們將以 N 個神經(jīng)元全連接層結(jié)束，這取決于 N 個手勢進行預(yù)測。在我們的項目中，我們利用來自名為 NinaPro DB5 [3] 的大型開源 EMG 數(shù)據(jù)集的 7 個手勢來訓(xùn)練我們的模型。然后，我們使用從 Myo 臂章收集的實時 EMG 信號對其進行微調(diào)，將模型學(xué)習(xí)從較大的數(shù)據(jù)集推廣到更具體的下游數(shù)據(jù)集。

Fig.7 3D – Printed Bionic Arm：來自 Mission ARM JAPAN 非營利組織的 HACKberry Hand 項目

?

3D - 打印仿生手臂：如圖 7 所示，我們的仿生手臂是基于 Mission ARM JAPAN 非營利組織 [2] 的名為 HACKberry hand 的開源社區(qū)項目進行 3D 打印的。

該仿生手臂使用了 3 個伺服系統(tǒng)。SG90 伺服控制中指、無名指和小指。平行伺服控制食指。第二個SG90控制拇指。在我們的項目范圍內(nèi)，我們利用仿生手臂執(zhí)行 4 個手勢：休息手勢、豎起大拇指手勢、握拳手勢和確定手勢。

圖 8 未來工作

?

未來工作：在這個項目中，我們成功地將CNN模型部署在Sony Spresense板上，實現(xiàn)了實時仿生控制。未來，我們將通過以下方法進一步增強我們的系統(tǒng)。首先，中間的 ESP32 導(dǎo)致延遲。通過將藍牙直接部署到 Sony Spresense 上，我們可以最大限度地減少這種情況。其次，我們可以通過使用 RNN 等其他架構(gòu)來提高模型的魯棒性。此外，我們可以使用 GAN 增強噪聲 EMG 數(shù)據(jù)。第三，我們可以利用更高維度的 EMG 采集傳感器，嵌入更多的特征。（比如 192 個頻道而不是 8 個）最后，我們還可以通過在 Sony Spresense 上實現(xiàn)設(shè)備上的培訓(xùn)來改善我們的用戶體驗。

?