傳感器內(nèi)（In-sensor）計算可能會成為在小型設(shè)備（例如可穿戴醫(yī)療設(shè)備和物聯(lián)網(wǎng)設(shè)備）中部署機器學習（machine learning）的全新方法，這些設(shè)備必須在有限的能源資源下安全運行。該領(lǐng)域的進展已經(jīng)放緩，因為難以找到使用物理自由度操作的合適計算設(shè)備，該物理自由度可以直接耦合到執(zhí)行傳感的自由度。

據(jù)麥姆斯咨詢報道，近日，加拿大舍布魯克大學（Université de Sherbrooke）和拉瓦爾大學（Université Laval）的研究人員組成的團隊在Communications Engineering期刊上發(fā)表了題為“In-sensor human gait analysis with machine learning in a wearable microfabricated accelerometer”的論文，利用儲層計算（reservoir computing）作為自然架構(gòu)，對物理系統(tǒng)的自由度進行機器學習，以表明微機電系統(tǒng)（MEMS）可以通過耦合懸浮微結(jié)構(gòu)的位移來實現(xiàn)計算和加速度傳感。這項研究提出了一個可以附著在腳上實時識別人類受試者的步態(tài)模式的可穿戴系統(tǒng)。研究人員將該傳感器內(nèi)計算系統(tǒng)的計算效率和功耗與具有單獨傳感器和數(shù)字計算機的傳統(tǒng)系統(tǒng)進行了比較。在計算能力相似的情況下，高度集成的傳感器內(nèi)計算設(shè)備有望獲得更好的能效，從而為機器學習在邊緣計算設(shè)備中的普遍部署提供了一條途徑。

具有傳感和可訓練計算能力的MEMS設(shè)備

研究人員使用在機械域同時執(zhí)行傳感和計算的MEMS加速度計來解決人類步態(tài)分類任務(wù)（圖1a-1c）。機械儲層計算機是利用兩端固支的薄硅梁的動態(tài)非線性來實現(xiàn)的，這與之前描述的器件類似。當微梁由足夠大的振蕩靜電力驅(qū)動時，其振蕩振幅表現(xiàn)出復(fù)雜的非線性動力學（圖2a和2b），以用于儲層計算。固支梁上的驅(qū)動靜電力是通過懸掛一個基準質(zhì)量塊施加的，當對器件施加加速度時，該質(zhì)量塊會移動（圖1a和2d）。驅(qū)動力的振幅隨基準質(zhì)量塊與微梁平衡位置之間距離的變化而變化，系統(tǒng)參數(shù)的選擇使微梁振蕩的振幅成為基準質(zhì)量塊位置（因此也是加速度，見圖1b）的復(fù)雜非線性函數(shù)。為了增加從微梁的振幅響應(yīng)中生成的信號的復(fù)雜性，研究人員采用了一種反饋技術(shù)，即使用時分復(fù)用技術(shù)創(chuàng)建多個不同的虛擬響應(yīng)，每個響應(yīng)都是加速度的不同非線性函數(shù)。虛擬響應(yīng)通過傳統(tǒng)電子器件進行定時采樣，以在每個時間間隔生成“激活值”向量。最后，傳統(tǒng)微控制器會在每個時間間隔計算該向量與訓練過的權(quán)重向量之間的標量乘積，從而得出步態(tài)類型的輸出分類（圖1b）。

圖1 MEMS步態(tài)分析系統(tǒng)概述

圖2 MEMS步態(tài)分析系統(tǒng)的機械響應(yīng)

人體步態(tài)的傳感器內(nèi)識別

通過將一個MEMS設(shè)備安裝在左腳上，研究人員將傳感器內(nèi)計算應(yīng)用于檢測四種不同的步態(tài)模式（N、TO、TL、TOTL）。這些步態(tài)模式的自動識別具有臨床意義，因為它可以通過使用實時生物反饋進行步態(tài)再訓練來用于治療某些肌肉骨骼疾病，例如膝骨關(guān)節(jié)炎。雖然步態(tài)模式識別可以在配備3D運動捕捉系統(tǒng)或使用多個慣性測量單元（IMU）的實驗室中進行，但由于本研究的目標是開發(fā)最簡單、成本最低、最不具干擾性的可穿戴設(shè)備，因此研究人員只使用了一個MEMS加速度計，這增加了任務(wù)的難度。

在這項研究中，十名健康受試者按照指示在跑步機上行走，同時在左腳鞋上安裝MEMS步態(tài)分析系統(tǒng)，并交替使用四種步態(tài)模式。

分類性能是通過計算受試者工作特征曲線（ROC）的曲線下面積（AUC）的平均值來評估的，該平均值是在四個分割上計算得出的（AUC為0.5相當于隨機分類器，而AUC為1.0相當于完美分類器）。ROC曲線示例見圖1c，MEMS步態(tài)分析系統(tǒng)性能表征見圖3。

圖3 傳感器內(nèi)步態(tài)分類的性能

可穿戴設(shè)備的傳感器內(nèi)計算

為了產(chǎn)生相關(guān)的技術(shù)影響，傳感器內(nèi)計算設(shè)備需要在執(zhí)行復(fù)雜計算時具有泛化能力，即它們必須能夠抵御訓練期間未見的輸入變化以及一定程度的噪聲。這種魯棒性是神經(jīng)形態(tài)計算技術(shù)（包括儲層計算）的標志。此外，這些技術(shù)通?？梢詫鞲衅飨到y(tǒng)中的非線性進行建模，因此即使使用非理想傳感器，它們也能表現(xiàn)良好。這可以用來降低許多傳感器的設(shè)計要求，從而有可能降低其制造或校準成本。

本研究的原型設(shè)備作為純傳感器的性能（圖2d）與MEMS加速度計的最先進水平相去甚遠，在400 Hz帶寬內(nèi)其靈敏度介于0.05 V/g到 0.1 V/g之間，還存在一些帶內(nèi)諧振和其他問題。盡管如此，微梁儲層計算機能夠?qū)W習這些性能限制，并對步態(tài)模式進行分類，其效果與基于商用加速度計數(shù)據(jù)運行的神經(jīng)網(wǎng)絡(luò)相媲美。圖3a顯示了MEMS步態(tài)分析系統(tǒng)與使用商用加速度計和在微處理器上執(zhí)行的軟件ESN構(gòu)建的傳統(tǒng)系統(tǒng)的分類性能的比較。從中可以看出，MEMS設(shè)備和ESN都學習了受試者和速度之間的可變性，以實現(xiàn)相似的分類性能，并且比線性分類器表現(xiàn)更好。

綜上所述，這項研究描述了一種既是加速度傳感器又是神經(jīng)形態(tài)計算機的設(shè)備，它通過懸浮微結(jié)構(gòu)的位移在機械域執(zhí)行傳感和非線性計算功能。研究表明，這種可穿戴設(shè)備成功地實現(xiàn)了傳感器內(nèi)計算的概念，僅利用一只腳測得的加速度，就能完成識別人體步態(tài)的艱巨任務(wù)。該設(shè)備能夠成功演示的最重要特性是其計算能力（線性分類器無法解決步態(tài)分類任務(wù)）、對數(shù)據(jù)變化和非理想傳感器行為的魯棒性、小尺寸和低功耗。這些特性是將傳感和神經(jīng)形態(tài)計算功能集成到單個設(shè)備中的天然優(yōu)勢。傳感器內(nèi)計算的另一個好處是，傳感器數(shù)據(jù)永遠不會離開設(shè)備，也不會實際轉(zhuǎn)換到電子或數(shù)字域，從而提供了高級別的隱私保護，這對于醫(yī)療設(shè)備尤為重要。

這些對醫(yī)療設(shè)備非常重要的優(yōu)勢對于物聯(lián)網(wǎng)應(yīng)用中的邊緣計算設(shè)備來說也是非常理想的。在這些應(yīng)用中，傳感器內(nèi)計算可以進一步大幅減少邊緣傳感器傳輸?shù)臄?shù)據(jù)量，從信號的Nyquist頻率下的全（壓縮）帶寬降低到信號中相關(guān)特征的識別速率。除了能緩解物聯(lián)網(wǎng)應(yīng)用中典型的數(shù)據(jù)擁塞問題外，還能大大延長邊緣傳感器的電池壽命，從而促進其在現(xiàn)場的大規(guī)模部署?？傊ㄟ^在機械域直接執(zhí)行傳感和神經(jīng)形態(tài)計算功能，本研究所提出的單個MEMS步態(tài)分析設(shè)備能夠解決復(fù)雜的現(xiàn)實世界任務(wù)，這可被視為在新興的可穿戴醫(yī)療設(shè)備和物聯(lián)網(wǎng)應(yīng)用中廣泛部署傳感器和機器學習能力的一個重要里程碑。

論文鏈接：
https://doi.org/10.1038/s44172-024-00193-5

審核編輯：劉清