背景介紹

人體會產(chǎn)生豐富的生物信號，這些信號可以被人體檢測、數(shù)字化、分析并與外界設(shè)備交互。其中，人類的語音尤其具有豐富的時域、頻域和幅度信息傳輸能力。這種豐富的信息承載能力使聲音成為生物通信、人機(jī)交互（HMI）和物聯(lián)網(wǎng)（IoT）應(yīng)用（包括智能家居、遠(yuǎn)程控制、身份識別和語音系統(tǒng)）的重要組成部分。然而，基于空氣振動的語音通信容易受到背景噪聲（如路邊、商場、車站等嘈雜環(huán)境）和聲學(xué)介質(zhì)（如火災(zāi)、醫(yī)院、水下等特殊場景）的干擾和阻礙。此外，發(fā)聲過程依賴于器官的協(xié)調(diào)系統(tǒng)，任何因肌萎縮側(cè)索硬化癥（ALS）、中風(fēng)、帕金森病或喉癌等疾病引起的損傷都會嚴(yán)重影響語音清晰度和識別效率。為了應(yīng)對這些挑戰(zhàn)，研究人員開發(fā)了先進(jìn)的降噪算法和多麥克風(fēng)系統(tǒng)來增強(qiáng)語音處理能力。然而，這些解決方案的有效性受到聲音信號質(zhì)量和多特征參數(shù)復(fù)雜性的限制。例如，單麥克風(fēng)系統(tǒng)無法捕捉空間特征，難以提供高信噪比的音頻信號。雖然多麥克風(fēng)系統(tǒng)和相關(guān)算法可以改善語音信號處理，但它們需要復(fù)雜的工程設(shè)計(jì)并占用更多空間。

最近，基于面部和嘴唇運(yùn)動的視覺語音識別已成為一種在嘈雜環(huán)境中增強(qiáng)語音感知的方法。雖然這種方法可以在具有挑戰(zhàn)性的聲學(xué)條件下提高語音感知質(zhì)量，但它需要額外的攝像頭，這增加了系統(tǒng)的復(fù)雜性并降低了實(shí)用性。近年來，直接監(jiān)測面部運(yùn)動狀態(tài)的可連接傳感器作為無聲語音識別的解決方案引起了人們的關(guān)注。雖然面部特征可以在一定程度上補(bǔ)充音頻信號，但它們在捕捉音高、音色和聲音強(qiáng)度等聲學(xué)參數(shù)方面存在很大的局限性。相反，將傳感器直接放置在發(fā)聲器官區(qū)域是一種實(shí)現(xiàn)全面聲音信息收集的有效方法。用于監(jiān)測聲音信號的傳統(tǒng)可穿戴設(shè)備通常使用綁帶或粘性貼片附著在身體上。然而，它們的剛性和扁平形狀限制了實(shí)際應(yīng)用。柔性材料和傳感技術(shù)的發(fā)展為隱形皮膚可穿戴設(shè)備鋪平了道路。目前，安裝在發(fā)聲器官中的柔性傳感技術(shù)主要包括石墨烯、柔性表面肌電圖電極、壓阻和摩擦電。與傳統(tǒng)的剛性麥克風(fēng)相比，這些技術(shù)佩戴更舒適，可以無縫融入日常活動中。盡管這些傳感器有諸多優(yōu)勢，但它們通常依賴于有線硬件，限制了它們在日常使用中的適應(yīng)性。

為了克服這些挑戰(zhàn)，集成信號處理和傳輸單元的柔性可穿戴設(shè)備對于充分利用各種機(jī)電特性的潛力至關(guān)重要。微機(jī)電系統(tǒng) (MEMS) 制造技術(shù)的進(jìn)步為改善可穿戴設(shè)備的集成帶來了希望。一項(xiàng)值得注意的創(chuàng)新是將商用 MEMS 加速度計(jì)芯片整合到可穿戴設(shè)備中，從而能夠連續(xù)監(jiān)測機(jī)械聲音信號，例如語音、吞咽、呼吸和心臟運(yùn)動。然而，目前的傳感器無法滿足寬頻帶范圍和平坦度的要求，限制了信號頻譜的能量分布。此外，檢測皮膚加速度只能提供肌肉運(yùn)動模式數(shù)據(jù)，而忽略了發(fā)聲器官的關(guān)鍵振動信息。由于缺乏生物特征信息，在監(jiān)測小幅度肌肉運(yùn)動時，機(jī)械聲音信號相對較弱。這種限制對于皮膚組織較厚（例如甲狀腺腫大）或喉部受傷的用戶尤其不友好。因此，有必要開發(fā)一種新的便攜式語音交互系統(tǒng)來解決這些問題并提高用戶體驗(yàn)和HMI。

本文亮點(diǎn)

1. 本工作提出了一種可穿戴無線柔性貼膚聲學(xué)傳感器（SAAS），能夠捕捉發(fā)聲器官的振動和皮膚運(yùn)動，從而實(shí)現(xiàn)惡劣聲學(xué)環(huán)境下的語音識別和人機(jī)交互（HMI）。

2. 該系統(tǒng)采用壓電微機(jī)械超聲換能器（PMUT），具有高靈敏度（-198 dB）、寬帶寬（10 Hz-20 kHz）和優(yōu)異的平坦度（±0.5 dB）等特點(diǎn)。柔性封裝提高了佩戴時的舒適性和適應(yīng)性，同時與殘差網(wǎng)絡(luò)（ResNet）架構(gòu)的集成顯著提高了喉部語音特征的分類，準(zhǔn)確率超過 96%。

3. 在多個 HMI 場景中展示了 SAAS 的數(shù)據(jù)收集和智能分類能力。語音識別系統(tǒng)能夠通過深度學(xué)習(xí)模型以 99.8% 的準(zhǔn)確率識別參與者所說的日常句子。

圖文解析

圖1. 用于惡劣聲學(xué)環(huán)境下語音識別的無線、柔性、可附著式聲學(xué)傳感器。

a 實(shí)現(xiàn)HMI的語音識別系統(tǒng)示意圖。b 可附著式聲學(xué)傳感系統(tǒng)爆炸圖。c PMUT結(jié)構(gòu)示意圖。d 處理發(fā)聲器官振動和肌肉運(yùn)動信號的步驟流程圖，包括信號處理、控制、無線通信和顯示終端。e SAAS在語音識別與交互中的應(yīng)用示意圖。

圖2. 裝置設(shè)計(jì)原理及特性描述。

a 基于SOI晶片的聲學(xué)傳感器三維結(jié)構(gòu)剖面圖。b PZT、AlN、ScAlN及對應(yīng)三種形狀的聲學(xué)傳感器相關(guān)參數(shù)的有限元仿真對比。c PMUT正面（I）和背面（II）的照片。d 制備的聲學(xué)芯片的光學(xué)顯微鏡圖像和微元件的特寫細(xì)節(jié)。e 制備的聲學(xué)芯片的Mo/ScAlN/Mo薄膜結(jié)構(gòu)的SEM剖面圖。f 空氣中MEMS芯片的電阻抗幅值與相位的諧振頻率響應(yīng)。g 水中封裝后的MEMS傳感器在低頻寬帶范圍內(nèi)的靈敏度測試曲線。h 柔性器件在未變形（I）、扭曲（II）、彎曲（III）和拉伸（IV）下的圖像顯示。

圖3. 惡劣聲學(xué)環(huán)境下的語音檢測對比實(shí)驗(yàn)。

a 安靜環(huán)境（I）、嘈雜環(huán)境（II）和戴口罩（III）下同一項(xiàng)對比測試的照片。b 當(dāng)受試者在安靜環(huán)境（I）、嘈雜環(huán)境（II）和戴口罩（III）下說“CQU”時，SAAS顯示聲音信號的時域波形和頻譜信息。c 當(dāng)受試者在安靜環(huán)境（I）、嘈雜環(huán)境（II）和戴口罩（III）下說“CQU”時，商用參考麥克風(fēng)顯示聲音信號的時域波形和頻譜信息。d 受試者在9種喉部附著位置和動作下的照片。e 通過 SAAS 在 9 個喉嚨附著位置和動作中說“完美”時獲得的時域波形。

圖4. 基于SAAS的身份識別演示。

a–c音素、聲調(diào)、同音詞分類任務(wù)的混淆矩陣。d通過數(shù)據(jù)采集、深度學(xué)習(xí)和實(shí)時顯示實(shí)現(xiàn)的身份識別系統(tǒng)示意圖。e不同參與者說“hello world”時的聲音信息。f身份識別的混淆矩陣。

圖5. 使用SAAS控制虛擬游戲和機(jī)器狗。

a實(shí)時無線HMI控制系統(tǒng)示意圖。b吃豆人游戲中語音指令上下左右命令演示。c遠(yuǎn)程無線控制機(jī)器狗通過語音命令執(zhí)行動作：“站起來”、“跳舞”、“側(cè)翻”、“爬樓梯”。

圖6. 基于SAAS的語音識別系統(tǒng)在人機(jī)交互中的應(yīng)用。

a通過數(shù)據(jù)處理、分類和實(shí)時顯示實(shí)現(xiàn)的交互系統(tǒng)示意圖。b 使用卷積神經(jīng)網(wǎng)絡(luò)從參與者的日常對話中收集到的 10 個句子樣本的波形和相應(yīng)的頻譜圖。c 句子識別任務(wù)的混淆矩陣。d 60 個 epoch 迭代過程中訓(xùn)練和測試數(shù)據(jù)的歸一化準(zhǔn)確率。e 經(jīng)過 60 次 T-SNE 算法迭代處理后的特征向量矩陣。f 經(jīng)過 60 次 T-SNE 算法迭代處理后的特征向量矩陣。

來源：柔性傳感及器件