探索虛擬與現(xiàn)實的邊界：柔性應(yīng)變傳感器數(shù)據(jù)手套助力元宇宙時代

元宇宙概念的興起，引發(fā)了人們對可穿戴設(shè)備的廣泛關(guān)注。基于柔性應(yīng)變傳感器的數(shù)據(jù)手套因其成本低、重量輕、直接和連續(xù)監(jiān)測手指運動而受到研究人員的青睞。近日，西北工業(yè)大學(xué)和軍事科學(xué)院國防科技創(chuàng)新研究院合作，在人機交互領(lǐng)域國際著名學(xué)術(shù)期刊International Journal of Human-Computer Interaction（IJHCI）發(fā)表論文，綜述了基于柔性應(yīng)變傳感器的數(shù)據(jù)手套在虛擬世界中的手勢交互。

文章首先比較了基于視覺傳感器、表面肌電傳感器、慣性傳感器以及柔性應(yīng)變傳感器的四種不同方法在設(shè)計數(shù)據(jù)手套方面的優(yōu)缺點，論證了基于柔性應(yīng)變傳感器的數(shù)據(jù)手套在元宇宙應(yīng)用中的優(yōu)勢。隨后，對比了國內(nèi)外代表性商用數(shù)據(jù)手套，并介紹了基于柔性應(yīng)變傳感器的數(shù)據(jù)手套各模塊的結(jié)構(gòu)設(shè)計。最后，總結(jié)了手勢識別在元宇宙中的應(yīng)用和目前基于柔性應(yīng)變傳感器的數(shù)據(jù)手套存在的問題和發(fā)展前景。作者認(rèn)為，基于柔性應(yīng)變傳感器的新型數(shù)據(jù)手套將產(chǎn)生變革性的影響，以實現(xiàn)精確、低延遲和沉浸式的元宇宙手勢交互。

圖1 人機交互是現(xiàn)實世界進入元世界的入口

可穿戴手勢識別系統(tǒng)

近年來，伴隨著計算機視覺、柔性應(yīng)變傳感器等技術(shù)的不斷進步，新型手勢識別技術(shù)相繼涌現(xiàn)，穿戴不便、設(shè)備復(fù)雜等問題正在得到解決。手勢識別作為人機交互的關(guān)鍵內(nèi)容之一，處于快速發(fā)展階段。目前主流的手勢識別關(guān)鍵技術(shù)包括視覺傳感器、表面肌電信號傳感器、慣性測量單元和柔性應(yīng)變傳感器。首先，基于視覺傳感器的手勢識別方法容易受到環(huán)境亮度的影響，不可避免地存在遮擋問題，從而導(dǎo)致錯誤的結(jié)果。其次，基于sEMG的手勢識別方案并不成熟，識別的手勢數(shù)量不多，大多在10個左右，準(zhǔn)確性和穩(wěn)定性不足。近年來，蘋果、Meta和谷歌等公司都在布局這種手勢識別方案的開發(fā)。第三，數(shù)據(jù)手套作為另一種解決方案，提供了高準(zhǔn)確率（>90%）和低延遲（毫秒級），并具有觸覺和力反饋的附加功能。其中，基于IMU的數(shù)據(jù)手套需要在手上的關(guān)鍵點放置剛性傳感器，這影響了舒適感。而基于應(yīng)變傳感器的柔性數(shù)據(jù)手套不會受到環(huán)境亮度、遮擋或噪音的影響，可以提高識別精度，提供更好的穩(wěn)定性和穩(wěn)健性，降低成本，佩戴舒適。

圖2 基于視覺傳感器、柔性應(yīng)變傳感器、慣性傳感器和表面肌電傳感器的可穿戴手勢識別系統(tǒng)是連接現(xiàn)實和虛擬世界的關(guān)鍵基礎(chǔ)設(shè)施

手套系統(tǒng)的功能模塊

基于柔性應(yīng)變傳感器的手套系統(tǒng)，最主要的三個部分是傳感器、硬件電路和手勢識別算法。柔性應(yīng)變傳感器將手指彎曲程度轉(zhuǎn)換為電信號，由硬件電路對該模擬電信號進行放大、濾波等處理轉(zhuǎn)換為數(shù)字信號，通過藍牙或WIFI的方式送至PC系統(tǒng)，最后用手勢識別算法將數(shù)據(jù)轉(zhuǎn)換為手勢結(jié)果并應(yīng)用到相關(guān)領(lǐng)域。

圖3 基于柔性應(yīng)變傳感器的手套系統(tǒng)的功能模塊

手勢識別算法

計算機接收到藍牙模塊傳輸?shù)臄?shù)字信號后，需要通過相應(yīng)的手勢識別算法，將數(shù)字信號轉(zhuǎn)換為相應(yīng)的手勢。目前的手勢識別分為兩類，即靜態(tài)手勢識別和動態(tài)手勢識別，文中分別列出了2種典型算法。靜態(tài)手勢識別的手勢種類有限，一般是將接收到的數(shù)字信號進行分類，將其映射到包含有限種類的手勢集上。動態(tài)手勢識別相對比較復(fù)雜，它需要從一個連續(xù)的數(shù)據(jù)流中分割手勢，即找出每個手勢的起始時刻和結(jié)束時刻。雖然過渡動作沒有實際意義，但是其持續(xù)時間隨手勢動作的不同而不同，所以手勢分割的實現(xiàn)比較困難，目前仍是一個挑戰(zhàn)。

圖4 靜態(tài)和動態(tài)手勢識別的典型算法

手勢識別的應(yīng)用

目前，手勢識別多應(yīng)用在在手語解釋、系統(tǒng)控制、運動監(jiān)測以及運動康復(fù)等領(lǐng)域，如圖5所示。

圖5 手勢識別的典型應(yīng)用 (a) 將手勢語言翻譯成語音；(b) 通過手勢控制黑暗中的四足機器人通過迷宮；(c) 手勢控制機械臂遠程核酸檢測；(d) 通過手勢進行鏡像手康復(fù)訓(xùn)練

未來，元宇宙的最終實現(xiàn)，將不可避免地建立起用戶以及其他物理對象在虛擬空間中的數(shù)字孿生體，用戶本人將擁有一個與自己完全對應(yīng)的虛擬數(shù)字人。這需要外部設(shè)備將實際用戶的手勢、身體動作和聲音等完全映射到元宇宙中。因此，在將現(xiàn)實映射到虛擬世界的過程中，手勢的識別和建模至關(guān)重要。同時，虛擬用戶在元宇宙中感知到的觸覺、視覺、溫度和濕度信息，也需要通過可穿戴設(shè)備反饋給實際用戶。高性能的數(shù)據(jù)手套具有手勢識別、觸覺反饋和動覺反饋的功能，能夠?qū)崿F(xiàn)現(xiàn)實世界和元宇宙之間的雙向交互。

與基于視覺傳感器、sEMG和IMU的數(shù)據(jù)手套相比，基于柔性應(yīng)變傳感器的數(shù)據(jù)手套在元宇宙的應(yīng)用中具有精度高、佩戴舒適、價格低廉和給用戶帶來 "沉浸感"等獨特優(yōu)勢。然而，目前發(fā)展還不夠成熟，存在的實際問題主要包括：

1、柔性應(yīng)變傳感器普遍存在固有的滯后特性和長期運行的信號漂移問題；

2、電路處理單元多基于剛性的電路板，嚴(yán)重影響長期佩戴數(shù)據(jù)手套的舒適性；

3、數(shù)據(jù)手套中的每個柔性應(yīng)變傳感器都需要單獨的電線與電路處理模塊連接；

4、大部分?jǐn)?shù)據(jù)手套沒有觸覺或力反饋功能，用戶的手部感覺無法從元宇宙中反饋到現(xiàn)實世界。

為了解決這些問題，我們認(rèn)為未來需要重點關(guān)注以下4個方面：

1、 設(shè)計線性補償電路或開發(fā)補償算法來補償柔性應(yīng)變傳感器的非理想特性；

2、 通過可拉伸互連方式連接電路元件并在結(jié)構(gòu)中多層堆疊，提高電路系統(tǒng)的靈活性；

3、 通過近場通信等方式實現(xiàn)柔性應(yīng)變傳感器和電路處理單元之間的無線通信；

4、通過在數(shù)據(jù)手套的指尖區(qū)域集成小型執(zhí)行器來實現(xiàn)觸覺反饋，通過外部機械結(jié)構(gòu)配合提供外力來實現(xiàn)力反饋。