無標(biāo)記步態(tài)分析系統(tǒng)可以測(cè)量有用的步態(tài)指標(biāo)，以確定有效的臨床治療方案。盡管這種步態(tài)分析系統(tǒng)不需要很大的空間、多個(gè)標(biāo)記，也不受時(shí)間限制，但它在步態(tài)過程中無法精確測(cè)量下肢關(guān)節(jié)運(yùn)動(dòng)學(xué)參數(shù)。特別是，它具有較大的踝關(guān)節(jié)角度誤差。

據(jù)麥姆斯咨詢報(bào)道，近日，由日本東京理工大學(xué)（Tokyo University of Science）、廣島大學(xué)（Hiroshima University）、縣立廣島大學(xué)（Prefectural University of Hiroshima）的研究人員組成的團(tuán)隊(duì)在Scientific Reports期刊上發(fā)表了題為“Verification of gait analysis method fusing camera-based pose estimation and an IMU sensor in various gait conditions”的最新論文，團(tuán)隊(duì)提出了一種融合基于相機(jī)的姿態(tài)估計(jì)和IMU傳感器的步態(tài)分析方法，提出的方法顯著降低了踝關(guān)節(jié)峰值角度的平均絕對(duì)誤差（MAE），有望作為臨床步態(tài)評(píng)估工具。

步速、步長(zhǎng)和關(guān)節(jié)運(yùn)動(dòng)學(xué)等步態(tài)指標(biāo)是臨床環(huán)境中步態(tài)障礙患者的關(guān)鍵評(píng)估參數(shù)。步態(tài)的時(shí)空和運(yùn)動(dòng)學(xué)參數(shù)已被用于評(píng)估神經(jīng)系統(tǒng)疾病的治療效果，并預(yù)測(cè)老年人摔倒的風(fēng)險(xiǎn)。這些指標(biāo)為規(guī)劃物理治療和確定治療效果提供了有價(jià)值的信息。目前，基于光電標(biāo)記的三維運(yùn)動(dòng)捕捉（3DMC）系統(tǒng)已被用作臨床步態(tài)分析的典型測(cè)量工具，它能夠精確測(cè)量步態(tài)指標(biāo)。

光電3DMC系統(tǒng)具有步態(tài)指標(biāo)測(cè)量的可靠性和可重復(fù)性。盡管3DMC系統(tǒng)能夠精確測(cè)量步態(tài)指標(biāo)，但由于經(jīng)濟(jì)和時(shí)間的限制，人們很難在臨床環(huán)境中使用它。此外，它在測(cè)量時(shí)需要較大的空間和專業(yè)的技術(shù)。

基于慣性測(cè)量單元（IMU）的運(yùn)動(dòng)捕捉系統(tǒng)可被用作3DMC的替代方法。然而，該系統(tǒng)需要將多個(gè)IMU傳感器連接到多個(gè)人體關(guān)鍵部位。基于相機(jī)的無標(biāo)記運(yùn)動(dòng)捕捉系統(tǒng)使用人體姿態(tài)估計(jì)算法來測(cè)量人體步態(tài)，也可作為3DMC的替代方法。微軟Kinect由配有深度傳感器的RGB相機(jī)組成，可以在沒有反射標(biāo)記的情況下測(cè)量步態(tài)。

Kinect可以高可靠性地測(cè)量步速、步時(shí)和步長(zhǎng)等時(shí)空參數(shù)。此外，它還被用作體弱者的運(yùn)動(dòng)輔助工具，以及測(cè)量雙任務(wù)步態(tài)的認(rèn)知功能評(píng)估工具。然而，先前的研究表明，與光電3DMC系統(tǒng)相比，深度相機(jī)無法精確測(cè)量下肢關(guān)節(jié)角度等運(yùn)動(dòng)學(xué)參數(shù)。

此外，由于采樣率的原因，使用深度傳感器的無標(biāo)記運(yùn)動(dòng)捕捉系統(tǒng)無法輕松測(cè)量快速的關(guān)節(jié)運(yùn)動(dòng)。大多數(shù)深度傳感器的采樣率為30Hz，而用于步態(tài)分析的3DMC采樣率大于60Hz或100Hz。較低的采樣率可能導(dǎo)致重要的下肢關(guān)節(jié)角度數(shù)據(jù)丟失。

最近，基于RGB相機(jī)的二維（2D）無標(biāo)記人體運(yùn)動(dòng)跟蹤系統(tǒng)，如PoseNet和OpenPose（OP），已被開發(fā)用于估計(jì)人體姿態(tài)和人體關(guān)鍵部位。OP是一款開源的人體姿態(tài)估計(jì)軟件，它使用來自每個(gè)RGB圖像的兩分支多級(jí)卷積神經(jīng)網(wǎng)絡(luò)（CNN）作為輸入來估計(jì)人體關(guān)鍵點(diǎn)。

盡管這些系統(tǒng)沒有深度傳感器，但它們可以使用CNN的二維圖像或視頻來估計(jì)人體關(guān)節(jié)點(diǎn)。這些系統(tǒng)在臨床環(huán)境中具有作為步態(tài)分析工具的巨大潛力，因?yàn)樗鼈儾恍枰郊訕?biāo)記、專業(yè)的技術(shù)或巨大的成本。

OP可作為帕金森病和自閉癥譜系障礙的篩查工具，但使用二維姿態(tài)估計(jì)系統(tǒng)進(jìn)行步態(tài)分析時(shí)仍存在一些問題。由于姿態(tài)估計(jì)僅估計(jì)人體關(guān)鍵點(diǎn)，因此用戶需要根據(jù)人體環(huán)節(jié)和匹配計(jì)算關(guān)節(jié)運(yùn)動(dòng)學(xué)。此外，當(dāng)OP被用于步態(tài)分析時(shí)，對(duì)于其精度有較高的要求。之前的一些研究報(bào)告指出，OP可以在步態(tài)過程中測(cè)量矢狀面上的時(shí)空和運(yùn)動(dòng)學(xué)參數(shù)，且誤差較小。

研究團(tuán)隊(duì)之前的研究表明，與光電3DMC系統(tǒng)相比，通過OP進(jìn)行的單RGB相機(jī)步態(tài)分析可以測(cè)量多個(gè)時(shí)空參數(shù)和矢狀面關(guān)節(jié)角度，具有良好到優(yōu)秀的一致性；然而，在某些步態(tài)條件下，下肢關(guān)節(jié)角度的測(cè)量誤差會(huì)增加，包括過量的二維圖像平面外運(yùn)動(dòng)，例如增加的足行進(jìn)角度（FPA）。

尤其是，踝關(guān)節(jié)峰值角度會(huì)有很大誤差。當(dāng)使用單個(gè)RGB相機(jī)從側(cè)面測(cè)量行走對(duì)象時(shí)，相機(jī)的二維圖像平面可以輕松捕捉屈伸運(yùn)動(dòng)。相比之下，二維圖像平面外的運(yùn)動(dòng)（如過量的FPA）會(huì)影響關(guān)節(jié)角度的精度。姿態(tài)估計(jì)算法也影響了其精度，因?yàn)樵撍惴]有設(shè)計(jì)用于在這種情況下的步態(tài)運(yùn)動(dòng)學(xué)分析。

盡管研究人員試圖在單個(gè)RGB相機(jī)分析中減少由二維圖像平面外運(yùn)動(dòng)引起的關(guān)節(jié)角度誤差，但針對(duì)二維平面外過量運(yùn)動(dòng)和踝關(guān)節(jié)角度誤差的有效校正方法尚未得到充分解決。準(zhǔn)備多臺(tái)RGB相機(jī)可能會(huì)減少角度誤差；然而，由于空間和成本較大，在臨床環(huán)境中難以采用這種方法。

使用單臺(tái)相機(jī)的三維姿態(tài)估計(jì)器可能有用，但是，考慮到其在臨床環(huán)境中的使用，這種方法存在處理速度和應(yīng)用方便性等問題。為了克服這些限制，使用IMU傳感器數(shù)據(jù)（如人體關(guān)鍵部位加速度和角速度）補(bǔ)充OP運(yùn)動(dòng)學(xué)參數(shù)可能有助于提高精度。

在本論文中，科研團(tuán)隊(duì)研究了無標(biāo)記步態(tài)分析方法的性能，該方法使用OP和足部的IMU傳感器進(jìn)行基于單個(gè)RGB相機(jī)的姿態(tài)估計(jì)，以測(cè)量不同步態(tài)條件下的踝關(guān)節(jié)運(yùn)動(dòng)學(xué)參數(shù)。16名健康的年輕成年男性參與了這項(xiàng)研究。他們比較了四種不同步態(tài)條件下的時(shí)空參數(shù)和下肢關(guān)節(jié)角度。

這些參數(shù)是利用光電運(yùn)動(dòng)捕捉、使用OP的無標(biāo)記步態(tài)分析方法以及提出的融合OP和IMU方法進(jìn)行測(cè)量的。他們發(fā)現(xiàn)，在四種步態(tài)條件下，與OP相比，提出的融合OP和IMU方法顯著降低了踝關(guān)節(jié)峰值角度的平均絕對(duì)誤差。所提出的方法具有在各種步態(tài)條件下測(cè)量時(shí)空步態(tài)參數(shù)和下肢關(guān)節(jié)角度（包括踝關(guān)節(jié)角度）的潛力，有望作為臨床步態(tài)評(píng)估工具。

圖1 步態(tài)測(cè)量實(shí)驗(yàn)設(shè)置和OP的人體模型

圖2 本論文提出的融合OP和IMU的踝關(guān)節(jié)角度測(cè)量方法

圖3 三種方法（3DMC、OP、融合OP和IMU的方法）的踝關(guān)節(jié)角度測(cè)量結(jié)果對(duì)比

論文信息：

https://doi.org/10.1038/s41598-022-22246-5

審核編輯：劉清