機(jī)械臂是機(jī)器人技術(shù)領(lǐng)域中得到最廣泛實(shí)際應(yīng)用的自動(dòng)化機(jī)械裝置，在教育科研、商業(yè)應(yīng)用、醫(yī)療健康等領(lǐng)域都能見(jiàn)到它的身影。

盡管它們的形態(tài)各有不同，但它們都有一個(gè)共同的特點(diǎn)，就是能夠接受指令，精確地定位到三維（或二維）空間上的某一點(diǎn)進(jìn)行作業(yè)。

在教育醫(yī)療領(lǐng)域，機(jī)械臂可以分發(fā)口罩、全自動(dòng)移液、為運(yùn)動(dòng)與語(yǔ)言障礙者傳輸指令等。

1

分發(fā)口罩

印度尼西亞北蘇門(mén)答臘大學(xué)計(jì)算機(jī)科學(xué)和信息技術(shù)學(xué)院研究使用機(jī)械臂分發(fā)口罩。

新冠病毒傳播迅猛，為了幫助減少工作人員因接觸造成的感染風(fēng)險(xiǎn)，海外用戶使用myCobot對(duì)過(guò)往人員進(jìn)行口罩佩戴識(shí)別，對(duì)于未佩戴口罩相關(guān)人員進(jìn)行分發(fā)口罩，并且已經(jīng)把相關(guān)的應(yīng)用撰寫(xiě)成論文。

臉部識(shí)別過(guò)程使用opencv的Haar Cascade Classifier 算法以及svm分類(lèi)檢測(cè)人員是否有帶口罩，對(duì)于被檢測(cè)為未佩戴口罩的人員，myCobot 280 Pi 將會(huì)用吸泵吸取一個(gè)口罩發(fā)放給用戶。

myCobot 280 Pi是桌面級(jí)六軸協(xié)作機(jī)械臂，采用樹(shù)莓派微處理器，內(nèi)置ubuntu18.04系統(tǒng)，無(wú)需搭配PC主控，鏈接外設(shè)，即可快速構(gòu)建機(jī)械臂應(yīng)用場(chǎng)景。

2

基于眼動(dòng)追蹤的機(jī)械臂控制系統(tǒng)

東南大學(xué)研究團(tuán)隊(duì)利用眼動(dòng)技術(shù)開(kāi)發(fā)了一種基于眼動(dòng)追蹤的非侵入式機(jī)械臂控制系統(tǒng)。

有嚴(yán)重語(yǔ)言和運(yùn)動(dòng)障礙的人，由于無(wú)法有效的控制肌肉的移動(dòng)，可能存在與外部世界溝通困難的情況。

在本研究中，開(kāi)發(fā)了一種基于眼動(dòng)追蹤的非侵入式機(jī)械臂控制系統(tǒng)。在充分考慮機(jī)械臂的空間特性后，進(jìn)行了以用戶為中心的設(shè)計(jì)過(guò)程，其中包含八個(gè)命令和一個(gè)中間實(shí)時(shí)視頻傳輸用戶界面。

此外，評(píng)估了三種眼動(dòng)注視點(diǎn)處理算法。其中，基于密度的空間聚類(lèi)和噪聲算法的平均準(zhǔn)確率達(dá)到了 99.3%。在此基礎(chǔ)上，設(shè)計(jì)并進(jìn)行了離線實(shí)驗(yàn)，5名被試都能夠發(fā)送準(zhǔn)確率高于 99% 的命令。

A、硬件本研究中使用的機(jī)械臂控制系統(tǒng)包括機(jī)器人手臂、眼動(dòng)追蹤設(shè)備和用戶界面。

myCobot 六軸協(xié)作機(jī)器人本實(shí)驗(yàn)機(jī)器人使用的是協(xié)作機(jī)器人手臂，該系統(tǒng)是一個(gè)多功能、輕量級(jí)的智能機(jī)器人。

由大象機(jī)器人開(kāi)發(fā)，具有豐富的硬件和軟件交互和多種兼容性。機(jī)器人有效支持多平臺(tái)二次開(kāi)發(fā)幫助用戶進(jìn)行多場(chǎng)景開(kāi)發(fā)。

B、用戶界面設(shè)計(jì)實(shí)驗(yàn)的刺激界面包括八個(gè)矩形框和實(shí)時(shí)攝像機(jī)的傳輸屏幕共有九個(gè)區(qū)域。在九個(gè)區(qū)域中，位于左上角和右下角標(biāo)記為抓住/釋放標(biāo)簽，用于控制機(jī)器人手臂展開(kāi)。其它六個(gè)標(biāo)簽被標(biāo)記為向上、向前、向左、向右、向后和向下。這六個(gè)矩形框表示六個(gè)機(jī)械臂移動(dòng)方向：向上、向前、向后，向左、向右、向下。

C、 程序本研究的離線實(shí)驗(yàn)流程設(shè)計(jì)為：基于初步實(shí)驗(yàn)的結(jié)果。被試首先聽(tīng)到0.5秒的聲刺激。然后，為了確保實(shí)驗(yàn)的隨機(jī)性，用戶界面上的八個(gè)矩形命令框隨機(jī)出現(xiàn)一個(gè)紅色方框，以提醒被試，持續(xù)2秒。同時(shí)，試次間隔也是2秒。一共進(jìn)行10次，根據(jù)離線實(shí)驗(yàn)流程，被試做出選擇，并計(jì)算其準(zhǔn)確度。

數(shù)據(jù)處理和分析

A、 眼動(dòng)信號(hào)處理使用MATLAB 2020將EDF格式轉(zhuǎn)換為可被識(shí)別的MAT格式。

B、 焦點(diǎn)分析為了獲得更高的注視精度，進(jìn)行了預(yù)實(shí)驗(yàn)。使用三種方法：閾值法（TTM），高斯歸一化方法（GNM）和基于密度的聚類(lèi)用于處理被試的注視點(diǎn)數(shù)據(jù)的算法。

C、 機(jī)械臂的智能規(guī)劃采用智能規(guī)劃算法控制機(jī)械臂末端執(zhí)行器以指定的姿態(tài)移動(dòng)到指定點(diǎn)。

結(jié)果：

結(jié)論：

本研究開(kāi)發(fā)了一種基于眼動(dòng)跟蹤控制的機(jī)械臂控制系統(tǒng)，以幫助有運(yùn)動(dòng)障礙的人進(jìn)行康復(fù)或執(zhí)行日常任務(wù)。

東南大學(xué)研究團(tuán)隊(duì)首先使用機(jī)械臂路徑智能規(guī)劃算法獲得三維空間數(shù)據(jù)，然后擬合機(jī)械臂的工作盲區(qū)。并比較了三種估計(jì)用戶注視點(diǎn)的算法，并在預(yù)實(shí)驗(yàn)中比較了它們的性能。

在離線實(shí)驗(yàn)中，基于DBSCAN算法設(shè)計(jì)了一個(gè)具有八個(gè)命令和實(shí)時(shí)視頻回放的GUI，以控制機(jī)器人手臂完成拾取和放置任務(wù)。

對(duì)圖形用戶界面的創(chuàng)新設(shè)計(jì)以及DBSACAN算法的評(píng)估和使用改善了人眼追蹤中的人機(jī)交互困境。




審核編輯：劉清