我們構(gòu)建了一個(gè)基于 Quest 3 的 VR 遙操系統(tǒng)，該系統(tǒng)能夠同時(shí)支持 DISCOVERSE 仿真環(huán)境與 MMK2 真機(jī)的操控，實(shí)現(xiàn)了從虛擬環(huán)境到真實(shí)機(jī)器人系統(tǒng)的無縫對(duì)接。 ? 基于 VR 實(shí)現(xiàn)的遙操系統(tǒng)具有良好的擴(kuò)展性和便攜性，為多場景應(yīng)用提供了靈活的操作方式。 ? 該 VR 遠(yuǎn)程操控系統(tǒng)可用于在 DISCOVERSE 仿真環(huán)境和 MMK2 真機(jī)采集數(shù)據(jù)，并將采集到 的數(shù)據(jù)作為模仿學(xué)習(xí)中的示教數(shù)據(jù)，從而提升機(jī)器人學(xué)習(xí)與控制的效率——羅凱駿、劉子聿、馮儒

一、研究背景

? 基于learning的方法在機(jī)器人領(lǐng)域引發(fā)了變革，顯著提高了機(jī)器人在移動(dòng)、操縱等方面的能力。 近期研究進(jìn)一步推動(dòng)了多模態(tài)學(xué)習(xí)以及預(yù)訓(xùn)練模型的高效微調(diào)等任務(wù)。而這些研究的核心需求 是收集示教數(shù)據(jù)，以支持模型訓(xùn)練和優(yōu)化。

? 通過遙操可以收集示教數(shù)據(jù)，并提供流暢的軌跡數(shù)據(jù)，使學(xué)習(xí)到的策略能夠推廣到新的環(huán)境和任 務(wù)中。因此當(dāng)下遙操一種收集數(shù)據(jù)的重要手段

二、目前主流方法

外骨骼：需要一個(gè)從臂來控制主臂，成本高，通用性較差且不便移動(dòng)

手柄：操作復(fù)雜，上手難度較高

以上方法都有兩個(gè)明顯缺陷： 1. 操作者和真機(jī)必須在同一地點(diǎn)，不支持遠(yuǎn)程操作 2. 操作者與機(jī)器人的觀測(cè)不同，難以支持第一人稱視角，操作者很難確保 采集到需要的corner case數(shù)據(jù)

VR ：VR開發(fā)靈活，可以適配多機(jī)器人平臺(tái)，易于拓展 VR遙操作方案無需穿戴外骨骼等設(shè)備，安全且低成本 VR遙操以第一人稱采集示教數(shù)據(jù)，更容易確保示教數(shù)據(jù)的質(zhì)量

三、研究思路

基于DISCOVERSE仿真環(huán)境及真機(jī)，使用VR遙操作采集數(shù)據(jù)，并訓(xùn)練ACT算法

使用quest3在DISCOVERSE中采集仿真器數(shù)據(jù)

使用quest3在mmk2真機(jī)上遙操采集數(shù)據(jù)

混合模擬環(huán)境自動(dòng)生成和VR遙操采集數(shù)據(jù)訓(xùn)練

在仿真環(huán)境以及真機(jī)上驗(yàn)證模型的性能

四、VR遙操技術(shù)方案

VR遙操實(shí)現(xiàn) 使用ROS-TCP-Endpoint與ROS-TCP-Connector實(shí)現(xiàn)VR、仿真器 和真機(jī)之間的網(wǎng)絡(luò)連接；同時(shí)通過開發(fā)Unity程序進(jìn)行圖傳，實(shí) 時(shí)展示VR遙操的效果。 通過ROS-TCP-Endpoint和ROS-TCP-Connector建立連接，可以實(shí) 時(shí)發(fā)送與接收ROS2中的話題，同時(shí)我們通過話題的實(shí)現(xiàn)圖傳與 VR數(shù)據(jù)的傳輸。 對(duì)于機(jī)器人底盤的移動(dòng)以及平臺(tái)的升降，我們使用Quest 3 手柄 的搖桿實(shí)現(xiàn)；夾爪的開閉通過手柄上的按鍵實(shí)現(xiàn)；最后機(jī)械臂 的移動(dòng)通過獲取手柄的末端位姿，并通過IK結(jié)算得到機(jī)械臂對(duì)應(yīng)的關(guān)節(jié)角實(shí)現(xiàn)。

五、后續(xù)工作

? VR 遠(yuǎn)程操控系統(tǒng)已成功實(shí)現(xiàn)對(duì)夾爪、脊柱及底盤的遙操，但在手臂部分仍存在一定問題。 鑒于當(dāng)前的操縱任務(wù)相對(duì)簡單，系統(tǒng)未涉及復(fù)雜的超限問題的處理。然而，為了進(jìn)一步提 升系統(tǒng)的可靠性與魯棒性，該問題仍需深入研究與解決。

? 設(shè)計(jì)數(shù)據(jù)采集和實(shí)驗(yàn)方案，采集真機(jī)與仿真數(shù)據(jù)進(jìn)行訓(xùn)練，從中對(duì)比模型的效果，為后續(xù) 優(yōu)化提供思路。