案例簡介

本案例中，智元機(jī)器人基于 NVIDIA Isaac GR00T-Teleop & GR00T-Mimic 提供的遠(yuǎn)程仿真操作功能和強(qiáng)大的模仿學(xué)習(xí)合成數(shù)據(jù)生成工作流，打造了支持高保真模擬和多維度泛化的大型機(jī)器人仿真框架 Genie Sim，并推出 AgiBot Digital World（agibot-digitalworld.cn）機(jī)器人海量仿真數(shù)據(jù)集。

本案例中使用了 NVIDIA Isaac GR00T。

NVIDIA Isaac GR00T

加速仿真數(shù)采方案

模仿學(xué)習(xí)是機(jī)器人技術(shù)發(fā)展的關(guān)鍵方向之一，通過觀察和模仿人類專家的示范，機(jī)器人能夠快速掌握新技能。然而，高質(zhì)量示范數(shù)據(jù)的采集往往耗時(shí)費(fèi)力且成本高昂，這嚴(yán)重制約了機(jī)器人學(xué)習(xí)的效率。

為了解決這一難題，智元機(jī)器人推出了基于 NVIDIA Isaac GR00T-Teleop 和 GR00T-Mimic 技術(shù)的仿真大規(guī)模數(shù)據(jù)采集方案和海量開源仿真數(shù)據(jù)集 AgiBot Digital World，更高效地解決機(jī)器人數(shù)據(jù)稀缺的問題。

智元的仿真數(shù)據(jù)生成方案借助 Isaac Sim 高度逼真的視覺渲染和精確的物理引擎，精準(zhǔn)還原機(jī)器人的訓(xùn)練環(huán)境，并結(jié)合 GR00T-Teleop 遠(yuǎn)程操作和 GR00T-Mimic 的數(shù)據(jù)增廣技術(shù)，快速生成高質(zhì)量且多樣化的專家軌跡數(shù)據(jù)。

這不僅大幅降低了數(shù)據(jù)采集的成本和時(shí)間，還為機(jī)器人模型訓(xùn)練提供了豐富的仿真數(shù)據(jù)資源，幫助機(jī)器人更高效地融入人類社會(huì)，推動(dòng)各行各業(yè)的智能化轉(zhuǎn)型。

運(yùn)用 GR00T-Teleop

加速仿真機(jī)器人數(shù)據(jù)采集

智元機(jī)器人利用 GR00T-Teleop 打造了更加高效易用的仿真遙操作方法。GR00T-Teleop 是 NVIDIA Project GR00T 的核心模塊之一，它通過 VR/AR 設(shè)備實(shí)現(xiàn)實(shí)時(shí)遠(yuǎn)程操控，將遠(yuǎn)程操作數(shù)據(jù)流傳輸?shù)?NVIDIA Isaac Sim 和 NVIDIA Isaac Lab，使操作者能夠精準(zhǔn)控制機(jī)器人在仿真環(huán)境中完成復(fù)雜動(dòng)作和任務(wù)，為模仿學(xué)習(xí)提供高質(zhì)量的仿真訓(xùn)練數(shù)據(jù)，顯著降低了機(jī)器人技能開發(fā)的門檻。

GR00T-Teleop 支持基于 Apple Vision Pro 的遠(yuǎn)程操作，智元在此基礎(chǔ)上與 NVIDIA 聯(lián)合開發(fā)，推出了適配 PICO 的遠(yuǎn)程操作解決方案。這一創(chuàng)新方案已成功集成到 Genie Sim 仿真框架，為大規(guī)模仿真數(shù)據(jù)生產(chǎn)與開源計(jì)劃提供了強(qiáng)大的數(shù)據(jù)采集支持，進(jìn)一步拓寬了技術(shù)的應(yīng)用場景，讓機(jī)器人數(shù)據(jù)采集更加高效便捷。

Genie Sim 基于 GR00T-Teleop 的仿真遠(yuǎn)程操作架構(gòu)

GR00T-Teleop 中的仿真遠(yuǎn)程操作

用戶通過佩戴 PICO VR 設(shè)備，利用手柄實(shí)時(shí)控制 Isaac Sim 中智元 AgiBot G1 機(jī)器人的手臂、腰部和底盤運(yùn)動(dòng)。其中，手臂的控制最為復(fù)雜，系統(tǒng)需要實(shí)時(shí)讀取機(jī)器人的當(dāng)前關(guān)節(jié)角度。當(dāng)用戶移動(dòng)手柄時(shí)，控制指令會(huì)同步發(fā)送到仿真系統(tǒng)?；谀孢\(yùn)動(dòng)學(xué)算法，系統(tǒng)會(huì)結(jié)合當(dāng)前關(guān)節(jié)角度與指令數(shù)據(jù)，實(shí)時(shí)解算出目標(biāo)關(guān)節(jié)角度，并驅(qū)動(dòng)仿真環(huán)境中的機(jī)器人完成精準(zhǔn)的關(guān)節(jié)位姿控制。

這一過程實(shí)現(xiàn)了從指令輸入到動(dòng)作執(zhí)行的高效閉環(huán)，充分展現(xiàn)了遠(yuǎn)程操作技術(shù)在機(jī)器人仿真控制中的核心作用與強(qiáng)大能力。

通過遠(yuǎn)程操作采集仿真數(shù)據(jù)

通過 GR00T-Mimic

實(shí)現(xiàn)從人工示教到海量泛化

在 GR00T-Teleop 為具身大模型訓(xùn)練提供高效且擬人的仿真數(shù)據(jù)采集功能的基礎(chǔ)上，智元機(jī)器人還運(yùn)用 GR00T-Mimic 以少量人類示范生成大量合成運(yùn)動(dòng)軌跡數(shù)據(jù)，實(shí)現(xiàn)數(shù)據(jù)采集規(guī)模的指數(shù)級(jí)擴(kuò)展。

智元機(jī)器人將 GR00T-Mimic 深度集成至 Genie Sim 仿真框架中。通過對 GR00T-Teleop 采集的初始軌跡數(shù)據(jù)進(jìn)行智能泛化，智元仿真團(tuán)隊(duì)成功將其擴(kuò)展為數(shù)千條高精度運(yùn)動(dòng)軌跡。這些軌跡在 Isaac Sim 仿真環(huán)境中進(jìn)行自動(dòng)化驗(yàn)證后，被高效轉(zhuǎn)化為具身大模型的訓(xùn)練數(shù)據(jù)。

這一創(chuàng)新流程不僅大幅提升了仿真數(shù)據(jù)采集效率，更為具身大模型訓(xùn)練提供了前所未有的高質(zhì)量仿真數(shù)據(jù)集，為智能機(jī)器人的算法研發(fā)打造了堅(jiān)實(shí)的數(shù)據(jù)基礎(chǔ)。

使用 GR00T-Mimic 生成大量合成軌跡

智元 Genie Sim：

加速機(jī)器人開發(fā)的仿真框架

智元機(jī)器人的 Genie Sim 仿真框架通過深度集成 GR00T-Teleop 和 GR00T-Mimic 技術(shù)，結(jié)合大規(guī)模、高精度的三維資產(chǎn)庫，為開發(fā)者提供了高效的數(shù)據(jù)生成能力。

基于 NVIDIA 的強(qiáng)大計(jì)算平臺(tái)和智元的創(chuàng)新應(yīng)用，開發(fā)者能夠在短時(shí)間內(nèi)積累海量機(jī)器人仿真數(shù)據(jù)，顯著降低數(shù)據(jù)采集成本，同時(shí)提升數(shù)據(jù)多樣性與質(zhì)量。這一能力為機(jī)器人模型的訓(xùn)練與優(yōu)化奠定了堅(jiān)實(shí)基礎(chǔ)。

此外，智元機(jī)器人的仿真框架構(gòu)建了從軌跡生成、模型訓(xùn)練、基準(zhǔn)測試到部署驗(yàn)證的完整評(píng)估閉環(huán)，并通過高效的仿真工具鏈，幫助用戶快速驗(yàn)證算法性能并優(yōu)化模型。無論是簡單的抓取任務(wù)還是復(fù)雜的長程操作，Genie Sim 都能提供高度還原的仿真環(huán)境與精準(zhǔn)的評(píng)測指標(biāo)，助力開發(fā)者高效完成機(jī)器人技術(shù)的開發(fā)與迭代。

通過與 NVIDIA 的深度合作，智元進(jìn)一步提升了仿真框架的性能與可擴(kuò)展性，為機(jī)器人技術(shù)的創(chuàng)新與應(yīng)用落地提供了強(qiáng)有力的支持。