通用人形機(jī)器人需要能夠快速適應(yīng)現(xiàn)有的以人類為中心的城市和工業(yè)工作空間，處理繁瑣、重復(fù)或體力要求高的任務(wù)。這些移動(dòng)機(jī)器人經(jīng)過設(shè)計(jì)，能在以人類為中心的環(huán)境中有出色的表現(xiàn)，從工廠車間到醫(yī)療醫(yī)療機(jī)構(gòu)，它們的價(jià)值日益凸顯。

模仿學(xué)習(xí)是機(jī)器人學(xué)習(xí)的一個(gè)子集，它能讓人形機(jī)器人通過觀察和模仿人類專家的示范來獲取新技能，這些演示可以來自遠(yuǎn)程操作演示中的人類真實(shí)視頻，也可以來自仿真數(shù)據(jù)。模仿學(xué)習(xí)使用已標(biāo)記的數(shù)據(jù)集，有利于在難以編程定義的不同環(huán)境中教授機(jī)器人復(fù)雜動(dòng)作。

雖然錄制演示可能比指定獎(jiǎng)勵(lì)策略更簡單，但創(chuàng)建完美的演示可能具有挑戰(zhàn)性，并且機(jī)器人可能難以應(yīng)對(duì)一些未曾預(yù)見的情況。在真實(shí)世界中收集廣泛、高質(zhì)量的數(shù)據(jù)集既繁瑣又耗時(shí)，而且成本往往高得令人卻步。但是，從物理精確的仿真環(huán)境中生成的合成數(shù)據(jù)，有助于加快數(shù)據(jù)收集過程。

用于合成運(yùn)動(dòng)生成的NVIDIA Isaac GR00T Blueprint是基于NVIDIA Omniverse和NVIDIA Cosmos構(gòu)建的參考工作流。它從少量的人類演示中創(chuàng)建了大量的合成運(yùn)動(dòng)軌跡，用于機(jī)器人操作。

利用為該藍(lán)圖提供的首批組件，NVIDIA 能夠在短短 11 小時(shí)內(nèi)生成 780,000 個(gè)合成軌跡，相當(dāng)于 6,500 小時(shí)或連續(xù)九個(gè)月的人類演示數(shù)據(jù)。然后，通過將合成數(shù)據(jù)與真實(shí)數(shù)據(jù)相結(jié)合，與僅使用真實(shí)數(shù)據(jù)相比，NVIDIA 將GR00T N1的性能提高了 40%。

在本文中，我們將介紹如何使用空間計(jì)算設(shè)備（例如 Apple Vision Pro）或其他捕獲設(shè)備（例如 space mouse）進(jìn)入仿真機(jī)器人的數(shù)字孿生，并通過遠(yuǎn)程操作仿真機(jī)器人來記錄運(yùn)動(dòng)演示。然后，使用這些記錄生成更大規(guī)模、且物理屬性準(zhǔn)確的合成運(yùn)動(dòng)軌跡集。該藍(lán)圖還可以通過生成數(shù)量呈指數(shù)級(jí)增長、逼真且多樣化的訓(xùn)練數(shù)據(jù)集，進(jìn)一步擴(kuò)充數(shù)據(jù)集。然后，我們使用這些數(shù)據(jù)對(duì)機(jī)器人策略模型進(jìn)行后期訓(xùn)練。

Blueprint 概述

圖 1. NVIDIA Isaac GR00T Blueprint 架構(gòu)

該工作流包括以下關(guān)鍵組成部分：

GR00T-Teleop：即將推出，但目前已經(jīng)可以使用藍(lán)圖中提供的樣本數(shù)據(jù)。

NVIDIA CloudXR Runtime：將Isaac Lab中的仿真?zhèn)鬏數(shù)?Apple Vision Pro，并接收用于人形機(jī)器人遠(yuǎn)程操作的控制數(shù)據(jù)。

適用于 Apple Vision Pro 的 Isaac XR Teleop 示例應(yīng)用：使用戶能夠與從 CloudXR Runtime 流式傳輸?shù)?strong>Isaac Lab仿真進(jìn)行沉浸式交互，并發(fā)送回用于人形機(jī)器人遠(yuǎn)程操作的控制數(shù)據(jù)。

GR00T-Mimic：使用錄制的演示作為輸入，在 Isaac Lab 中生成額外的合成運(yùn)動(dòng)軌跡。此藍(lán)圖的第一版僅適用于單臂操作，支持人形機(jī)器人雙臂操作的版本即將推出。

要錄制您自己的動(dòng)作，請(qǐng)使用空格鼠標(biāo)控件記錄動(dòng)作。更多信息，請(qǐng)參閱生成其他演示：

https://isaac-sim.github.io/IsaacLab/main/source/overview/teleop_imitation.html#generating-additional-demonstrations

GR00T-Gen：通過隨機(jī)化場(chǎng)景中的背景、光照和其他變量來增加多樣性，并通過NVIDIA Cosmos Transfer增強(qiáng)生成的圖像。

Isaac Lab：使用統(tǒng)一的開源機(jī)器人學(xué)習(xí)框架訓(xùn)練機(jī)器人策略。Isaac Lab 基于NVIDIA Isaac Sim構(gòu)建。

圖 2. 遠(yuǎn)程操作架構(gòu)

工作流從數(shù)據(jù)采集開始，在這個(gè)過程中，將使用像 Apple Vision Pro 這樣的高保真設(shè)備，在仿真環(huán)境中捕捉人類的動(dòng)作和行為。Apple Vision Pro 將手部追蹤數(shù)據(jù)傳輸?shù)饺?Isaac Lab 等的仿真平臺(tái)，同時(shí)仿真平臺(tái)將機(jī)器人環(huán)境的沉浸式視圖傳輸回該設(shè)備。這種設(shè)置使得機(jī)器人操作更加直觀和互動(dòng)，有助于收集高質(zhì)量的遠(yuǎn)程操作數(shù)據(jù)。

Isaac Lab 中的機(jī)器人仿真被傳輸?shù)?Apple Vision Pro，讓您能夠可視化機(jī)器人的環(huán)境。通過移動(dòng)手部，您可以直觀地控制機(jī)器人執(zhí)行各種任務(wù)。這種設(shè)置提供了沉浸式且互動(dòng)的遠(yuǎn)程操作體驗(yàn)。

圖 3. Isaac Lab 中的遠(yuǎn)程操作

使用 GR00T-Mimic

生成合成運(yùn)動(dòng)軌跡

數(shù)據(jù)收集后，下一步是生成合成軌跡。使用 Isaac GR00T-Mimic，能夠從少量人類示范中推算出大量合成運(yùn)動(dòng)軌跡。

這個(gè)過程包括在示范中標(biāo)記關(guān)鍵點(diǎn)，并使用插值法確保合成軌跡平滑且符合情境。然后對(duì)生成的數(shù)據(jù)進(jìn)行評(píng)估和優(yōu)化，以滿足訓(xùn)練所需的標(biāo)準(zhǔn)。

在這個(gè)示例中，我們成功生成了 1000 條合成軌跡。

圖 4. Isaac Lab 中生成的一組合成軌跡

擴(kuò)充并生成大量數(shù)據(jù)

及多樣化數(shù)據(jù)集

為了縮小仿真與現(xiàn)實(shí)之間的差距，關(guān)鍵是提升合成生成圖像的真實(shí)感，使其達(dá)到必要的逼真度，并通過隨機(jī)化照明、顏色和背景等各種參數(shù)來增加多樣性。

通常，這個(gè)過程需要構(gòu)建逼真的 3D 場(chǎng)景和物體，而且需要耗費(fèi)大量時(shí)間并具備專業(yè)知識(shí)。借助 Cosmos Transfer（WFMs），只需簡單的文本提示，就能大幅加快這一過程，從原本的數(shù)小時(shí)縮短至幾分鐘。

圖 5 和圖 6 的示例，展示了將合成生成的圖像輸入到 NVIDIA Cosmos Transfer WFM 后可實(shí)現(xiàn)的逼真效果。

圖 5. 在 Isaac Lab 中創(chuàng)建的合成生成圖像

圖 6. 借助 NVIDIA Cosmos Transfer WFM 實(shí)現(xiàn)逼真的合成圖像

在 Isaac Lab 中使用

模仿學(xué)習(xí)進(jìn)行訓(xùn)練

最后，通過模仿學(xué)習(xí)，利用合成數(shù)據(jù)集對(duì)機(jī)器人進(jìn)行訓(xùn)練。在這個(gè)階段，會(huì)訓(xùn)練一個(gè)策略，比如 Robomimic 套件的循環(huán)高斯混合模型（GMM），以模仿合成數(shù)據(jù)中的動(dòng)作。訓(xùn)練在比如 Isaac Lab 這樣的仿真環(huán)境中進(jìn)行，并且通過多次試驗(yàn)來評(píng)估訓(xùn)練后的策略的性能。

為了展示如何使用這些數(shù)據(jù)，我們訓(xùn)練了一臺(tái)帶有夾爪的 Franka 機(jī)器人，在 Isaac Lab 中執(zhí)行堆疊任務(wù)。我們將 Behavioral Cloning 與 Robomimic 套件中的遞歸 GMM 策略結(jié)合使用，該策略使用兩個(gè)隱藏維度為 400 的長短期記憶（LSTM）層。

網(wǎng)絡(luò)的輸入包括機(jī)器人終端執(zhí)行器的位姿、夾爪狀態(tài)以及相對(duì)物體的位姿，而輸出是一個(gè)用于在 Isaac Lab 環(huán)境中驅(qū)動(dòng)機(jī)器人的增量位姿動(dòng)作。

使用由 1000 次成功示范組成的數(shù)據(jù)集，并經(jīng)過 2000 次迭代，我們實(shí)現(xiàn)了大約 50 次迭代 / 秒的訓(xùn)練速度（相當(dāng)于在 NVIDIA RTX GPU 上大約 0.5 小時(shí)的訓(xùn)練時(shí)間）。在 50 次實(shí)驗(yàn)的平均結(jié)果中，經(jīng)過訓(xùn)練的策略在堆棧任務(wù)中的成功率達(dá)到了 84%。

圖 7. 在 Isaac Lab 中訓(xùn)練的夾爪

工作流的優(yōu)勢(shì)

此方法的主要優(yōu)勢(shì)在于在數(shù)據(jù)收集過程中節(jié)省了時(shí)間，從堆疊立方體到線程針等各種操作任務(wù)的成功率即可證明這一點(diǎn)，例如在使用 GPU 和 cuOpt 等技術(shù)時(shí)，成功率顯著提高。

圖 8. 策略模型訓(xùn)練結(jié)果（來源于 MimicGen：利用人類演示實(shí)現(xiàn)可擴(kuò)展機(jī)器人學(xué)習(xí)的數(shù)據(jù)生成系統(tǒng)）

傳統(tǒng)上，經(jīng)過適當(dāng)訓(xùn)練的人工操作員大約需要一分鐘來錄制一段高質(zhì)量的示范動(dòng)作，然而由于需要耗費(fèi)大量人力，且存在出錯(cuò)的可能性，這種方式很難大規(guī)模推廣。相比之下，這種新方法通過結(jié)合少量人類演示和合成數(shù)據(jù)，能達(dá)到相似的成功率，將數(shù)據(jù)采集時(shí)間從幾小時(shí)縮短到幾分鐘。

通過 NVIDIA Cosmos，您可以增強(qiáng)合成圖像，以實(shí)現(xiàn)所需的逼真度，僅使用文本提示即可有效縮小仿真與現(xiàn)實(shí)之間的差距。這種方法顯著簡化了數(shù)據(jù)收集過程，使您能夠生成多樣化的大型數(shù)據(jù)集，同時(shí)保持或提高生成的機(jī)器人策略的質(zhì)量。

使用該藍(lán)圖的開發(fā)者

智元機(jī)器人、Mentee Robotics、UCR 和 X-Humanoid 等人形機(jī)器人開發(fā)者已將該藍(lán)圖的組件集成到其人形機(jī)器人開發(fā)流程中。

Field AI、Lab0、Miso Robotics、RIVR 和 Sanctuary AI 等其他公司也在利用 Isaac 仿真框架，開發(fā)機(jī)器人大腦和軟件棧，以及測(cè)試和驗(yàn)證物理機(jī)器人。

開始使用

在本文中，我們討論了如何通過 NVIDIA Isaac GR00T 收集、生成和擴(kuò)充訓(xùn)練單臂操作器所需的數(shù)據(jù)。

在 build.nvidia.com 上體驗(yàn)用于合成運(yùn)動(dòng)生成的 NVIDIA Isaac GR00T Blueprint

從 /NVIDIA-Omniverse-blueprints GitHub 代碼庫下載藍(lán)圖，并在您選擇的基礎(chǔ)架構(gòu)上進(jìn)行部署

此藍(lán)圖的第一版僅適用于單臂操作，支持人形機(jī)器人雙臂操作的版本即將推出。

本文最初發(fā)布于 2025 年 1 月，已根據(jù)新的信息進(jìn)行了修改。