NVIDIA在機(jī)器人領(lǐng)域放了一個(gè)大招， 發(fā)布全球首個(gè)開(kāi)源人形機(jī)器人基礎(chǔ)模型 Isaac GR00T N1；并推出開(kāi)源物理引擎Newton；加速機(jī)器人的開(kāi)發(fā)。

? 推出完全可定制的 GR00T N1 基礎(chǔ)模型，為人形機(jī)器人賦予通用技能與推理技能
? NVIDIA、Google DeepMind 和 Disney Research 合作開(kāi)發(fā)新一代開(kāi)源物理引擎 Newton
? 用于合成數(shù)據(jù)生成的全新 Omniverse Blueprint 和開(kāi)源數(shù)據(jù)集快速開(kāi)啟物理 AI 的數(shù)據(jù)飛輪

NVIDIA Isaac GR00T N1詳細(xì)解讀文檔免費(fèi)下載

*附件：GR00T_1_Whitepaper.pdf

NVIDIA GR00T N1 訓(xùn)練數(shù)據(jù)和任務(wù)評(píng)估場(chǎng)景的GitHub下載地址：
https://github.com/NVIDIA/Isaac-GR00T

NVIDIA 今日宣布推出一系列全新技術(shù)，助力人形機(jī)器人開(kāi)發(fā)。其中包括全球首個(gè)開(kāi)源且完全可定制的基礎(chǔ)模型 NVIDIA Isaac GR00T N1，該模型可賦能通用人形機(jī)器人實(shí)現(xiàn)推理及各項(xiàng)技能。

其他技術(shù)包括仿真框架和藍(lán)圖，如用于生成合成數(shù)據(jù)的 NVIDIA Isaac GR00T Blueprint，以及和 Google DeepMind 及 Disney Research 共同開(kāi)發(fā)的、專為機(jī)器人開(kāi)發(fā)而構(gòu)建的開(kāi)源物理引擎 Newton。

已推出的 GR00T N1 是 NVIDIA 一系列可完全定制模型中的首個(gè)模型。NVIDIA 將對(duì)這一系列模型進(jìn)行預(yù)訓(xùn)練，并面向全球機(jī)器人開(kāi)發(fā)者發(fā)布。對(duì)于受全球勞動(dòng)力短缺困擾的行業(yè)而言（勞動(dòng)力缺口預(yù)計(jì)超過(guò) 5,000 萬(wàn)），這一模型的推出將有助于加速這些行業(yè)的轉(zhuǎn)型。

“通用機(jī)器人的時(shí)代已經(jīng)到來(lái)，”NVIDIA 創(chuàng)始人兼 CEO 黃仁勛表示。 “借助 NVIDIA Isaac GR00T N1 以及新的數(shù)據(jù)生成和機(jī)器人學(xué)習(xí)框架，全球機(jī)器人開(kāi)發(fā)者將開(kāi)啟 AI 時(shí)代的全新篇章?！?/p>

GR00T N1 推動(dòng)人形機(jī)器人開(kāi)發(fā)者社區(qū)發(fā)展

受人類認(rèn)知原理的啟發(fā)，GR00T N1 基礎(chǔ)模型采用雙系統(tǒng)架構(gòu)。“系統(tǒng) 1”是一個(gè)快速思考的動(dòng)作模型，反映人類的本能反應(yīng)或直覺(jué)?！跋到y(tǒng) 2”是慢思考模型，用于進(jìn)行經(jīng)過(guò)深度思考的決策制定。

系統(tǒng) 2 由視覺(jué)語(yǔ)言模型提供支持，它會(huì)對(duì)所處環(huán)境和接收到的指令進(jìn)行推理，從而規(guī)劃行動(dòng)。系統(tǒng) 1 隨后將這些規(guī)劃轉(zhuǎn)化為精確、連續(xù)的機(jī)器人運(yùn)動(dòng)。系統(tǒng) 1 基于人類演示數(shù)據(jù)和 NVIDIA Omniverse?平臺(tái)生成的海量合成數(shù)據(jù)進(jìn)行訓(xùn)練。

GR00T N1 可輕松適應(yīng)并完成通用任務(wù)，如單手或雙手抓取、移動(dòng)物體，將物體從一只手臂轉(zhuǎn)移到另一只手臂，或執(zhí)行需要長(zhǎng)語(yǔ)境和通用技能組合的多步驟任務(wù)。這些功能可應(yīng)用于物品搬運(yùn)、包裝和檢查等各種使用場(chǎng)景中。

開(kāi)發(fā)者和研究人員可以使用真實(shí)數(shù)據(jù)或合成數(shù)據(jù)針對(duì)特定人形機(jī)器人或任務(wù)對(duì) GR00T N1進(jìn)行后訓(xùn)練。

在 GTC 主題演講中，黃仁勛展示了 1X 的人形機(jī)器人自主執(zhí)行室內(nèi)清理任務(wù)的過(guò)程，該過(guò)程利用了基于 GR00T N1 的后訓(xùn)練策略。該款機(jī)器人的自主能力是 1X 與 NVIDIA AI 訓(xùn)練協(xié)作的成果。

“人形機(jī)器人的未來(lái)開(kāi)發(fā)重點(diǎn)在于適應(yīng)能力和學(xué)習(xí)能力，”1X Technologies 首席執(zhí)行官 Bernt B?rnich 表示。 “NVIDIA 的 GR00T N1 模型在機(jī)器人推理和技能方面實(shí)現(xiàn)了重大突破。 我們僅需最少量的后訓(xùn)練數(shù)據(jù)，就能在 NEO Gamma 上全面部署，這進(jìn)一步推進(jìn)了我們的使命——我們創(chuàng)造的機(jī)器人不是工具，而是伙伴，可以為人類提供有意義、有無(wú)限價(jià)值的幫助?！?/p>

全球其他優(yōu)先使用 GR00T N1 的領(lǐng)先機(jī)器人公司包括 [Agility Robotics]、[波士頓動(dòng)力]、Mentee Robotics 和 [NEURA Robotics]。

NVIDIA、Google DeepMind 和 Disney Research 專注物理學(xué)

NVIDIA 宣布與 Google DeepMind 和 Disney Research 合作，共同開(kāi)發(fā)開(kāi)源物理引擎 Newton，可讓機(jī)器人學(xué)習(xí)如何以更高的精度處理復(fù)雜任務(wù)。

Newton 基于 [NVIDIA Warp] 框架構(gòu)建，將針對(duì)機(jī)器人學(xué)習(xí)進(jìn)行優(yōu)化，并與 Google DeepMind MuJoCo 和 [NVIDIA Isaac? Lab] 等仿真框架兼容。此外，三家公司還計(jì)劃讓 Newton 能夠利用迪士尼的物理引擎。

Google DeepMind 正在和 NVIDIA 合作開(kāi)發(fā) MuJoCo-Warp，預(yù)計(jì)將機(jī)器人機(jī)器學(xué)習(xí)工作負(fù)載處理速度提升至 70 倍以上，并將通過(guò) Google DeepMind 的 MJX 開(kāi)源庫(kù)和 Newton 提供給開(kāi)發(fā)者。

Disney Research 將成為首批使用 Newton 以推動(dòng)其機(jī)器人角色平臺(tái)發(fā)展的公司之一，該平臺(tái)為下一代娛樂(lè)機(jī)器人提供支持，比如此次 GTC 主題演講中和黃仁勛一起登臺(tái)、以*星球大戰(zhàn)? *為靈感設(shè)計(jì)的富有表現(xiàn)力的 BDX 機(jī)器人，就是該平臺(tái)的成果。

“BDX 機(jī)器人只是一個(gè)開(kāi)始。我們致力于以前所未有的方式，為更多角色賦予生命，而與 Disney Research、NVIDIA 和 Google DeepMind 的合作是實(shí)現(xiàn)這一愿景的關(guān)鍵，”Walt Disney 想象工程研發(fā)部門(mén)高級(jí)副總裁 Kyle Laughlin 說(shuō)。 “此次合作將使我們能夠創(chuàng)造出比以往更具表現(xiàn)力、更具吸引力的新一代機(jī)器人角色，并以迪士尼獨(dú)有的方式與我們的游客建立聯(lián)系?！?/p>

NVIDIA 還將和 Disney Research 及 Intrinsic 進(jìn)一步合作，為機(jī)器人數(shù)據(jù)流構(gòu)建 [OpenUSD 管線和最佳實(shí)踐]。

更多數(shù)據(jù)推動(dòng)機(jī)器人后訓(xùn)練發(fā)展

大型、多樣化且高質(zhì)量的數(shù)據(jù)集對(duì)機(jī)器人開(kāi)發(fā)至關(guān)重要，但捕獲成本高昂。真實(shí)世界中，每人一天只有 24 小時(shí)，由此產(chǎn)生的人類演示數(shù)據(jù)，對(duì)于人形機(jī)器人來(lái)說(shuō)是遠(yuǎn)遠(yuǎn)不夠的。

今天宣布的[用于合成運(yùn)動(dòng)生成的 NVIDIA Isaac GR00T Blueprint] 有助于應(yīng)對(duì)這一挑戰(zhàn)。 該藍(lán)圖基于 Omniverse 和 [NVIDIA Cosmos Transfer] 世界基礎(chǔ)模型構(gòu)建，讓開(kāi)發(fā)者可以通過(guò)少量的人工演示生成大量合成運(yùn)動(dòng)數(shù)據(jù)，以用于操作任務(wù)。

利用為藍(lán)圖提供的首批組件，NVIDIA 能夠在短短 11 小時(shí)內(nèi)生成 780,000 個(gè)合成軌跡，相當(dāng)于 6,500 小時(shí)或連續(xù)九個(gè)月的人類演示數(shù)據(jù)。然后，通過(guò)將合成數(shù)據(jù)與真實(shí)數(shù)據(jù)相結(jié)合，與僅使用真實(shí)數(shù)據(jù)相比，NVIDIA 將 GR00T N1 的性能提高了 40%。

GTC 上還宣布，為了進(jìn)一步為開(kāi)發(fā)者社區(qū)提供有價(jià)值的訓(xùn)練數(shù)據(jù)，NVIDIA 將發(fā)布 GR00T N1 數(shù)據(jù)集，作為更大的[開(kāi)源物理 AI 數(shù)據(jù)集]的一部分，現(xiàn)在可通過(guò) [Hugging Face]下載。

可用性

NVIDIA GR00T N1 訓(xùn)練數(shù)據(jù)和任務(wù)評(píng)估場(chǎng)景現(xiàn)在可以通過(guò) [Hugging Face]和 [GitHub] 下載。用于合成運(yùn)動(dòng)生成的 NVIDIA Isaac GR00T Blueprint 現(xiàn)在也以交互式演示形式在 [build.nvidia.com]展示，也可以通過(guò) [GitHub] 下載。
GTC 還宣布推出了 [NVIDIA DGX Spark]，一款個(gè)人 AI 超級(jí)計(jì)算機(jī)，為開(kāi)發(fā)者提供一站式系統(tǒng)，可將 GR00T N1 的功能擴(kuò)展到新機(jī)器人、任務(wù)和環(huán)境，而無(wú)需進(jìn)行大量自定義編程。

Newton 物理引擎預(yù)計(jì)將在今年晚些時(shí)候推出。