“洞悉 Omniverse”系列文章將重點(diǎn)介紹藝術(shù)家、開發(fā)者和企業(yè)如何使用通用場景描述和 NVIDIA Omniverse 的最新技術(shù)改變其工作流程。

NVIDIA Cosmos 通過可預(yù)測未來世界狀態(tài)的世界基礎(chǔ)模型加速物理 AI 的發(fā)展。

物理 AI 是 AI 的下一個風(fēng)口。物理 AI 模型不但能夠理解指令，還能夠在現(xiàn)實(shí)世界中進(jìn)行感知和交互并執(zhí)行復(fù)雜的動作，因此可用于驅(qū)動機(jī)器人、自動駕駛汽車等自主機(jī)器。

物理 AI 模型理解世界和生成動作的方式類似于大語言模型處理和生成文本的方式。為此，物理 AI 模型必須在仿真模擬環(huán)境中接受訓(xùn)練，以便理解重力、摩擦力、慣性等物理動力學(xué)知識、幾何和空間關(guān)系以及因果原理。

全球軟件開發(fā)和專業(yè)服務(wù)領(lǐng)域的領(lǐng)先企業(yè)正在使用 OpenUSD 驅(qū)動的 NVIDIA Omniverse 構(gòu)建新產(chǎn)品和服務(wù)。這些產(chǎn)品和服務(wù)將加速 AI 和可控模擬仿真的發(fā)展，幫助企業(yè)創(chuàng)建被稱為數(shù)字孿生的逼真虛擬世界，并利用數(shù)字孿生所具有的空前精度與細(xì)節(jié)訓(xùn)練物理 AI。

使用 Omniverse 和 NVIDIA Cosmos

成倍生成合成數(shù)據(jù)

NVIDIA 在 CES 上發(fā)布的生成式 AI 模型和藍(lán)圖將 Omniverse 更加深入地集成到機(jī)器人、自動駕駛汽車、視覺 AI 等物理 AI 應(yīng)用中。

NVIDIA Cosmos 是一個由先進(jìn)生成式世界基礎(chǔ)模型、高級 tokenizer、護(hù)欄和加速視頻處理管線組成的平臺。該平臺的所有組成部分都是為了加速物理 AI 的開發(fā)。

物理 AI 模型的開發(fā)過程不僅成本高昂、資源和時間耗費(fèi)巨大，而且還需要大量現(xiàn)實(shí)數(shù)據(jù)和進(jìn)行大量實(shí)際測試。Cosmos 的世界基礎(chǔ)模型(WFM)基于多模態(tài)輸入以視頻的形式預(yù)測未來世界的狀態(tài)，使開發(fā)者能夠輕松生成大量逼真、基于物理學(xué)的合成數(shù)據(jù)，并使用這些數(shù)據(jù)訓(xùn)練和評估用于機(jī)器人、自動駕駛汽車與機(jī)器的 AI。開發(fā)者還可以通過微調(diào) Cosmos WFM，建立下游世界模型或提高特定物理 AI 用例的質(zhì)量和效率。

在與 Omniverse 搭配使用時，Cosmos 可創(chuàng)建一個強(qiáng)大的合成數(shù)據(jù)倍增引擎。開發(fā)者可以使用 Omniverse 創(chuàng)建 3D 場景，然后將輸出結(jié)果輸入 Cosmos 生成可控的視頻和變化。它能夠成倍快速生成涵蓋各種環(huán)境和交互的訓(xùn)練數(shù)據(jù)，大幅加快自動駕駛汽車和機(jī)器人等物理 AI 系統(tǒng)的開發(fā)速度。

使用 OpenUSD 可以將這些場景中的數(shù)據(jù)無縫整合并以統(tǒng)一的方式呈現(xiàn)，提高仿真模擬的真實(shí)性與有效性。

Cosmos 的首批用戶中有多家領(lǐng)先的機(jī)器人和汽車公司，包括 1X、Agile Robots、Agility Robotics、Figure AI、Foretellix、Fourier、Galbot、Hillbot、IntBot、Neura Robotics、Skild AI、Virtual Incision、Waabi 和小鵬，以及共享出行巨頭 Uber。

Cosmos 在物理 AI 用例中的應(yīng)用

Cosmos WFM 提供了一個為各種應(yīng)用開發(fā)、訓(xùn)練和部署大規(guī)模 AI 模型的統(tǒng)一框架，為各行各業(yè)帶來了變革。例如汽車、工業(yè)和機(jī)器人領(lǐng)域的企業(yè)現(xiàn)在能夠運(yùn)用生成式物理 AI 和仿真模擬的力量加快創(chuàng)新并提高運(yùn)營效率。

人形機(jī)器人：適用于合成運(yùn)動生成的 NVIDIA Isaac GR00T Blueprint 幫助開發(fā)者生成海量合成運(yùn)動數(shù)據(jù)集，以便使用模仿學(xué)習(xí)訓(xùn)練人形機(jī)器人。借助 GR00T 工作流，用戶可以捕捉人類動作并使用 Cosmos 將數(shù)據(jù)集的規(guī)模和種類增加數(shù)倍，使其更加適合用于訓(xùn)練物理 AI 系統(tǒng)。

自動駕駛汽車：Omniverse Sensor RTX API 驅(qū)動的自動駕駛汽車(AV)仿真使自動駕駛汽車開發(fā)者能夠播放駕駛數(shù)據(jù)、生成新的 ground-truth 數(shù)據(jù)和進(jìn)行閉環(huán)測試，從而加快開發(fā)流程。開發(fā)者可以使用 Cosmos 生成合成駕駛場景，令訓(xùn)練數(shù)據(jù)成倍增加，加快自動駕駛汽車物理 AI 模型的開發(fā)速度。全球共享出行巨頭 Uber 正在與 NVIDIA 合作，共同加速自動駕駛汽車的發(fā)展。Uber 能夠提供的豐富駕駛數(shù)據(jù)集，結(jié)合 Cosmos 和 NVIDIA DGX Cloud，幫助自動駕駛汽車伙伴更加高效地構(gòu)建更強(qiáng)大的 AI 模型。

工業(yè)：Mega 是一種 Omniverse Blueprint，用于在基于 USD 的數(shù)字孿生中大規(guī)模開發(fā)、測試和優(yōu)化將被部署到工廠和倉庫的物理 AI 與機(jī)器人機(jī)隊。該藍(lán)圖使用 Omniverse Cloud Sensor RTX API 同時渲染來自各類智能機(jī)器的多傳感器數(shù)據(jù)，實(shí)現(xiàn)大規(guī)模、高保真的傳感器仿真。Cosmos 通過生成合成邊緣案例場景來豐富訓(xùn)練數(shù)據(jù)，大大提高了使用 Mega 在仿真中訓(xùn)練機(jī)器人的效果和效率。供應(yīng)鏈方案提供商 KION Group 是首批使用 Mega 推動零售、消費(fèi)品包裝、包裹服務(wù)等行業(yè)倉庫自動化的企業(yè)之一。

進(jìn)入 OpenUSD 的世界

關(guān)于 Cosmos 的更多信息，請觀看 NVIDIA 首席執(zhí)行官黃仁勛 CES 主題演講回放視頻，并開始使用 Cosmos WFM。Cosmos WFM 現(xiàn)在可通過 Hugging Face 和 NVIDIA NGC 產(chǎn)品目錄上的開放模型許可證獲得。

通過 NVIDIA 深度學(xué)習(xí)培訓(xùn)中心為 3D 開發(fā)者和從業(yè)者免費(fèi)提供的全新 Learn OpenUSD 自學(xué)課程，了解如何持續(xù)優(yōu)化 OpenUSD 工作流。有關(guān) OpenUSD 的更多資源，請訪問 OpenUSD 論壇聯(lián)盟和 AOUSD 網(wǎng)站。