本文是洞悉 Omniverse 系列文章?！岸聪?Omniverse” 重點介紹開發(fā)者、3D 從業(yè)者與企業(yè)如何使用 OpenUSD 和 NVIDIA Omniverse 的最新進(jìn)展深入改變他們的工作流。

AI 與 OpenUSD 通過實現(xiàn)以仿真為中心的開發(fā)策略，推動安全、可擴(kuò)展的智能汽車開發(fā)。

仿真駕駛環(huán)境使工程師能夠在無數(shù)真實和邊際場景中安全、高效地訓(xùn)練、測試和驗證智能汽車，而且沒有物理測試的風(fēng)險和成本。

這些仿真環(huán)境可通過兩種方式生成：對智能汽車車隊采集的現(xiàn)實世界數(shù)據(jù)進(jìn)行神經(jīng)重建或使用世界基礎(chǔ)模型（WFM，一種理解物理學(xué)與現(xiàn)實世界屬性的神經(jīng)網(wǎng)絡(luò)），尤其是 WFM 可用于生成提高輔助駕駛仿真效果的合成數(shù)據(jù)集。

Cosmos Predict-2、Cosmos Transfer-1 NVIDIA NIM 微服務(wù)預(yù)覽版、Cosmos Reason 等關(guān)鍵創(chuàng)新技術(shù)正在以空前的規(guī)模提升智能汽車開發(fā)者生成合成數(shù)據(jù)、構(gòu)建逼真仿真環(huán)境和驗證安全系統(tǒng)的能力。

通用場景描述（OpenUSD）作為物理 AI 應(yīng)用的統(tǒng)一數(shù)據(jù)框架和標(biāo)準(zhǔn)，實現(xiàn)了仿真資產(chǎn)在整條開發(fā)管線中的無縫集成與互操作性。OpenUSD 所帶來的標(biāo)準(zhǔn)化在確保 3D 管線的可擴(kuò)展性方面起到了關(guān)鍵作用。

通過NVIDIA Omniverse（一個用于構(gòu)建基于 OpenUSD 的物理 AI 應(yīng)用的應(yīng)用編程接口、軟件開發(fā)套件和服務(wù)平臺），開發(fā)者可使用 WFM 和神經(jīng)重建技術(shù)進(jìn)行世界級規(guī)模的仿真。

首批使用 Cosmos 模型的企業(yè)包括 Foretellix、Mcity、Oxa、Parallel Domain、Plus AI、Uber 等領(lǐng)先的智能汽車企業(yè)。

為可擴(kuò)展、逼真的仿真建立基礎(chǔ)

NVIDIA 最新 WFM ——Cosmos Predict-2可根據(jù)文本、圖像、視頻等各種模態(tài)的輸入預(yù)測未來世界狀態(tài)，以此生成高質(zhì)量的合成數(shù)據(jù)。該技術(shù)對于創(chuàng)建時間一致的逼真場景至關(guān)重要，這些場景能夠加速智能汽車和機(jī)器人的訓(xùn)練與驗證。

此外，Cosmos Transfer（一個為現(xiàn)有場景添加天氣、光照和地形變化的控制模型）即將向 CARLA（一款領(lǐng)先的開源輔助駕駛模擬器）上的 15 萬名開發(fā)者開放，大幅擴(kuò)展智能汽車開發(fā)者社區(qū)對先進(jìn) AI 模擬工具的訪問渠道。

開發(fā)者可以開始使用 NVIDIA 物理 AI 數(shù)據(jù)集將合成數(shù)據(jù)集成到自身管線中。最新版本包含使用 Cosmos 生成的 4 萬個片段。

適用于輔助駕駛模擬的Omniverse Blueprint在此基礎(chǔ)上提供了一個 API 驅(qū)動的標(biāo)準(zhǔn)化工作流程，用于構(gòu)建豐富的數(shù)字孿生、回放現(xiàn)實傳感器數(shù)據(jù)和生成閉環(huán)測試所需的新 ground-truth 數(shù)據(jù)。

該藍(lán)圖使用了OpenUSD的分層堆疊和組合架構(gòu)，使開發(fā)者能夠開展異步協(xié)作并無損修改場景，通過創(chuàng)建可重復(fù)使用的模塊化場景變體，高效生成各種天氣條件、交通模式和邊界情況。

提高未來智能汽車的安全性

為提高輔助駕駛系統(tǒng)的運(yùn)行安全性，NVIDIA 在今年早些時候推出了 NVIDIA Halos —— 一個將 NVIDIA 的汽車硬件、軟件安全解決方案與其智能汽車安全領(lǐng)域前沿的 AI 研究相結(jié)合的綜合安全系統(tǒng)。

新的 Cosmos 模型——Cosmos Predict-2、Cosmos Transfer-1 NIM 和 Cosmos Reason——為 Halos 系統(tǒng)帶來了更多安全增強(qiáng)功能，使開發(fā)者能夠創(chuàng)建多樣化、可控且逼真的場景用于訓(xùn)練和驗證輔助駕駛系統(tǒng)。

這些模型基于包括駕駛數(shù)據(jù)在內(nèi)的海量多模態(tài)數(shù)據(jù)集訓(xùn)練而成，大大增加了模擬的廣度和深度，實現(xiàn)了對罕見及安全關(guān)鍵事件的全面覆蓋，同時還支持針對特定輔助駕駛?cè)蝿?wù)的定制化后訓(xùn)練。

在 CVPR 2025 上，NVIDIA 憑借在推動端到端輔助駕駛流水線方面的領(lǐng)先優(yōu)勢而被評為輔助駕駛國際挑戰(zhàn)賽“端到端輔助駕駛”賽道的優(yōu)勝者。NVIDIA 在此次挑戰(zhàn)賽上利用 OpenUSD 的強(qiáng)大元數(shù)據(jù)和互操作性，在半反應(yīng)堆仿真中根據(jù)多傳感器數(shù)據(jù)生成駕駛軌跡，實現(xiàn)了領(lǐng)先的安全性與合規(guī)性。