光輪智能借助NVIDIA Isaac Sim,通過 3D 生成與建模技術(shù)構(gòu)建高度逼真的虛擬場景,將現(xiàn)實(shí)世界的復(fù)雜場景抽象并轉(zhuǎn)化為高質(zhì)量的訓(xùn)練數(shù)據(jù)源,從而更有效地滿足模型的多樣化訓(xùn)練需求。
AI 正從以算法為中心向以數(shù)據(jù)為中心的時(shí)代演進(jìn)。高質(zhì)量且豐富的訓(xùn)練數(shù)據(jù),已成為推動(dòng)創(chuàng)新的核心資源。特別是在具身智能應(yīng)用中,數(shù)據(jù)的稀缺極大限制了模型能力的提升和潛在應(yīng)用的拓展。傳統(tǒng)數(shù)據(jù)采集方式成本高昂、耗時(shí)漫長,例如谷歌的 RT1 和 RT2 項(xiàng)目共使用了 13 臺(tái)機(jī)器人,耗時(shí) 17 個(gè)月才完成數(shù)據(jù)收集,顯然難以支撐具身智能的發(fā)展需求。
因此,構(gòu)建數(shù)據(jù)金字塔已成為突破數(shù)據(jù)瓶頸的關(guān)鍵。數(shù)據(jù)金字塔的根基由海量的非結(jié)構(gòu)化網(wǎng)絡(luò)數(shù)據(jù)組成,頂端由采集成本高昂的少量真實(shí)數(shù)據(jù)構(gòu)成,有利于智能體高效且直接地進(jìn)行知識(shí)遷移。合成數(shù)據(jù)的加入填補(bǔ)了前兩者間的空缺,在采集成本、可泛化性與知識(shí)遷移方面擁有明顯優(yōu)勢。真實(shí)數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)與合成數(shù)據(jù)相互補(bǔ)充,共同構(gòu)建了具身智能體訓(xùn)練的堅(jiān)實(shí)基礎(chǔ)。合成數(shù)據(jù)的引入不僅有效降低了數(shù)據(jù)采集成本,還通過高度擬真的物理模擬,提供了強(qiáng)大的泛化能力,為智能體在多樣化場景中的應(yīng)用打下基礎(chǔ)。
打造高質(zhì)量、可交互、可擴(kuò)展的
具身智能仿真資產(chǎn)庫與仿真訓(xùn)練平臺(tái)
具身智能的關(guān)鍵目標(biāo)之一是實(shí)現(xiàn)高度的通用性,使智能體能夠在復(fù)雜場景中靈活執(zhí)行多種任務(wù)。這種泛化能力的實(shí)現(xiàn)要求智能體具備對(duì)空間的深度認(rèn)知,包括實(shí)時(shí)理解與適應(yīng)環(huán)境中物體的位置、關(guān)系及動(dòng)態(tài)變化。相較于傳統(tǒng)的任務(wù)特定型智能體,具身智能體必須在陌生環(huán)境中迅速識(shí)別并推理出空間結(jié)構(gòu)、時(shí)序事件及其相互關(guān)系,以有效適應(yīng)任務(wù)。
NVIDIA Isaac Sim 為光輪智能生產(chǎn)合成數(shù)據(jù)提供了強(qiáng)大支持。Isaac Sim 通過物理驅(qū)動(dòng)的虛擬環(huán)境,支持智能體算法的設(shè)計(jì)、模擬與測試。借助NVIDIA PhysX 5高級(jí) GPU 物理模擬技術(shù),平臺(tái)實(shí)現(xiàn)了實(shí)時(shí)光線和路徑追蹤的逼真效果,并通過 MDL 材料定義支持物理渲染,使開發(fā)者能夠基于通用場景描述(OpenUSD)構(gòu)建自定義模擬器,提供真實(shí)的物理反饋和高度還原的交互體驗(yàn)。同時(shí),平臺(tái)還支持多種開放標(biāo)準(zhǔn)和格式,如 USD、FBX、OBJ 等,便于用戶導(dǎo)入和導(dǎo)出不同的 3D 模型和場景。
光輪智能基于 Isaac Sim 構(gòu)建的合成數(shù)據(jù)解決方案,能夠高效提升具身智能公司的模型能力。光輪智能已積累了豐富的 OpenUSD 格式場景資產(chǎn),支持任務(wù)級(jí)、物體級(jí)、場景級(jí)的物理可交互資產(chǎn)、數(shù)據(jù)的可控生成與泛化,并基于驗(yàn)證平臺(tái)進(jìn)行合成數(shù)據(jù)真實(shí)性和效用性的評(píng)測。
案例 1. 交互過程的物理參數(shù)隨機(jī)化與動(dòng)態(tài)真實(shí)性
使用高質(zhì)量、可泛化的
合成數(shù)據(jù)助力模型性能提升
基于“Real2Sim2Real+Realism Validation”的核心技術(shù)棧,光輪智能推出基于 3D 混合渲染,具有物理真實(shí)、高度交互的合成數(shù)據(jù)產(chǎn)線及以數(shù)據(jù)為中心的端到端智能體算法解決方案。光輪智能旨在利用合成數(shù)據(jù)放大人類示范效用,通過閉環(huán)仿真加速 Self-play RL,加速具身智能落地。
光輪智能的仿真框架使用基于 3DGS 技術(shù)重建的場景,并通過場景資產(chǎn)的混合渲染,顯著提升了訓(xùn)練場景的泛化能力。同時(shí),真實(shí)的物理引擎能提供準(zhǔn)確的反饋,助力模型實(shí)現(xiàn)更高效的知識(shí)遷移。高質(zhì)量的仿真框架支持光輪智能在模型訓(xùn)練方面積極創(chuàng)新,通過在仿真器中直接訓(xùn)練等方式,進(jìn)一步提升模型性能。
案例 2. 場景和物體元素的隨機(jī)泛化
案例 3. 3D 混合渲染用于具身智能模型訓(xùn)練與評(píng)測
光輪智能致力于為企業(yè)推動(dòng) AI 落地提供合成數(shù)據(jù)解決方案,重點(diǎn)從具身智能場景切入,結(jié)合生成式 AI 和仿真技術(shù),提供多模態(tài)、高質(zhì)量、可泛化、可擴(kuò)展、全鏈路的數(shù)據(jù),助力 AI 在真實(shí)世界部署,加速具身智能行業(yè)發(fā)展。
-
NVIDIA
+關(guān)注
關(guān)注
14文章
5188瀏覽量
105427 -
模型
+關(guān)注
關(guān)注
1文章
3464瀏覽量
49816 -
具身智能
+關(guān)注
關(guān)注
0文章
98瀏覽量
333
原文標(biāo)題:借助 NVIDIA Isaac Sim,光輪智能加速具身智能研發(fā)落地
文章出處:【微信號(hào):NVIDIA-Enterprise,微信公眾號(hào):NVIDIA英偉達(dá)企業(yè)解決方案】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
如何找到合適的 MCU?滿足應(yīng)用的多樣化需求

NVIDIA技術(shù)驅(qū)動(dòng)帕西尼觸覺感知與人形機(jī)器人智能突破
NVIDIA Isaac 是英偉達(dá)推出的綜合性機(jī)器人開發(fā)平臺(tái)
滿足多樣化需求的 MCX 連接器解決方案

NVIDIA發(fā)布全球首個(gè)開源人形機(jī)器人基礎(chǔ)模型Isaac GR00T N1
NVIDIA宣布NVIDIA Isaac重要更新
簡述NVIDIA Isaac的重要更新

NVIDIA推出Isaac GR00T Blueprint
堅(jiān)米智能借助NVIDIA Isaac Lab加速四足機(jī)器人開發(fā)
博科測試IPO上市觀察:產(chǎn)品布局完善,可滿足多樣化檢測需求
NVIDIA助力Figure發(fā)布新一代對(duì)話式人形機(jī)器人
雙路設(shè)計(jì),滿足光伏電站與充電樁多樣化計(jì)量需求——安科瑞丁佳雯

NVIDIA助力提供多樣、靈活的模型選擇
解析NVIDIA Isaac Sim 4.0的新功能

評(píng)論