標(biāo)準(zhǔn)化合成數(shù)據(jù)的初始版本預(yù)計將成為世界上最大的此類數(shù)據(jù)集，目前已作為開源版本提供給機(jī)器人開發(fā)人員。

訓(xùn)練自主機(jī)器人和車輛與物理世界有效互動需要海量高質(zhì)量的數(shù)據(jù)，為了讓研究人員和開發(fā)者贏得先機(jī)，NVIDIA 現(xiàn)發(fā)布大型開源數(shù)據(jù)集，助力構(gòu)建下一代物理 AI。

這個商業(yè)級、預(yù)先驗證的數(shù)據(jù)集在加利福尼亞州圣何塞舉辦的全球 AI 大會 NVIDIA GTC 上正式發(fā)布，將幫助研究人員和開發(fā)者克服從零開始的挑戰(zhàn)，順利啟動物理 AI 項目。開發(fā)者可以利用數(shù)據(jù)集開展模型預(yù)訓(xùn)練、測試和驗證，或用于后訓(xùn)練以調(diào)優(yōu)世界基礎(chǔ)模型，加快部署進(jìn)程。

初始數(shù)據(jù)集現(xiàn)可通過 Hugging Face 平臺下載，為開發(fā)者提供 15 TB 數(shù)據(jù)，包含超過 320,000 條機(jī)器人訓(xùn)練軌跡，以及包含 SimReady 資源集合在內(nèi)的高達(dá) 1,000 個通用場景描述（OpenUSD）資源。此外，還即將發(fā)布支持端到端自動駕駛汽車開發(fā)的專用數(shù)據(jù)，其中包括時長為 20 秒的剪輯片段，覆蓋美國和二十多個歐洲國家/地區(qū) 1,000 多個城市的各種交通場景。

NVIDIA 物理 AI 數(shù)據(jù)集包含數(shù)百個 SimReady 資產(chǎn)，可用于構(gòu)建豐富的場景。

未來，該數(shù)據(jù)集有望發(fā)展為世界上最大的統(tǒng)一、開源的物理 AI 開發(fā)數(shù)據(jù)集?？梢詾槎喾N AI 開發(fā)模型提供支持，包括能安全穿越倉庫環(huán)境的自主導(dǎo)航機(jī)器人、外科手術(shù)輔助機(jī)器人，以及在施工區(qū)等復(fù)雜交通場景下穿梭自如的自動駕駛汽車。

NVIDIA 物理 AI 數(shù)據(jù)集計劃一系列真實(shí)數(shù)據(jù)和合成數(shù)據(jù)子集，并將使用這些數(shù)據(jù)通過多個平臺來訓(xùn)練、測試和驗證物理 AI，平臺將包括NVIDIA Cosmos世界模型開發(fā)平臺、NVIDIA DRIVE AV軟件棧、NVIDIA Isaac AI機(jī)器人開發(fā)平臺，以及NVIDIA Metropolis智慧城市應(yīng)用框架。

加州大學(xué)伯克利分校 Berkeley DeepDrive 研究中心、卡內(nèi)基梅隆安全 AI 實(shí)驗室和加州大學(xué)圣地亞哥分校 Contextual 機(jī)器人研究所已經(jīng)開始率先使用該數(shù)據(jù)集。

加州大學(xué)圣地亞哥分校多個機(jī)器人和自動駕駛汽車實(shí)驗室的負(fù)責(zé)人 Henrik Christensen 表示：“利用這個數(shù)據(jù)集，我們能做很多工作，比如訓(xùn)練預(yù)測性 AI 模型，這些模型可以幫助自動駕駛汽車更好地追蹤行人等易受傷害的道路使用者的動向，從而提高安全性。與現(xiàn)有的開源資源相比，這個數(shù)據(jù)集能提供多樣化的場景和更長的視頻片段，這將顯著推動機(jī)器人技術(shù)和自動駕駛汽車的研究進(jìn)展。”

滿足物理 AI 數(shù)據(jù)需求

NVIDIA 物理 AI 數(shù)據(jù)集可以幫助開發(fā)者在預(yù)訓(xùn)練期間擴(kuò)展 AI 性能，海量數(shù)據(jù)能夠支持構(gòu)建更強(qiáng)大的 AI 模型，在預(yù)訓(xùn)練階段利用更豐富的數(shù)據(jù)對 AI 模型進(jìn)行訓(xùn)練，以提高其在特定用例中的性能表現(xiàn)。

想要構(gòu)建一個能準(zhǔn)確反映真實(shí)世界物理特性及其動態(tài)變化的多樣化場景數(shù)據(jù)集，需要投入大量時間開展數(shù)據(jù)采集、整理和標(biāo)注工作，這成為了大多數(shù)開發(fā)者推進(jìn)項目的一個瓶頸。對于學(xué)術(shù)研究人員和小型企業(yè)來說，部署車隊進(jìn)行長達(dá)數(shù)月的自動駕駛汽車 AI 數(shù)據(jù)收集既不現(xiàn)實(shí)且成本高昂，并且由于采集的視頻大多為常規(guī)道路場景，僅有 10% 的數(shù)據(jù)可被用于訓(xùn)練。

但這種規(guī)模的數(shù)據(jù)采集對于構(gòu)建安全、準(zhǔn)確的商業(yè)級模型十分重要。NVIDIA Isaac GR00T機(jī)器人模型需要數(shù)千小時的視頻剪輯片段進(jìn)行后訓(xùn)練，比如 GR00T N1，這一模型是在一個包含大量真實(shí)數(shù)據(jù)和合成數(shù)據(jù)的人形機(jī)器人數(shù)據(jù)集上進(jìn)行訓(xùn)練的。NVIDIA DRIVE AV 自動駕駛汽車端到端 AI 模型需要數(shù)萬小時的駕駛數(shù)據(jù)來開發(fā)。

該開源數(shù)據(jù)集收錄了數(shù)千小時的多視角視頻，其場景多樣性、數(shù)據(jù)規(guī)模和覆蓋地域范圍都達(dá)到了前所未有的水平。這將為安全研究領(lǐng)域帶來突破，特別是在識別異常行為和評估模型泛化等新興研究方向。這項技術(shù)有助于NVIDIA Halos的全棧自動駕駛汽車安全系統(tǒng)。

除利用 NVIDIA 物理 AI 數(shù)據(jù)集來幫助滿足數(shù)據(jù)需求外，開發(fā)者還可以通過NVIDIA NeMo Curator等工具進(jìn)一步推動 AI 開發(fā)，這些工具可高效地處理用于訓(xùn)練和定制模型的龐大數(shù)據(jù)集。使用 NeMo Curator，只需兩周就可以在 NVIDIA Blackwell GPU 上處理 2,000 萬小時的視頻，而使用未優(yōu)化的 CPU 工作流則需要 3.4 年。

機(jī)器人開發(fā)者還可以利用新的NVIDIA Isaac GR00T blueprint來生成合成運(yùn)動軌跡，這是一個基于NVIDIA Omniverse和 NVIDIA Cosmos 構(gòu)建的參考工作流，利用少量的人類示范數(shù)據(jù)，即可大規(guī)模生成機(jī)器人合成運(yùn)動軌跡。

大學(xué)實(shí)驗室采用數(shù)據(jù)集進(jìn)行 AI 開發(fā)

加州大學(xué)圣地亞哥分校機(jī)器人實(shí)驗室包括專注于醫(yī)療應(yīng)用、人形機(jī)器人和家庭輔助技術(shù)的團(tuán)隊。Christensen 預(yù)計，物理 AI 數(shù)據(jù)集中的機(jī)器人數(shù)據(jù)可以幫助開發(fā)語義 AI 模型，理解家庭、酒店房間或醫(yī)院等空間的環(huán)境。

他說：“我們的核心目標(biāo)之一是實(shí)現(xiàn)深度場景理解能力，如果機(jī)器人被要求整理雜貨，它會確切地知道哪些物品需冰箱冷藏，哪些適合放在儲藏室里。”

在自動駕駛汽車領(lǐng)域，Christensen 的實(shí)驗室可以利用數(shù)據(jù)集來訓(xùn)練 AI 模型，以了解不同道路使用者的意圖，并預(yù)測最佳的響應(yīng)行動。他的研究團(tuán)隊還可以利用該數(shù)據(jù)集支持?jǐn)?shù)字孿生開發(fā)，仿真極端情況和具有挑戰(zhàn)性的天氣條件。這些仿真場景可用于在真實(shí)世界環(huán)境中罕見的情況下，對自動駕駛模型進(jìn)行訓(xùn)練和測試。

領(lǐng)先的自動駕駛系統(tǒng) AI 研究中心 Berkeley DeepDrive 將該數(shù)據(jù)集用于開發(fā)自動駕駛汽車策略模型和世界基礎(chǔ)模型。

Berkeley DeepDrive 聯(lián)合主任 Wei Zhan 表示：“數(shù)據(jù)多樣性對于訓(xùn)練基礎(chǔ)模型非常重要。這個數(shù)據(jù)集能夠為公共和私營部門團(tuán)隊開展前沿研究提供支持，幫助他們開發(fā)自動駕駛汽車和機(jī)器人 AI 模型。”

卡內(nèi)基梅隆大學(xué)安全 AI 實(shí)驗室的研究人員計劃利用該數(shù)據(jù)集推進(jìn)其評估和認(rèn)證自動駕駛汽車安全性的工作。該團(tuán)隊計劃對基于此數(shù)據(jù)集訓(xùn)練的物理 AI 基礎(chǔ)模型在罕見場景仿真環(huán)境中的表現(xiàn)進(jìn)行測試，并與基于現(xiàn)有數(shù)據(jù)集訓(xùn)練的自動駕駛模型作性能對比。

卡內(nèi)基梅隆大學(xué)副教授兼安全 AI 實(shí)驗室負(fù)責(zé)人 Ding Zhao 表示：“這個數(shù)據(jù)集涵蓋不同類型的道路和地理位置、基礎(chǔ)設(shè)施和天氣環(huán)境，其多樣性為訓(xùn)練具備物理世界因果推理能力的模型提供了重要的支持，特別是理解和處理極端案例和長尾問題方面有重要意義?！?/p>

請通過 Hugging Face 訪問 NVIDIA 物理 AI 數(shù)據(jù)集。加入學(xué)習(xí) OpenUSD 學(xué)習(xí)路徑和機(jī)器人基礎(chǔ)學(xué)習(xí)路徑課程，掌握基礎(chǔ)知識。