在 SIGGRAPH 上推出的全新深度學(xué)習(xí)框架可用于打造自動駕駛汽車、氣候科學(xué)和智慧城市的 AI 就緒型虛擬表示。

NVIDIA 在 SIGGRAPH 上推出了 fVDB，這是一種全新的深度學(xué)習(xí)框架，用于生成現(xiàn)實(shí)世界的 AI 就緒型虛擬表示。

fVDB 基于 OpenVDB 構(gòu)建而成，OpenVDB 是一個行業(yè)標(biāo)準(zhǔn)庫，用于仿真和渲染稀疏體積數(shù)據(jù)，例如水、火、煙和云。

生成式物理 AI（例如現(xiàn)實(shí)世界中的自動駕駛汽車和機(jī)器人）需要具備“空間智能”，即能夠理解 3D 空間并能在 3D 空間中運(yùn)作。

捕獲我們周圍世界的宏觀細(xì)節(jié)和超微細(xì)節(jié)至關(guān)重要。不過，將現(xiàn)實(shí)轉(zhuǎn)化為虛擬表示來訓(xùn)練 AI 非常困難。

現(xiàn)實(shí)環(huán)境的原始數(shù)據(jù)可以通過多種不同的技術(shù)收集，例如神經(jīng)輻射場（NeRF）和激光雷達(dá)。fVDB 能夠?qū)⑦@些數(shù)據(jù)轉(zhuǎn)化為實(shí)時渲染、規(guī)模龐大的 AI 就緒型環(huán)境。

依托于十年來在 OpenVDB 標(biāo)準(zhǔn)方面的不斷創(chuàng)新， fVDB 在 SIGGRAPH 上的推出，標(biāo)志著各行各業(yè)在如何利用現(xiàn)實(shí)世界的數(shù)字孿生方面實(shí)現(xiàn)了巨大飛躍。

現(xiàn)實(shí)規(guī)模的虛擬環(huán)境正在廣泛用于訓(xùn)練自主智能體。例如，通過無人機(jī)捕獲城市規(guī)模的 3D 模型，用于氣候科學(xué)和災(zāi)害防范規(guī)劃。如今，3D 生成式 AI 甚至被用于規(guī)劃城市空間和智慧城市。

fVDB 使各行各業(yè)能夠以前所未有的規(guī)模和分辨率利用空間智能，從而使物理 AI 更加智能。

該框架能夠基于 NanoVDB（GPU 加速的數(shù)據(jù)結(jié)構(gòu)，有助于實(shí)現(xiàn)高效的 3D 仿真）構(gòu)建 NVIDIA 加速的 AI 算子。這些算子包括卷積、池化、注意力機(jī)制和網(wǎng)格化，它們都是針對高性能 3D 深度學(xué)習(xí)應(yīng)用而構(gòu)建的。

借助 AI 算子，企業(yè)能夠構(gòu)建復(fù)雜的神經(jīng)網(wǎng)絡(luò)以實(shí)現(xiàn)空間智能，例如大規(guī)模點(diǎn)云重建和 3D 生成式建模。

fVDB 是 NVIDIA 研究團(tuán)隊(duì)長期努力的成果，已經(jīng)用于為 NVIDIA Research、NVIDIA DRIVE 和 NVIDIA Omniverse 項(xiàng)目提供支持，這些項(xiàng)目需要大型復(fù)雜現(xiàn)實(shí)世界空間的高保真模型。

fVDB 的主要優(yōu)勢

更大：空間規(guī)模是以往框架的 4 倍。

更快：速度是以往框架的 3.5 倍。

可互操作：企業(yè)可以充分利用龐大的現(xiàn)實(shí)世界數(shù)據(jù)集。fVDB 能夠根據(jù) VDB 數(shù)據(jù)集打造全尺寸 3D 環(huán)境。支持 AI 且實(shí)時渲染，可用于打造具有空間智能的物理 AI。

更強(qiáng)大：能夠運(yùn)行的算子是以往框架的 10 倍。fVDB 通過結(jié)合使用以往需要多個深度學(xué)習(xí)庫的功能，簡化了流程。

fVDB 很快將以 NVIDIA NIM 推理微服務(wù)的形式推出。通過三項(xiàng)微服務(wù)，企業(yè)可以將 fVDB 整合到 OpenUSD 工作流中，以便在用于實(shí)時 3D 仿真的協(xié)作平臺 NVIDIA Omniverse 中生成 AI 就緒型 OpenUSD 幾何體。這三項(xiàng)微服務(wù)是：

fVDB Mesh Generation NIM：生成現(xiàn)實(shí)世界的數(shù)字化 3D 環(huán)境。

fVDB NeRF-XL NIM：利用 Omniverse Cloud API 和 OpenUSD 生成大規(guī)模 NeRF。

fVDB Physics Super-Res NIM：執(zhí)行超分辨率技術(shù)，以便生成基于 OpenUSD 的高分辨率物理仿真。

在過去的十年中，OpenVDB 作為在視覺效果行業(yè)中廣泛運(yùn)用的核心技術(shù)贏得了多項(xiàng)學(xué)術(shù)大獎。它的應(yīng)用領(lǐng)域已從娛樂行業(yè)擴(kuò)展到工業(yè)和科學(xué)，例如工業(yè)設(shè)計(jì)和機(jī)器人開發(fā)。

NVIDIA 一直在不斷增強(qiáng)開源 OpenVDB 庫。四年前，NVIDIA 推出了 NanoVDB，為 OpenVDB 添加了 GPU 支持。這不僅帶來了速度飛升，提升了性能，簡化了開發(fā)，而且開啟了實(shí)時仿真和渲染的大門。

兩年前，NVIDIA 推出了 NeuralVDB，它能夠基于 NanoVDB 構(gòu)建機(jī)器學(xué)習(xí)，將 VDB 體積數(shù)據(jù)的內(nèi)存占用量壓縮多達(dá) 100 倍，使創(chuàng)作者、開發(fā)者和研究人員能夠與極其龐大、高度復(fù)雜的數(shù)據(jù)集進(jìn)行交互。

fVDB 能夠基于 NanoVDB 構(gòu)建 AI 算子，以現(xiàn)實(shí)規(guī)模解鎖空間智能。歡迎申請參與搶先體驗(yàn)計(jì)劃，提前體驗(yàn) fVDB PyTorch 擴(kuò)展。fVDB 還將作為 OpenVDB GitHub 資源庫的一部分提供。

閱讀技術(shù)博客《Building Spatial Intelligence from Real-World 3D Data Using Deep-Learning Framework fVDB》，深入了解 fVDB，也可以觀看 NVIDIA 首席執(zhí)行官黃仁勛在 SIGGRAPH 上的兩場爐邊談話，了解加速計(jì)算和生成式 AI 正在如何改變著各行各業(yè)并帶來新的創(chuàng)新和發(fā)展機(jī)會。