爵士樂(lè)的精髓在于即興演奏， NVIDIA 正在通過(guò) AI 研究向這一流派致敬。也許有一天，圖形創(chuàng)作者可以使用快速創(chuàng)建出的 3D 物體，來(lái)一場(chǎng)即興表演。

這個(gè)被稱為“NVIDIA 3D MoMa”的方法可以讓建筑師、設(shè)計(jì)師、概念藝術(shù)家和游戲開(kāi)發(fā)者迅速將物體導(dǎo)入圖形引擎，并開(kāi)始對(duì)其進(jìn)行處理——修改比例、改變材質(zhì)或嘗試不同的照明效果。

NVIDIA Research 在慶祝爵士樂(lè)及其發(fā)源地新奧爾良的視頻中展示了這項(xiàng)技術(shù)。本周，關(guān)于 3D MoMa 的論文將在 CVPR 上發(fā)表。

基于 2D 圖像創(chuàng)建 3D 物體

可逆渲染是將一系列靜態(tài)照片重建為 3D 物體或場(chǎng)景模型的技術(shù)。NVIDIA 圖形學(xué)研究副總裁 David Luebke 表示：“該技術(shù)長(zhǎng)期以來(lái)一直是統(tǒng)一計(jì)算機(jī)視覺(jué)和計(jì)算機(jī)圖形學(xué)的關(guān)鍵?！?/p>

他表示：“NVIDIA 3D MoMa 渲染流水線可以將可逆渲染問(wèn)題的每個(gè)部分表示為 GPU 加速的可微分組件，然后使用現(xiàn)代 AI 機(jī)器和 NVIDIA GPU 的原始算力快速生成 3D 物體，且創(chuàng)作者可以在現(xiàn)有工具中自由地導(dǎo)入、編輯和擴(kuò)展這些物體?！?/p>

為了使藝術(shù)家或工程師能夠充分利用 3D 物體，其形式應(yīng)能夠?qū)胗螒蛞妗?3D 建模器和電影渲染器等各種被廣泛使用的工具。帶有紋理、材質(zhì)的三角網(wǎng)格形式，就是此類 3D 工具使用的通用語(yǔ)言。

三角網(wǎng)格是用于定義 3D 圖形和建模形狀的基本框架

游戲工作室和其他創(chuàng)作者習(xí)慣于使用復(fù)雜的攝影測(cè)量技術(shù)來(lái)創(chuàng)建 3D 物體，這需要耗費(fèi)大量的時(shí)間和精力。近期的神經(jīng)輻射場(chǎng)（Neural Radiance Fields）研究可以快速生成物體或場(chǎng)景的 3D 模型，但并不是使用易于編輯的三角網(wǎng)格形式。

當(dāng)在單個(gè) NVIDIA Tensor Core GPU 上運(yùn)行時(shí)， NVIDIA 3D MoMa 能在一個(gè)小時(shí)內(nèi)生成三角網(wǎng)格模型。該流水線的輸出結(jié)果與創(chuàng)作者現(xiàn)在使用的 3D 圖形引擎和建模工具直接兼容。

流水線的重建功能包括 3D 網(wǎng)格模型、材質(zhì)和照明。網(wǎng)格就像由三角形構(gòu)建的 3D 形狀混凝紙漿模型。有了它，開(kāi)發(fā)者就可以依照自己的創(chuàng)意對(duì)物體進(jìn)行修改。材質(zhì)是疊加在 3D 網(wǎng)格上的 2D 紋理，就像人的皮膚一樣。NVIDIA 3D MoMa 通過(guò)對(duì)場(chǎng)景光線進(jìn)行估算，使創(chuàng)作者能夠在日后修改物體上的照明。

為虛擬爵士樂(lè)隊(duì)調(diào)校樂(lè)器

為了展示 NVIDIA 3D MoMa 的功能， NVIDIA 的研究和創(chuàng)意團(tuán)隊(duì)首先從不同角度收集了五種爵士樂(lè)隊(duì)樂(lè)器（小號(hào)、長(zhǎng)號(hào)、薩克斯、架子鼓和單簧管）的約 100 張圖片。

NVIDIA 3D MoMa 將 2D 圖像重建為每種樂(lè)器的 3D 表示，并以網(wǎng)格形式呈現(xiàn)。然后， NVIDIA 團(tuán)隊(duì)將這些樂(lè)器從原始場(chǎng)景中取出，并將其導(dǎo)入 NVIDIA Omniverse 3D 模擬平臺(tái)中進(jìn)行編輯。

在任何傳統(tǒng)圖形引擎中，創(chuàng)作者都可以輕松為形狀調(diào)換由 NVIDIA 3D MoMa 生成的材質(zhì)，就像給網(wǎng)格穿上不同的衣服一樣。例如該團(tuán)隊(duì)對(duì)小號(hào)模型采取了這種做法，將原來(lái)的塑料材質(zhì)快速更換成黃金、大理石、木材或軟木。

然后，創(chuàng)作者可以將新編輯的物體放入任何虛擬場(chǎng)景中。NVIDIA 團(tuán)隊(duì)將這些樂(lè)器放入了經(jīng)典的圖形渲染質(zhì)量測(cè)試康奈爾盒中。他們證明了虛擬樂(lè)器對(duì)光線的反應(yīng)與在物理世界中完全一樣：閃亮的銅管樂(lè)器反射出亮光，啞光的鼓皮則會(huì)吸收光線。

這些通過(guò)可逆渲染生成的新物體可以作為復(fù)雜動(dòng)畫場(chǎng)景的構(gòu)成要素。