可逆渲染流程 NVIDIA 3D MoMa 將于本周在新奧爾良舉行的計算機視覺和模式識別會議 CVPR 上亮相。

爵士樂的精髓在于即興演奏， NVIDIA 正在通過 AI 研究向這一流派致敬。也許有一天，圖形創(chuàng)作者可以使用快速創(chuàng)建出的 3D 物體，來一場即興表演。

這個被稱為“NVIDIA 3D MoMa”的方法可以讓建筑師、設計師、概念藝術家和游戲開發(fā)者迅速將物體導入圖形引擎，并開始對其進行處理——修改比例、改變材質或嘗試不同的照明效果。

NVIDIA Research 在慶祝爵士樂及其發(fā)源地新奧爾良的視頻中展示了這項技術。本周，關于 3D MoMa 的論文將在 CVPR 上發(fā)表。

基于 2D 圖像創(chuàng)建 3D 物體

可逆渲染是將一系列靜態(tài)照片重建為 3D 物體或場景模型的技術。NVIDIA 圖形學研究副總裁 David Luebke 表示：“該技術長期以來一直是統(tǒng)一計算機視覺和計算機圖形學的關鍵?！?/p>

他表示：“NVIDIA 3D MoMa 渲染流水線可以將可逆渲染問題的每個部分表示為 GPU 加速的可微分組件，然后使用現(xiàn)代 AI 機器和 NVIDIA GPU 的原始算力快速生成 3D 物體，且創(chuàng)作者可以在現(xiàn)有工具中自由地導入、編輯和擴展這些物體?！?/p>

為了使藝術家或工程師能夠充分利用 3D 物體，其形式應能夠導入游戲引擎、 3D 建模器和電影渲染器等各種被廣泛使用的工具。帶有紋理、材質的三角網(wǎng)格形式，就是此類 3D 工具使用的通用語言。

游戲工作室和其他創(chuàng)作者習慣于使用復雜的攝影測量技術來創(chuàng)建 3D 物體，這需要耗費大量的時間和精力。近期的神經(jīng)輻射場（Neural Radiance Fields）研究可以快速生成物體或場景的 3D 模型，但并不是使用易于編輯的三角網(wǎng)格形式。

當在單個 NVIDIA Tensor Core GPU 上運行時， NVIDIA 3D MoMa 能在一個小時內生成三角網(wǎng)格模型。該流水線的輸出結果與創(chuàng)作者現(xiàn)在使用的 3D 圖形引擎和建模工具直接兼容。

流水線的重建功能包括 3D 網(wǎng)格模型、材質和照明。網(wǎng)格就像由三角形構建的 3D 形狀混凝紙漿模型。有了它，開發(fā)者就可以依照自己的創(chuàng)意對物體進行修改。材質是疊加在 3D 網(wǎng)格上的 2D 紋理，就像人的皮膚一樣。NVIDIA 3D MoMa 通過對場景光線進行估算，使創(chuàng)作者能夠在日后修改物體上的照明。

為虛擬爵士樂隊調校樂器

為了展示 NVIDIA 3D MoMa 的功能， NVIDIA 的研究和創(chuàng)意團隊首先從不同角度收集了五種爵士樂隊樂器（小號、長號、薩克斯、架子鼓和單簧管）的約 100 張圖片。

NVIDIA 3D MoMa 將 2D 圖像重建為每種樂器的 3D 表示，并以網(wǎng)格形式呈現(xiàn)。然后， NVIDIA 團隊將這些樂器從原始場景中取出，并將其導入 NVIDIA Omniverse 3D 模擬平臺中進行編輯。

在任何傳統(tǒng)圖形引擎中，創(chuàng)作者都可以輕松為形狀調換由 NVIDIA 3D MoMa 生成的材質，就像給網(wǎng)格穿上不同的衣服一樣。例如該團隊對小號模型采取了這種做法，將原來的塑料材質快速更換成黃金、大理石、木材或軟木。

然后，創(chuàng)作者可以將新編輯的物體放入任何虛擬場景中。NVIDIA 團隊將這些樂器放入了經(jīng)典的圖形渲染質量測試康奈爾盒中。他們證明了虛擬樂器對光線的反應與在物理世界中完全一樣：閃亮的銅管樂器反射出亮光，啞光的鼓皮則會吸收光線。

這些通過可逆渲染生成的新物體可以作為復雜動畫場景的構成要素。視頻的最后展示了虛擬爵士樂隊。

關于 NVIDIA 3D MoMa 的論文將于北京時間 6 月 23 日凌晨 2:30 分 在 CVPR 的分會場上發(fā)表。這是 NVIDIA 作者在本次會議上發(fā)表的 38 篇論文之一。點擊“閱讀原文”，進一步了解 NVIDIA Research 在 CVPR 上發(fā)布的內容。

原文標題：CVPR 發(fā)布 | 得心應手的 AI：NVIDIA Research 助力內容創(chuàng)作者使用 3D 物體進行即興創(chuàng)作

文章出處：【微信公眾號：NVIDIA英偉達企業(yè)解決方案】歡迎添加關注！文章轉載請注明出處。

審核編輯：湯梓紅