英偉達進入 AI 生成模型領(lǐng)域的研究，直接比別人多一個次元：一句描述生成 3D 模型。

我們生活在三維的世界里，盡管目前大多數(shù)應(yīng)用程序是 2D 的，但人們一直對 3D 數(shù)字內(nèi)容有很高的需求，包括游戲、娛樂、建筑和機器人模擬等應(yīng)用。

然而，創(chuàng)建專業(yè)的 3D 內(nèi)容需要很高的藝術(shù)與審美素養(yǎng)和大量 3D 建模專業(yè)知識。人工完成這項工作需要花費大量時間和精力來培養(yǎng)這些技能。

需求大又是「勞動密集型行業(yè)」，那么有沒有可能交給 AI 來做？上周五，英偉達提交到預(yù)印版論文平臺 arXiv 的論文引起了人們的關(guān)注。

和現(xiàn)在流行的 NovelAI 差不多，人們只需要輸入一段文字比如「一只坐在睡蓮上的藍色箭毒蛙」，AI 就能給你生成個紋理造型俱全的 3D 模型出來。

Magic3D 還可以執(zhí)行基于提示的 3D 網(wǎng)格編輯：給定低分辨率 3D 模型和基本提示，可以更改文本從而修改生成的模型內(nèi)容。此外，作者還展示了保持畫風，以及將 2D 圖像樣式應(yīng)用于 3D 模型的能力。

Stable Diffusion 的論文在 2022 年 8 月才首次提交，幾個月就已經(jīng)進化到這樣的程度，不禁讓人感嘆科技發(fā)展的速度。

英偉達表示，你只需要在這個基礎(chǔ)上稍作修改，生成的模型就可以當做游戲或 CGI 藝術(shù)場景的素材了。

3D 生成模型的方向并不神秘，其實在 9 月 29 日，谷歌曾經(jīng)發(fā)布過一款文本到 3D 的生成模型 DreamFusion，英偉達在 Magic3D 的研究中直接對標該方法。

類似于 DreamFusion 用文本生成 2D 圖像，再將其優(yōu)化為體積 NeRF（神經(jīng)輻射場）數(shù)據(jù)的流程，Magic3D 使用兩階段生成法，用低分辨率生成的粗略模型再優(yōu)化到更高的分辨率。

英偉達的方法首先使用低分辨率擴散先驗獲得粗糙模型，并使用稀疏 3D 哈希網(wǎng)格結(jié)構(gòu)進行加速。用粗略表示作為初始，再進一步優(yōu)化了帶紋理的 3D 網(wǎng)格模型，該模型具有與高分辨率潛在擴散模型交互的高效可微分渲染器。

Magic3D 可以在 40 分鐘內(nèi)創(chuàng)建高質(zhì)量的 3D 網(wǎng)格模型，比 DreamFusion 快 2 倍（后者平均需要 1.5 小時），同時還實現(xiàn)了更高的分辨率。統(tǒng)計表明相比 DreamFusion，61.7% 的人更喜歡英偉達的新方法。

連同圖像調(diào)節(jié)生成功能，新技術(shù)為各種創(chuàng)意應(yīng)用開辟了新途徑。

論文鏈接：https://arxiv.org/abs/2211.10440

技術(shù)細節(jié)

Magic3D 可以在較短的計算時間內(nèi)根據(jù)文本 prompt 合成高度詳細的 3D 模型。Magic3D 通過改進 DreamFusion 中的幾個主要設(shè)計選擇來使用文本 prompt 合成高質(zhì)量的 3D 內(nèi)容。

具體來說，Magic3D 是一種從粗到精的優(yōu)化方法，其中使用不同分辨率下的多個擴散先驗來優(yōu)化 3D 表征，從而生成視圖一致的幾何形狀以及高分辨率細節(jié)。Magic3D 使用監(jiān)督方法合成 8 倍高分辨率的 3D 內(nèi)容，速度也比 DreamFusion 快 2 倍。

Magic3D 的整個工作流程分為兩個階段：在第一階段，該研究優(yōu)化了類似于 DreamFusion 的粗略神經(jīng)場表征，以實現(xiàn)具有基于哈希網(wǎng)格（hash grid）的內(nèi)存和計算的高效場景表征。

在第二階段該方法切換到優(yōu)化網(wǎng)格表征。這個步驟很關(guān)鍵，它允許該方法在高達 512 × 512 的分辨率下利用擴散先驗。由于 3D 網(wǎng)格適用于快速圖形渲染，可以實時渲染高分辨率圖像，因此該研究利用基于光柵化的高效微分渲染器和相機特寫來恢復(fù)幾何紋理中的高頻細節(jié)。

基于上述兩個階段，該方法可以生成高保真的 3D 內(nèi)容，并且很容易在標準圖形軟件中導入和可視化。

此外，該研究展示了用文本 prompt 對 3D 合成過程的創(chuàng)造性控制能力，如下圖 1 所示。

為了對比實際應(yīng)用效果，英偉達的研究人員把 Magic3D 和 DreamFusion 在 397 個文本提示生成的內(nèi)容上進行了比較。平均的粗略模型生成階段花費 15 分鐘，精細階段訓練了 25 分鐘，所有運行時間均在 8 塊英偉達 A100 GPU 上測得。

雖然論文和 demo 只是第一步，但英偉達已經(jīng)為 Magic3D 想好了未來的應(yīng)用方向：給游戲和元宇宙世界提供制作海量 3D 模型的工具，而且讓所有人都可以上手使用。

當然，最早上線這項功能的可能會是英偉達自己的 Omniverse。

審核編輯 ：李倩