隨著 Web 3.0 的發(fā)展，以及 3D 內(nèi)容行業(yè)應(yīng)用與消費(fèi)需求的日益增長，2D 向 3D 內(nèi)容的升維是大勢(shì)所趨。作為游戲、元宇宙以及數(shù)字孿生持續(xù)發(fā)展的基石，3D 內(nèi)容生產(chǎn)力至關(guān)重要。

AIGC（AI Generated Content），基于 AI 技術(shù)進(jìn)行圖文、視頻乃至 3D 模型的泛內(nèi)容生成，正在引發(fā) Web 3.0 時(shí)代的技術(shù)浪潮，引領(lǐng)著 3D 內(nèi)容生產(chǎn)方式變革。通過圖片、視頻、點(diǎn)云等多模態(tài)數(shù)據(jù)自動(dòng)生成 3D 內(nèi)容，快速實(shí)現(xiàn)現(xiàn)實(shí)場景的數(shù)字化，成為當(dāng)前理論研究和行業(yè)實(shí)踐的重大命題。

網(wǎng)易瑤臺(tái)是網(wǎng)易伏羲旗下新一代沉浸式活動(dòng)平臺(tái)，致力于用人工智能和科技創(chuàng)新打造數(shù)字空間新模式，對(duì) 3D 內(nèi)容生產(chǎn)有著豐富的實(shí)踐積累與持續(xù)需求。

在 NVIDIA 2023 春季 GTC 大會(huì)的 China AI Day 特別活動(dòng)，網(wǎng)易伏羲視覺計(jì)算負(fù)責(zé)人李林橙將在 3 月 22 日下午 530 帶來《NVIDIA CUDA 技術(shù)助力網(wǎng)易瑤臺(tái)神經(jīng)隱式曲面建模 20 倍加速》專題演講，分享項(xiàng)目過程中的實(shí)踐經(jīng)驗(yàn)與心得。手機(jī)微信掃碼或點(diǎn)擊閱讀原文即可直達(dá)注冊(cè)頁面。

//

NVIDIA CUDA 技術(shù)助力網(wǎng)易瑤臺(tái)

神經(jīng)隱式曲面建模 20 倍加速

演講嘉賓：

李林橙，網(wǎng)易伏羲視覺計(jì)算負(fù)責(zé)人

會(huì)議代碼：[SE52360]

演講時(shí)間：3 月 22 日 5:00 PM

掃描二維碼直達(dá)注冊(cè)頁面

圖1 網(wǎng)易瑤臺(tái)和河南文旅廳合作推出“元豫宙”

——河南省黃帝故里3D建模案例

（圖片來源于網(wǎng)易瑤臺(tái)）

如何快速、便捷、批量的建模數(shù)字化場景？

當(dāng)前流程通常采用照片輔助人工建模的方式，將線下物體或者原畫制作為 3D 模型，但該方式嚴(yán)重依賴建模師的經(jīng)驗(yàn)與效率，整體制作周期長且成本高。

以 NeRF 為代表的神經(jīng)渲染技術(shù)為 3D 內(nèi)容生成提供了廣闊想象空間?；?AIGC-3D 神經(jīng)渲染技術(shù)，讓用戶手機(jī)拍攝物體，自動(dòng)快速數(shù)字化建模，不需要大量人工干預(yù)，能夠應(yīng)用于更廣泛的 3D 內(nèi)容生產(chǎn)。

神經(jīng)渲染 3D 重建技術(shù)存在效率和精度無法兼顧的問題，難以滿足實(shí)際應(yīng)用。高質(zhì)量的重建算法需要耗費(fèi)很長時(shí)間，例如 NeRF 結(jié)合隱式曲面的 NeuS 算法可以重建出完整的 3D mesh，但需要 10 小時(shí)之久。而快速重建算法則精度較低，例如 NVIDIA instant-ngp 技術(shù)可分鐘級(jí)快速合成高質(zhì)量的 2D 視角，但導(dǎo)出的 Mesh 質(zhì)量仍然受限。經(jīng)典的多視角深度圖融合技術(shù)也存在空洞問題。

針對(duì)相關(guān)挑戰(zhàn)，網(wǎng)易瑤臺(tái)與 NVIDIA 合作，利用 NVIDIA instant-npg 中的 tiny-cuda-nn 技術(shù)，基于 NeRF 和隱式曲面的神經(jīng)渲染重建算法并結(jié)合預(yù)訓(xùn)練 CasMVSNet 的 3D 點(diǎn)云先驗(yàn)，實(shí)現(xiàn)了業(yè)內(nèi)先進(jìn)的快速 3D 場景重建方案：

首先，使用 tiny-cuda-nn 網(wǎng)絡(luò)優(yōu)化，采用多尺度 hash 編碼結(jié)合傅里葉編碼、球諧編碼以及高效 MLP 重構(gòu)隱式曲面SDF網(wǎng)絡(luò)，進(jìn)行層數(shù)與隱層壓縮。相比基準(zhǔn)算法，同 batchsize 設(shè)置下，單次迭代加速 1.98 倍，總耗時(shí)降到 25 分鐘左右。其次，使用多尺度與多視角訓(xùn)練策略，包括多尺度圖像監(jiān)督、單步多視角監(jiān)督的訓(xùn)練策略等。最后，改進(jìn)了 SDF 體渲染方法，通過視線與法線夾角來加權(quán) SDF 場，使用預(yù)訓(xùn)練的 CasMVSNet 獲取 3D 點(diǎn)云進(jìn)行幾何先驗(yàn)監(jiān)督，提升了重建精度，加速了收斂過程。同時(shí)，在位姿估計(jì)、物體邊框估計(jì)、2D 以及 3D 采樣、紋理貼圖等方面進(jìn)行了多項(xiàng)技術(shù)與工程優(yōu)化。

多個(gè)物體的多視角圖像通過快速隱式曲面重建方案進(jìn)行自動(dòng)重建效果如下圖，并可直接導(dǎo)入網(wǎng)易瑤臺(tái)元宇宙空間。

在 NVIDIA 2023 春季 GTC 大會(huì)的 China AI Day 特別活動(dòng)，網(wǎng)易伏羲視覺計(jì)算負(fù)責(zé)人李林橙將在 3 月 22 日下午 530 帶來《NVIDIA CUDA 技術(shù)助力網(wǎng)易瑤臺(tái)神經(jīng)隱式曲面建模 20 倍加速》專題演講，分享項(xiàng)目過程中的實(shí)踐經(jīng)驗(yàn)與心得。手機(jī)微信掃碼或點(diǎn)擊閱讀原文即可直達(dá)演講頁面。

NVIDIA CUDA 技術(shù)助力網(wǎng)易瑤臺(tái)

神經(jīng)隱式曲面建模 20 倍加速

會(huì)議代碼：[SE52360]

演講時(shí)間：3 月 22 日 5:00 PM

演講嘉賓：

李林橙，網(wǎng)易伏羲視覺計(jì)算負(fù)責(zé)人

演講概要：

網(wǎng)易瑤臺(tái)提供大型的沉浸式會(huì)展服務(wù)。在與客戶的溝通中我們了解到，客戶期望將線下物體生成 3D 模型，導(dǎo)入瑤臺(tái)，從而降低定制化制作的成本.

2020 年以來神經(jīng)渲染 3D 建模技術(shù)快速發(fā)展，重建精度有了顯著的提升，但耗時(shí)卻限制了實(shí)際的應(yīng)用。網(wǎng)易瑤臺(tái)充分利用了 NVIDIA 的 tiny-cuda-nn 與 CUDA 渲染技術(shù)，對(duì)神經(jīng)隱式曲面建模進(jìn)行了 20 多倍加速，實(shí)現(xiàn)了高效、高質(zhì)量的 3D mesh 重建。本場演講將分享項(xiàng)目過程中的實(shí)踐經(jīng)驗(yàn)與心得。

掃描二維碼直達(dá)注冊(cè)頁面

預(yù)約感興趣的會(huì)議和座談

想要預(yù)約以上精彩內(nèi)容？成功注冊(cè) GTC23 后，搜索相關(guān)會(huì)議代碼，如下圖所示。例如：搜索 GTC23 專題演講代碼 [SE52360] ，點(diǎn)擊“Add To Schedule”或右上角“五角星”即可將會(huì)議添加至日程，大會(huì)開始后登錄即可觀看會(huì)議。

歡迎加入 GTC23，交流、了解和幫助塑造未來發(fā)展趨勢(shì)！點(diǎn)擊即可查看 GTC23 注冊(cè)教程！

掃描下方海報(bào)二維碼，鎖定 NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛的 GTC 主題演講！北京時(shí)間 3 月 21 日 23:00 全球首播，3 月 22 日 10:00 中國重播。深度解讀 NVIDIA 加速計(jì)算平臺(tái)如何推動(dòng)人工智能、元宇宙、云技術(shù)和可持續(xù)計(jì)算的下一波浪潮。加入 GTC23，切勿錯(cuò)過 AI 的決定性時(shí)刻！