AI、虛擬世界和數字人正在推動視覺設計進入更寬廣的軌道。

在 SIGGRAPH 大會上，NVIDIA 高管發(fā)表的簡短的特別演講令人大開眼界，其中不僅描述了推動圖形新時代發(fā)展的力量，還介紹了 NVIDIA 致力于擴展新工具并為加速圖形技術發(fā)展不遺余力。

NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛在為時 45 分鐘的演講中談到：“元宇宙是互聯(lián)網的再次演進，而 AI 和計算機圖形技術的結合將為元宇宙提供動力”。

它將成為互聯(lián)虛擬世界和數字孿生的樞紐，成為工作和娛樂的心選之地。黃仁勛還表示，數字人虛擬形象將成為未來廣受歡迎的機器人形式之一，將為這個領域注入更多生機與活力。

通過 45 個演示和幻燈片，5 位 NVIDIA 演講者發(fā)布了如下公告：

NVIDIA Omniverse Avatar Cloud Engine (ACE)，用于創(chuàng)建虛擬形象的新平臺。

構建 Universal Scene Description (USD) 的計劃，USD 是元宇宙的語言。

對 NVIDIA Omniverse（用于創(chuàng)建虛擬世界和數字孿生的計算平臺）的主要擴展。

利用機器學習為圖形工作流提供強效助力的工具。

他談到，“我們今天發(fā)布的公告進一步推動了元宇宙的發(fā)展，這是一個新的計算平臺，具有新的編程模型、架構和標準。

元宇宙應用已應運而生。

黃仁勛指出，“用戶可以嘗試使用增強現實的虛擬 3D 產品，電信公司正在創(chuàng)建其無線電網絡的數字孿生來優(yōu)化和部署無線電塔[以及]許多公司都在創(chuàng)建倉庫和工廠的數字孿生以優(yōu)化其布局和物流。”

輸入虛擬形象

元宇宙的世界離不開虛擬助手，我們與虛擬形象的互動將像與另一個人交談一樣自然。他們將在數字工廠工作，玩在線游戲，并為電子零售商提供客戶服務。

黃仁勛說，“虛擬形象在 Omniverse 中進行設計、訓練和操作，會成為廣泛使用的機器人之一，數目將增長至數十億個”。

數字人和虛擬形象需要自然語言處理、計算機視覺、復雜的面部和身體動畫等技術。為了以逼真的方式移動和說話，這套復雜的技術必須同步到毫秒。

盡管非常艱巨，NVIDIA 仍致力于通過 Omniverse Avatar Cloud Engine 簡化和加速這項工作。ACE 是基于 NVIDIA 工作構建的一系列 AI 模型和服務集合，涵蓋從對話式 AI 到 Audio2Face 和 Audio2Emotion 等動畫工具的所有內容。

虛擬形象需要許多復雜的功能

NVIDIA 圖形和 AI 總監(jiān) Simon Yuen 表示，“借助 Omniverse ACE，開發(fā)者可以在任何公有云或私有云中，在任何引擎中構建、配置和部署其虛擬形象應用。我們希望為每個平臺構建交互式虛擬形象。”

ACE 將于明年初推出，可在嵌入式系統(tǒng)和所有主要云服務中運行。

Yuen 還展示了新版 Omniverse Audio2Face，這是一種可以直接通過聲音創(chuàng)建面部動畫的 AI 模型。

他談到，“我們剛剛添加了更多功能來分析您的情緒，并自動將您的情緒傳遞給虛擬形象。”

未來版本的 Audio2Face 只需一張照片即可創(chuàng)建虛擬形象，自動應用紋理并生成動畫就緒型 3D 網格。它們將對肌肉運動進行高保真模擬，AI 可以通過觀看視頻來汲取經驗。生成的頭發(fā)不僅效果逼真，還會對虛擬梳理做出預期的反應。

USD 是 3D 互聯(lián)網的基礎

元宇宙的許多超能力都以 USD 為基礎，而 USD 是 3D 互聯(lián)網的基礎。

NVIDIA Omniverse 和模擬技術副總裁 Rev Lebaredian 表示，元宇宙“需要一種標準的方式來描述 3D 世界中的所有事物”。

將 USD 與 2D 網絡中的 HTML 比較時，他補充道，“我們認為，Pixar 發(fā)明和開源的 Universal Scene Description 是互聯(lián)網新時代的標準場景描述”。

Lebaredian 將 NVIDIA 對 USD 的愿景描述為創(chuàng)造比現實世界中更多機遇的關鍵。

他說：“我們的下一個里程碑旨在使 USD 在實時、大規(guī)模虛擬世界和工業(yè)數字孿生方面發(fā)揮卓越性能?！盢VIDIA 計劃幫助 USD 為構建國際字符集、地理空間坐標以及物聯(lián)網數據的實時串流提供支持。

NVIDIA 計劃投資 USD

為進一步加速 USD 的采用，NVIDIA 將發(fā)布 USD 兼容性測試和認證套件。它可讓開發(fā)者了解其自定義 USD 組件會產生預期結果。

此外，NVIDIA 還發(fā)布了一組模擬就緒型 USD 素材，專為工業(yè)數字孿生和 AI 訓練工作流而設計。他們加入了大量的免費線上 USD 資源，包括 USD 就緒型場景、點播教程、文檔和講師指導式課程。

Lebaredian 表示，“我們希望每個人都能為構建和推進 USD 發(fā)展貢獻一己之力?！?/p>

Omniverse 擴展調色板

對 NVIDIA Omniverse 的主要新版本的公告是特別演講的重要內容之一，其下載量已達 18.4 萬次。

黃仁勛將 Omniverse 稱為“一個 USD 平臺、是構建元宇宙應用的工具包，以及運行虛擬世界的計算引擎。”

其新版本包含多項升級的核心技術，并支持與更多熱門工具連接。

這些名為 Omniverse Connector 的鏈路現已面向 Unity、Blender、Autodesk Alias、Siemens JT、SimScale、Open Geospatial Consortium 等進行開發(fā)。連接器現已推出測試版，適用于 PTC Creo、Visual Components 和 SideFX Houdini。Siemens Xcelerator 現已成為 Omniverse 網絡的一部分，這些新開發(fā)的加入使隊伍更加壯大，將攜手迎接更多工業(yè)客戶進入數字孿生時代。

NVIDIA 專業(yè)圖形副總裁 Steve Parker 表示，“Omniverse 與互聯(lián)網本身一樣，是一個由網絡組成的‘網絡’，可連接各行各業(yè)和各學科的用戶?！?/p>

NVIDIA Omniverse 新功能

近十幾個合作伙伴將在 SIGGRAPH 上展示 Omniverse 功能，包括硬件、軟件和云服務供應商，例如 AWS、Adobe、戴爾、Epic 和微軟。六家合作伙伴將就 AI 和虛擬世界等主題舉辦會議，將由 NVIDIA 提供支持。

加快物理速度，創(chuàng)建動物動畫

Parker 詳細介紹了 Omniverse 中的多項技術升級，涵蓋了使用材質定義語言 (MDL) 模擬物理屬性準確的材質、使用 PhysX 的實時物理，以及 RTX（即混合渲染和 AI 系統(tǒng)）等增強功能。

Parker 認為，“從邊緣到云端，這些核心技術支柱都由 NVIDIA 高性能計算提供支持?！?/p>

例如，PhysX 現在支持軟體和粒子布料仿真，可實時為虛擬世界帶來更高的物理精度。并且，NVIDIA 完全開源 MDL，因此可以輕松支持 OpenGL 或 Vulkan 等圖形 API 標準，從而使開發(fā)人員可以更廣泛地使用材料標準。

Omniverse 還將包括 NVIDIA Research 開發(fā)的結合了 RTX 圖形和 AI 的神經圖形功能。例如：

動物建模師允許藝術家可以使用激光點云迭代動物的形狀，然后自動生成 3D 網格。

GauGAN360 是 NVIDIA GauGAN 的下一代次演進，可生成 8K 360 度全景圖并輕松加載到 Omniverse 場景中。

Instant NeRF 根據 2D 影像創(chuàng)建 3D 對象和場景。

機器學習框架 NVIDIA Modulus 的 Omniverse Extension 將讓開發(fā)人員使用 AI 將現實世界物理的模擬速度提高 10 萬倍，因此元宇宙的外觀和感覺就像現實世界一樣。

此外，Omniverse Machinima 作為 SIGGRAPH 大會主題的激烈競賽主題，競技內容來源于戰(zhàn)爭附言 (Post Scriptum)”、“Beyond the Wire”和“影子武士 3 (Shadow Warrior 3)”，以及新的 AI 動畫工具，如 Audio2Gesture。

Industrial Light & Magic 的演示展示了另一項新功能。Omniverse DeepSearch 利用 AI 幫助團隊直觀地搜索未標記資產的大型數據庫，即使未在元數據中具體列出，也能為術語提供準確的結果。

圖形變得智能

新興元宇宙的重要支柱之一即為神經圖形。這是一個混合學科，可利用神經網絡模型加速和增強計算機圖形。

NVIDIA AI 副總裁 Sanja Fidler 認為：“神經圖形將 AI 和圖形融合在一起，為打造能夠從數據中學習的未來圖形管線鋪平了道路?！?她補充道，“最終，神經圖形將重新定義用戶創(chuàng)建、模擬和體驗虛擬世界的原理?！?/p>

AI 將幫助藝術家生成創(chuàng)建元宇宙所需的大量 3D 內容。例如，他們可以使用神經圖形快速捕獲現實世界中的對象和行為。

Fidler 介紹了用于實現這一目的的 NVIDIA 軟件 Instant NeRF，這是一個利用 2D 圖像創(chuàng)建 3D 對象或場景的工具。這是 NVIDIA 在 SIGGRAPH 大會上榮獲的兩項最佳論文獎之一的主題。

另一篇獲獎的最佳論文介紹了神經圖形，該模型可以預測并減少電競和 AR/VR 應用中的反應延遲。包含這兩篇最佳論文在內，NVIDIA 研究人員在本周的 SIGGRAPH 大會上共發(fā)表了 16 篇論文。

神經圖形將 AI 融入圖形管線

設計師和研究人員可以應用神經圖形和其他技術，使用 NVIDIA 在大會上推出的全新軟件開發(fā)套件來創(chuàng)作自己的競獎作品。

Fidler 介紹了其中一套工具 Kaolin Wisp，只需幾行代碼即可創(chuàng)建神經場（即，表示 3D 場景或對象的 AI 模型）。

另外，NVIDIA 還發(fā)布了 NeuralVDB，這是開源標準 OpenVDB 的下一代演進版本，用于模擬和渲染水、火、煙霧和云，從視覺效果到科學計算等各領域均在使用。

NeuralVDB 使用神經模型和 GPU 優(yōu)化顯著降低內存要求，以便用戶能夠實時與極其復雜的超大型數據集進行交互，并更高效地共享這些數據集。

黃仁勛認為，“AI 是我們這個時代強大的技術力量之一，它將徹底改變計算機科學的各個領域，包括計算機圖形學，而 NVIDIA RTX 是神經圖形學的引擎?！闭堅?SIGGRAPH 活動網站觀看完整的 NVIDIA 特別演講，其中還包括實驗、演示文稿和紀錄片首映的詳細信息。

審核編輯：湯梓紅