6 月 3 日下午，NVIDIA 以 “AI 和內(nèi)容創(chuàng)作” 為主題，舉辦了2023 U 設(shè)計周 Uwin 產(chǎn)業(yè)分論壇。NVIDIA 為在座逾 800 位聽眾分享了如何使用 NVIDIA AI 和 Omniverse 加速設(shè)計創(chuàng)作。無論是物理模擬引擎、AI，還是 XR、云原生技術(shù)，都能融入 Omniverse 的工作流，進而助力創(chuàng)意設(shè)計、廣告營銷、游戲、企業(yè)服務(wù)等各個領(lǐng)域，通過 Omniverse 平臺簡化創(chuàng)建數(shù)字世界的工作流。

NVIDIA 全球副總裁劉念寧通過視頻致辭，誠摯歡迎 U 設(shè)計周所有與會嘉賓和在線聽眾，并成功為 NVIDIA 分論壇揭開完美序幕。她指出，NVIDIA 作為一家全棧式 AI 計算平臺的賦能者，與行業(yè)各界合作伙伴建立了長期深入的合作關(guān)系。結(jié)合合作伙伴豐富優(yōu)質(zhì)的生態(tài)和技術(shù)實力，以及 NVIDIA 在人工智能、圖形圖像等技術(shù)領(lǐng)域的賦能平臺，從芯片、系統(tǒng)、數(shù)據(jù)中心到云服務(wù)，將 AI 引入各行各業(yè)，幫助企業(yè)在可持續(xù)發(fā)展，生成式 AI 以及數(shù)字轉(zhuǎn)型的大趨勢下乘風(fēng)破浪、勇立潮頭。

每個時代的設(shè)計美學(xué)都具有獨特的風(fēng)格，此時此刻，設(shè)計所插上的是 AI 的翅膀，NVIDIA 愿成為企業(yè)、開發(fā)者和創(chuàng)作者手中的畫筆，共繪時代最美的篇章。

——劉念寧

NVIDIA Omniverse 中國區(qū)業(yè)務(wù)負(fù)責(zé)人何展帶來「科技融合時代下的數(shù)字內(nèi)容生產(chǎn)變革」的主題分享。他指出，歷經(jīng) PC、互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)時代，我們正處于人工智能計算的新紀(jì)元，新計算時代會加速內(nèi)容生產(chǎn)和生成。

面對這個時代的發(fā)展機遇，NVIDIA 帶來的是 Omniverse 平臺。NVIDIA Omniverse 是一個啟用多 GPU 的開放式云原生平臺，由 NVIDIA RTX 技術(shù)提供動力以支持實時協(xié)作，是專為虛擬協(xié)作和實時逼真模擬而打造的易于擴展的開放式平臺。NVIDIA Omniverse 是連接世界上最大的工具生態(tài)系統(tǒng)，目前連接 220 個工具軟件，下載量超過 30 萬。

隨后，何展介紹了 NVIDIA 在計算機視覺、計算機圖形學(xué)、生成式 AI、工業(yè)數(shù)字孿生等領(lǐng)域的最新應(yīng)用。比如，在計算機視覺層面，位于紐約的 AI 初創(chuàng)企業(yè)，同時也是奧斯卡最佳影片《瞬息全宇宙》的幕后制作公司 Runway，正使用 CV-CUDA 賦能其視頻編輯和圖像創(chuàng)建工具。在最新一代 NVIDIA GPU 的助力下，Runway 允許用戶只需簡單幾筆即可從視頻中移除一個對象，或僅使用一個輸入圖像就可以對視頻應(yīng)用不同樣式的背景或者前景。過去使用傳統(tǒng)工具需要數(shù)小時才能完成的工作，現(xiàn)在只需要短短幾分鐘就可以實現(xiàn)專業(yè)廣播級的效果輸出。

而在生成式 AI 層面，生成式 AI 正在改變視覺內(nèi)容的創(chuàng)建方式，但要充分發(fā)揮其潛力，企業(yè)需要大量版權(quán)許可的數(shù)據(jù)、AI 專家與 AI 計算平臺。NVIDIA 在 3 月 GTC 大會上推出了 NVIDIA Picasso 的 AI 云服務(wù)，專門用于幫助企業(yè)使用自身的專有數(shù)據(jù)，創(chuàng)建和部署生成式 AI 賦能的圖像、視頻與 3D 應(yīng)用。企業(yè)可以將生成的素材導(dǎo)入編輯工具或 NVIDIA Omniverse，從而構(gòu)建逼真的模擬世界元宇宙應(yīng)用和數(shù)字孿生，同時簡化自定義生成式 AI 應(yīng)用所需的訓(xùn)練、優(yōu)化和推理。

生成式 AI 將改變與顛覆包括影視、時尚、工業(yè)等多個行業(yè)的應(yīng)用，從而帶來 “全民化” 的 2D 和 3D 內(nèi)容創(chuàng)建。

——何展

生成式 AI 是近期最火爆的話題之一。生成式 AI 的應(yīng)用，從文本、音頻到跨模態(tài)、策略生成等，在設(shè)計、內(nèi)容創(chuàng)作、廣告營銷、游戲、企業(yè)服務(wù)等領(lǐng)域都陸續(xù)開始商業(yè)化應(yīng)用。NVIDIA 資深解決方案架構(gòu)師張瑋東以「生成式 AI 行業(yè)案例介紹」為題，介紹了目前行業(yè)中比較領(lǐng)先的生成式 AI 應(yīng)用案例，以及 NVIDIA 的各項能力對生成式 AI 的相關(guān)領(lǐng)域所提供的支撐。

在硬件層面，NVIDIA 新一代 GPU 采用全新的 Ada Lovelace 架構(gòu)，配備包括 CUDA 的核心——流式多處理器（Streaming Multiprocessor）相關(guān)模塊，用于加速 AI 訓(xùn)練和推理的第四代張量核心（Tensor Core）、支持實時光線追蹤渲染的第三代光追核心（Ray Tracing Core），以及支持編解碼加速的視頻編解碼引擎 NVENC/NVDEC，提供出色的效率、專業(yè)圖形、AI 和計算性能。此外，NVIDIA 還提供基于新一代 RTX 技術(shù)的一系列專業(yè)視覺計算產(chǎn)品，如數(shù)據(jù)中心顯卡與工作站顯卡。目前，市場上超過 70 款熱門 DCC 軟件，如 Blender、Autodesk 等，均由 NVIDIA GPU 賦能的實時光線追蹤技術(shù)以及加速技術(shù)作為底層支持。

隨后，張瑋東分享了生成式 AI 在圖像生成、三維對象生成、文本和代碼生成、多模態(tài)生成、聲音與音樂生成、動作生成等多個領(lǐng)域的領(lǐng)先應(yīng)用案例，比如借助 Stable Diffusion 用 AI 生成紋理和 PBR 材質(zhì)交互編輯，借助 NVIDIA Instant NeRF（神經(jīng)輻射場）將靜態(tài) 2D 圖像轉(zhuǎn)換為 3D 場景創(chuàng)建，為與會觀眾帶來震撼的視聽體驗。

關(guān)于生成式 AI 的發(fā)展機遇與挑戰(zhàn)，我希望留個懸念，讓大家去思考。期待各位在生成式 AI 發(fā)展的起點就深入進去，做得更好。

——張瑋東

隨后，NVIDIA 的特邀嘉賓、國際知名視覺設(shè)計藝術(shù)家、良勝數(shù)字聯(lián)合創(chuàng)始人張大勝，帶來「利用 NVIDIA Omniverse 打造數(shù)字世界」主題演講，分享了如何使用利用 NVIDIA Omniverse 打造數(shù)字世界的經(jīng)驗。他表達了對于科技、設(shè)計的敬仰，以及對 Omniverse 的熱愛，稱之為 “讓設(shè)計進化的藥”，提供了無邊無界的創(chuàng)意空間。

良勝數(shù)字一直主打電影級的數(shù)字特效設(shè)計，致力于打造全球領(lǐng)先的數(shù)字創(chuàng)意設(shè)計公司，同時也是NVIDIA 初創(chuàng)加速計劃會員企業(yè)。目前，良勝數(shù)字的超寫實數(shù)字人設(shè)計部通過 NVIDIA Omniverse Audio2Face 提供 AI 動力支持，音頻生成面部表情動畫，解決臉部動捕難點。在良勝數(shù)字，從 Blender 到 Maya、從 iCLONE 到 Unreal Engine，各種復(fù)雜的 3D 工作流都通過 NVIDIA Omniverse 實現(xiàn)充分的互操作性，讓設(shè)計變得更高效、更美好。

人工智能和設(shè)計領(lǐng)域的交叉融合，是一個重要的趨勢。NVIDIA 及其領(lǐng)先的 Omniverse 平臺已成為我們在設(shè)計進程中不可或缺的工具，使得包括良勝數(shù)字在內(nèi)的設(shè)計師可以更加高效、更具想象力地進行創(chuàng)作。希望更多的設(shè)計師能夠運用這一工具，提高效率，創(chuàng)新設(shè)計，推動整個設(shè)計行業(yè)的進步發(fā)展。

——張大勝

基于 NVIDIA 基于 CUDA 和 TensorRT 加速的 Stable Diffusion，和 Transformer 架構(gòu)的 ChatGPT 等生成式 AI 工具，正在變革設(shè)計工作模式。NVIDIA 解決方案架構(gòu)師曹徐偉，帶來了「從 NVIDIA Omniverse 3D 協(xié)同設(shè)計到 NVIDIA AI 工具創(chuàng)作運用」主題分享，探討如何將 Diffusion 模型生成的內(nèi)容與 NVIDIA Omniverse 相結(jié)合，以及 ChatGPT 自主式編程如何輔助傳統(tǒng)的設(shè)計工作流。

AI 初學(xué)者如何開始第一步？曹徐偉通過 NVIDIA 賦能下整合多種技術(shù)的設(shè)計工作流示例，向與會聽眾分享了快速上手的實用經(jīng)驗技巧。比如，通過 NVIDIA 一個內(nèi)部開發(fā)模塊 NVSCAN，可以快速掃描人臉，生成點云；生成點云后，可以通過 MeshLab 工具掃描數(shù)字人；隨后使用 MetaHuman 框架，將臉型拓?fù)溥^去，與數(shù)字人的身體網(wǎng)格匹配；最終，通過 NVIDIA Omniverse Audio2Face 生成面部動畫。整個工作流非常適用于數(shù)字人初學(xué)者去使用。

面向生成式 AI 帶來的機會，不要有過多的焦慮。引用創(chuàng)始人黃仁勛的話，不要走，要用跑的。我們很愿意輔助大家，在這個賽道上找到自己的價值和方向。

——曹徐偉

最后，NVIDIA XR 業(yè)務(wù)拓展及開發(fā)者關(guān)系經(jīng)理毛萃帶來以「四大支柱技術(shù)碰撞出的 XR 生態(tài)新范式」為題的分享。

無論是賦能用戶的協(xié)作設(shè)計，還是利用數(shù)字世界幫助觀眾在虛實之間切換、互動，都離不開擴展現(xiàn)實（XR）所創(chuàng)造的逼真、沉浸式環(huán)境。在演講中，毛萃先簡單介紹了 XR 的相關(guān)概念——XR 包括虛擬現(xiàn)實 VR、增強現(xiàn)實 AR、以及混合現(xiàn)實 MR。談到 XR 的發(fā)展歷史，最早可以追溯到 1838 年。在 1968 年，第一款頭戴虛擬現(xiàn)實設(shè)備 Sutherland 出現(xiàn)。2016 年前后，XR 開始走入大眾視野。伴隨著手機供應(yīng)鏈的成熟、AI 技術(shù)的發(fā)展，以及計算機視覺技術(shù)的提升，XR 得到了飛躍式的發(fā)展。

隨后，毛萃介紹了構(gòu)建 XR 生態(tài)新范式的四大核心支柱技術(shù)：串流技術(shù)、AI技術(shù)、協(xié)作、以及高保真。

串流技術(shù)

借助 NVIDIA CloudXR SDK，用戶可以通過 GPU 虛擬化軟件充分利用 NVIDIA RTX 服務(wù)器的強大功能，通過云端串流技術(shù)以及網(wǎng)絡(luò)傳輸，將制作好的 XR 內(nèi)容傳輸?shù)礁鞣N類型的 XR 設(shè)備上，打造精彩的增強現(xiàn)實和虛擬現(xiàn)實體驗。今年三月，NVIDIA 新發(fā)布了 CloudXR 4.0 版本，帶來了 CloudXR Server API、Unity 插件、通用手柄支持等新功能，允許開發(fā)者在應(yīng)用程序和定制方案中集成 CloudXR 服務(wù)，而企業(yè)客戶則可通過 CloudXR 4.0 來提升 AR/VR 能力，為 XR 部署帶來更多靈活性和可擴展性。

協(xié)作與高保真

NVIDIA Omniverse XR 包含 AR 和 VR 兩部分。一方面，通過在應(yīng)用商店可下載的 Omniverse Streaming Client 應(yīng)用，渲染后的光追場景串流到平板或者手機，以 AR 呈現(xiàn)。另一方面，作為首個全畫幅、支持 VR 實時光線追蹤的應(yīng)用，工程師、設(shè)計師和創(chuàng)作者能在 VR 環(huán)境中查看、導(dǎo)航、審查和注釋，控制燈光，操作 3D 物體等。NVIDIA Omniverse XR 不需要預(yù)處理或編譯，VR 內(nèi)部物體可以被重新定位和重新縮放，照明也可實時調(diào)整。

AI 技術(shù)

如何擺脫手柄，讓解放雙手的 XR 體驗成為可能？從現(xiàn)場展示的 Project Mellon（甜瓜項目）上看到，NVIDIA 正通過使用自然語言語音指令創(chuàng)建 XR 體驗。Project Mellon 是一個輕量級的 Python 軟件包，能夠利用強大的語音 AI（NVIDIA Riva）和 LLMs（NVIDIA NeMo 服務(wù)），簡化沉浸式環(huán)境中的用戶交互。NVIDIA 在 GTC 2023 上宣布，Project Mellon 現(xiàn)已支持開發(fā)者進行測試。語音輸入會在對話框中以文字形式展現(xiàn)，對于操作人員來說，這意味著他不需要知道某個操作的實現(xiàn)需要如何操作界面，只需要通過自然語音來交互就可以。

生成式 AI 時代下 XR 的發(fā)展趨勢

自發(fā)布以來，成千上萬的開發(fā)者和內(nèi)容創(chuàng)作者正在利用 NVIDIA Instant NeRF 構(gòu)建令人驚嘆的 3D 視覺效果。近日，NVIDIA 為這個渲染工具增加了虛擬現(xiàn)實支持，即 Instant NeRF in VR。換句話說，用戶可以從靜態(tài)圖像渲染沉浸式場景，然后通過 VR 頭顯虛擬地進入環(huán)境，并在 3D 空間中自由移動。從現(xiàn)場視頻演示中可以看到，一個快速重建的 3D 環(huán)境演示，其渲染的場景細節(jié)已經(jīng)非常驚艷，相信在不久的將來，將有更多商業(yè)的應(yīng)用與拓展。

串流技術(shù)、AI、協(xié)作、高保真，這是 NVIDIA 定義的影響 XR 發(fā)展的四個核心技術(shù)，它們相互融合承托，為構(gòu)建 XR 生態(tài)新范式奠定基礎(chǔ)。

——毛萃

U 設(shè)計周 X NVIDIA Omniverse 元宇宙設(shè)計大賽頒獎典禮也在現(xiàn)場舉辦，為此次專業(yè)論壇畫上了圓滿的句號。眾多優(yōu)秀的創(chuàng)作者和開發(fā)者在大賽期間將 NVIDIA Omniverse 融入其創(chuàng)作和開發(fā)工作流，讓精彩創(chuàng)意落地。

6 月 1 日 – 4 日 U 設(shè)計周活動期間，NVIDIA 展區(qū)展示了涵蓋軟硬件、NVIDIA Research、行業(yè)產(chǎn)品和解決方案、客戶案例、NVIDIA 初創(chuàng)加速計劃（NVIDIA Inception）會員企業(yè)案例、互動演示七大版塊，集中展示了 NVIDIA 全棧式 AI 解決方案以及 AI 研究、行業(yè)應(yīng)用、生態(tài)企業(yè)的前沿成果。