如今，品牌及其創(chuàng)意機(jī)構(gòu)承受著巨大的壓力，從活動(dòng)關(guān)鍵視效到電商的包裝圖等，他們需要大規(guī)模地創(chuàng)建和提供高質(zhì)量、準(zhǔn)確的產(chǎn)品圖片。以受眾為目標(biāo)的內(nèi)容，如個(gè)性化和本地化的視覺變化，增加了制作的復(fù)雜性。

制作成本、緊迫的時(shí)間安排、資源和維護(hù)品牌形象都是營(yíng)銷團(tuán)隊(duì)為其受眾創(chuàng)建更多資產(chǎn)和更具針對(duì)性的內(nèi)容的重復(fù)阻礙。

例如，意式特濃咖啡制造商即將推出的產(chǎn)品可能想要針對(duì)面向廣泛的受眾，從居住在城市的年輕專業(yè)人士到在鄉(xiāng)村享受退休生活的老一代。過去，這需要多個(gè)工作流、多個(gè)地點(diǎn)、多個(gè)團(tuán)隊(duì)和多個(gè)審查周期來執(zhí)行，而這往往很難達(dá)到，從而限制了營(yíng)銷團(tuán)隊(duì)可用于定位的可用內(nèi)容。

為了大規(guī)模地生成高質(zhì)量、符合品牌定位的內(nèi)容，創(chuàng)意團(tuán)隊(duì)現(xiàn)在可以利用生成式 AI 工作流。將生成式 AI 集成到用于生成準(zhǔn)確的視覺資產(chǎn)和制作內(nèi)容的工具與應(yīng)用中，可以為內(nèi)容供應(yīng)鏈帶來新的可能性和效率。

許多開發(fā)者已經(jīng)在努力將其變?yōu)楝F(xiàn)實(shí)。

在本文中，我們將介紹用于精確視覺生成式 AI 的 3D 調(diào)節(jié)（3D Conditioning for Precise Visual Generative AI ）的 NVIDIA Omniverse Blueprint，概述其工作原理及其用途，并了解行業(yè)領(lǐng)先者如何考慮該領(lǐng)域的發(fā)展。

NVIDIA Omniverse Blueprint 是參考工作流，可讓用戶輕松實(shí)施和構(gòu)建 3D、仿真和數(shù)字孿生應(yīng)用。

模型調(diào)節(jié)以解鎖生成式 AI，實(shí)現(xiàn)可擴(kuò)展和可控的資產(chǎn)創(chuàng)建

如果無法控制產(chǎn)品的視覺輸入，將生成式 AI 集成到工作流中創(chuàng)建精確品牌形象時(shí)可能會(huì)出現(xiàn)問題。如果沒有特定的調(diào)節(jié)，特定的幾何體、顏色、徽標(biāo)和品牌指南被誤解或丟失。

模型調(diào)節(jié)是指為模型提供特定信息或規(guī)則，幫助其根據(jù)期望做出更好的預(yù)測(cè)或決策。要調(diào)節(jié) LLM，需要提供基于文本的說明、示例、上下文或之前的對(duì)話歷史記錄。對(duì)于圖像生成器，可以提供文本或示例圖像。

但這只能為 AI 模型提供有限的控制。這就是為什么需要 3D 調(diào)節(jié)。

通過在 3D 環(huán)境中設(shè)置 Stage，藝術(shù)家能夠?qū)ι傻囊曈X效果的輸出進(jìn)行出色的創(chuàng)意控制或指導(dǎo)。為終端用戶交互構(gòu)建易于使用的 UI，使非技術(shù)團(tuán)隊(duì)能夠在受控和經(jīng)過調(diào)節(jié)的框架中迭代和創(chuàng)建內(nèi)容，同時(shí)保持品牌資產(chǎn)不受 AI 影響。

該 Omniverse Blueprint 采用多模態(tài)方法，結(jié)合了使用 3D 的核心資產(chǎn)和簡(jiǎn)單的環(huán)境幾何體，以及 2D 渲染通道，可快速修復(fù)以完成受控場(chǎng)景。用戶可以通過蒙版來保持產(chǎn)品數(shù)字孿生的完整性，還可以通過更改攝像頭角度和縮放 3D 視窗來構(gòu)圖鏡頭。

為精確視覺生成式 AI 構(gòu)建經(jīng) 3D 調(diào)節(jié)的工作流涉及以下幾個(gè)關(guān)鍵組件：

品牌核心資產(chǎn)：由藝術(shù)家創(chuàng)建并通常由品牌經(jīng)理和藝術(shù)總監(jiān)批準(zhǔn)的最終資產(chǎn)，被視為核心資產(chǎn)。以上面的例子來說，提供一個(gè)簡(jiǎn)單的咖啡機(jī)模型。

簡(jiǎn)單、無紋理的 3D 場(chǎng)景：由 3D 藝術(shù)家提供，用于放置核心資產(chǎn)并控制布局和構(gòu)圖。

自定義應(yīng)用程序：使用基于 Kit 106.2 的 Kit App 模板構(gòu)建。

生成式 AI 微服務(wù)和 Kit 擴(kuò)展程序：為自定義應(yīng)用添加生成式 AI 功能。在這種情況下，擴(kuò)散模型（例如 Stable Diffusion）負(fù)責(zé)修補(bǔ)。

解決方案測(cè)試：驗(yàn)證集成工作流的功能和性能。

對(duì)于此工作流，我們專門研究了能夠讓用戶在使用生成 AI 的同時(shí)，也充分利用 OpenUSD 進(jìn)行 3D 應(yīng)用和工作流開發(fā)的微服務(wù)。

Omniverse Blueprint 旨在實(shí)現(xiàn)可擴(kuò)展和可定制。以下是可以在工作流中引入的一些其他組件：

大型多模態(tài)模型（LMM）+ ComfyUI：快速生成式文本轉(zhuǎn)圖像模型，可根據(jù)文本提示合成逼真圖像。

Edify 360 NIM：Shutterstock 提供早期訪問預(yù)覽版，用于生成 360 度高動(dòng)態(tài)范圍圖像（HDRI）。該模型使用 Shutterstock 的許可創(chuàng)意庫在 NVIDIA Edify 上進(jìn)行訓(xùn)練。

Edify 3D NIM：Shutterstock 提供的 3D 資產(chǎn)生成服務(wù)，用于場(chǎng)景布置中額外的 3D 對(duì)象生成。使用 NVIDIA Edify 和 Shutterstock 許可的創(chuàng)意庫進(jìn)行訓(xùn)練。

USD Code：一個(gè)語言模型，能夠回答OpenUSD知識(shí)查詢并生成USD Python代碼。

USD Search：一個(gè)AI驅(qū)動(dòng)的搜索工具，使用文本或圖像輸入來搜索 OpenUSD 數(shù)據(jù)、3D 模型、圖像和資產(chǎn)。

在本工作流指南結(jié)束后，用戶將能夠使用 AI 開發(fā)自己的自定義應(yīng)用，以支持并加速創(chuàng)意和營(yíng)銷團(tuán)隊(duì)。所有微服務(wù)目前均可在 build.nvidia.com 上預(yù)覽，用戶可以在其中調(diào)用 API 進(jìn)行評(píng)估。

利用 NVIDIA Omniverse Blueprint 構(gòu)建營(yíng)銷生態(tài)系統(tǒng)

獨(dú)立軟件供應(yīng)商（ISV）和生產(chǎn)服務(wù)機(jī)構(gòu)的開發(fā)者正在正在構(gòu)建下一代內(nèi)容創(chuàng)作解決方案，這些解決方案融合了可控的生成式 AI，并基于 OpenUSD 構(gòu)建。

例如 Accenture Song 、 GRIP 、 Monks 、 WPP 和 Collective World 正在采用 Omniverse Blueprint 來加速開發(fā)。

開發(fā)可擴(kuò)展的 AI 解決方案，以創(chuàng)建符合品牌的資產(chǎn)

此藍(lán)圖提供了如何構(gòu)建可控的生成式 AI 應(yīng)用的架構(gòu)示例。用戶現(xiàn)在可以充分利用其應(yīng)用：

多模態(tài) AI 生成的最終幀活動(dòng)資產(chǎn)

為關(guān)鍵視覺快速構(gòu)思概念與創(chuàng)意

批量處理提示輸入，從數(shù)據(jù)庫中預(yù)定義的文本提示生成可能的數(shù)百種視覺輸出

實(shí)施該藍(lán)圖能夠獲得以下優(yōu)勢(shì)：

加快上市時(shí)間：可顯著縮短創(chuàng)建高分辨率品牌資產(chǎn)所需的時(shí)間，從而加快產(chǎn)品上市速度。

輕松實(shí)現(xiàn)本地化：支持即時(shí)創(chuàng)建本地化圖像，以幫助品牌滿足不同市場(chǎng)的文化趨勢(shì)或要求。

提高生產(chǎn)力：使用 3D 數(shù)據(jù)的易用工具可以降低傳統(tǒng)上與高保真資產(chǎn)創(chuàng)建相關(guān)的技術(shù)技能要求。

開始使用

本文介紹了用于精確視覺生成式 AI 的 3D 調(diào)節(jié)的 NVIDIA Omniverse Blueprint，并展示了如何通過構(gòu)建生成式 AI 應(yīng)用程序來生成符合品牌的視覺資產(chǎn)和內(nèi)容制作。