總規(guī)模達(dá)到 3 萬億美元的媒體行業(yè)計(jì)劃使用 NIM 微服務(wù)、AI Blueprint 等 NVIDIA 技術(shù)簡化 AI 視頻管線并提高受眾的參與度。

從創(chuàng)建 GPU、RTX 實(shí)時(shí)光線追蹤和神經(jīng)渲染，到如今重塑 AI 計(jì)算，NVIDIA 幾十年來一直站在計(jì)算機(jī)圖形領(lǐng)域的前沿，不斷推動(dòng)媒體和娛樂行業(yè)的發(fā)展。

NVIDIA Media2 是一項(xiàng) AI 賦能的全新計(jì)劃。它將深入改變內(nèi)容創(chuàng)建、流式傳輸和實(shí)時(shí)媒體體驗(yàn)。

Media2 以 NVIDIA NIM 微服務(wù)、AI Blueprint 等技術(shù)，以及初創(chuàng)企業(yè)和軟件合作伙伴的突破性 AI 應(yīng)用為基礎(chǔ)，使用 AI 技術(shù)幫助創(chuàng)建更加智能、更加定制化、更具影響力的內(nèi)容，并且可根據(jù)受眾的個(gè)人偏好加以調(diào)整。

在這次創(chuàng)意行業(yè)的快速轉(zhuǎn)型中，積極使用 NVIDIA Media2 的公司能夠站在總規(guī)模達(dá)到 3 萬億美元的媒體和娛樂行業(yè)的前沿，重塑受眾的消費(fèi)和與內(nèi)容互動(dòng)方式。

Media2 使用的核心 NVIDIA 技術(shù)

隨著生成式 AI 和加速計(jì)算在媒體和娛樂行業(yè)的普及，NVIDIA 技術(shù)正在深入改變內(nèi)容的創(chuàng)建、交付和體驗(yàn)方式。

NVIDIA Holoscan for Media是一個(gè) AI 賦能的軟件定義平臺(tái)，它能夠讓廣播公司、流媒體公司和體育直播公司的實(shí)時(shí)視頻管線與 AI 在同一個(gè)基礎(chǔ)設(shè)施上運(yùn)行。該平臺(tái)在 NVIDIA 加速的基礎(chǔ)設(shè)施上提供全行業(yè)廠商的應(yīng)用。

NVIDIA Blackwell 架構(gòu)提供了驅(qū)動(dòng)下一代數(shù)據(jù)增強(qiáng)型智能內(nèi)容創(chuàng)建和超個(gè)性化媒體所需的強(qiáng)大動(dòng)力。該架構(gòu)專為處理數(shù)據(jù)中心規(guī)模的生成式 AI 工作流構(gòu)建，能耗僅為 NVIDIA Hopper 的 25 分之一。Blackwell 集成了六種類型的芯片，包括 GPU、CPU、DPU、NVIDIA NVLink Switch 芯片、NVIDIA InfiniBand 交換機(jī)和以太網(wǎng)交換機(jī)。

NVIDIA Blackwell 由 NVIDIA AI Enterprise 提供支持，后者是一個(gè)適用于生產(chǎn)級(jí) AI 的端到端軟件平臺(tái)。NVIDIA AI Enterprise 包含豐富的 NVIDIA NIM 微服務(wù)、AI 框架、庫和工具，并且這一陣容還在不斷壯大。媒體公司可在 NVIDIA 加速的云、數(shù)據(jù)中心和工作站上部署它們，包括：

Llama 3.1-405B-Instruct NIM 微服務(wù)：可以為聊天機(jī)器人、編碼和特定領(lǐng)域任務(wù)提供合成數(shù)據(jù)生成、蒸餾和推理功能。

Mistral-NeMo-12B-Instruct NIM 微服務(wù)：可實(shí)現(xiàn)多語種信息檢索，即跨語言搜索、處理和檢索知識(shí)的能力，是提高 AI 模型輸出結(jié)果準(zhǔn)確性和全球相關(guān)性的關(guān)鍵。

適用于精確視覺生成式 AI 3D 調(diào)節(jié)的 NVIDIA Omniverse Blueprint：能夠幫助廣告主在不影響主要產(chǎn)品資產(chǎn)的情況下，使用實(shí)時(shí)渲染和生成式 AI 輕松/大規(guī)模地構(gòu)建個(gè)性化、符合品牌形象和精準(zhǔn)貼合產(chǎn)品的營銷內(nèi)容。

NVIDIA NeMo Retriever 嵌入和重排 NIM 微服務(wù)：能夠?qū)⑽谋疚臋n、文字記錄、新聞文章和其他書面內(nèi)容矢量化。媒體公司可以使用這兩項(xiàng)服務(wù)擴(kuò)展生成式 AI 方面的工作并構(gòu)建準(zhǔn)確的多語種系統(tǒng)。

NVIDIA Cosmos Nemotron 視覺語言模型 NIM 微服務(wù)：這個(gè)多模態(tài) VLM 能夠理解文本、圖像和視頻的含義和上下文。借助這項(xiàng)微服務(wù)，媒體公司可以使用自然語言查詢圖像和視頻并獲得包含有用信息的回答。

適用于視頻搜索和摘要（VSS）的 NVIDIA AI Blueprint：繼承了 VLM 和 LLM，并提供用于構(gòu)建視頻分析、搜索和摘要應(yīng)用的云原生構(gòu)建模塊。

NVIDIA Edify 多模態(tài)生成式 AI 架構(gòu)：可根據(jù)文本或圖像提示生成視覺資產(chǎn)，例如圖像、3D 模型和 HDRi 環(huán)境等。該架構(gòu)為開發(fā)者提供了先進(jìn)的編輯工具和高效的訓(xùn)練方式。借助 NVIDIA AI Foundry，服務(wù)提供商可以使用 NVIDIA NIM 微服務(wù)為商業(yè)視覺服務(wù)定制 Edify 模型。

Media2 生態(tài)系統(tǒng)中的合作伙伴

全行業(yè)的合作伙伴都在使用 NVIDIA 技術(shù)重塑敘事新篇章。

Getty Images 和 Shutterstock 使用了來 NVIDIA Edify 構(gòu)建智能內(nèi)容創(chuàng)作服務(wù)。它們的 AI 模型還經(jīng)過優(yōu)化和打包，能夠通過 NVIDIA NIM 微服務(wù)實(shí)現(xiàn)性能最大化。

Bria 是專為開發(fā)者設(shè)計(jì)的商用視覺生成式 AI 平臺(tái)。它基于 100% 授權(quán)的數(shù)據(jù)訓(xùn)練而成，并根據(jù)負(fù)責(zé)任的 AI 原則構(gòu)建。該平臺(tái)提供了用于實(shí)現(xiàn)定制管線、無縫集成和靈活部署的工具，保證了企業(yè)級(jí)合規(guī)以及內(nèi)容生產(chǎn)的可擴(kuò)展性和可預(yù)測性。經(jīng)過 NVIDIA NIM 微服務(wù)的優(yōu)化，Bria 可提供更加快速、安全和擴(kuò)展自如的生產(chǎn)就緒解決方案。

Runway 是一個(gè)為藝術(shù)家和電影制作人提供先進(jìn)創(chuàng)作工具的 AI 平臺(tái)。該公司的 Gen-3 Alpha Turbo 模型具有出色的視頻生成能力，并且包含一項(xiàng)新的相機(jī)控制功能，可實(shí)現(xiàn)相機(jī)平移、傾斜、變焦等精準(zhǔn)的移動(dòng)。通過集成搭載 NVIDIA GPU 的 NVIDIA CV-CUDA 開源庫，Runway 加快了其分割模型的高分辨率視頻預(yù)處理速度。

Autodesk 旗下的 Wonder Dynamics 最近推出了 Wonder Animation 測試版，該測試版采用強(qiáng)大的全新視頻轉(zhuǎn) 3D 場景技術(shù)，可將任何視頻序列轉(zhuǎn)換成用于動(dòng)畫電影制作的 3D 動(dòng)畫場景。Wonder Animation 由NVIDIA GPU 技術(shù)提供加速，是一個(gè)專為視覺特效藝術(shù)家和動(dòng)畫師提供的靈活、易用的工具。它大大減少了傳統(tǒng) 3D 動(dòng)畫和視覺特效工作流的時(shí)間、復(fù)雜性和工作量，同時(shí)讓藝術(shù)家能夠保持對創(chuàng)作的完全掌控。

Comcast 的 Sky 創(chuàng)新團(tuán)隊(duì)正在與 NVIDIA 合作，在其全球平臺(tái)上對 NVIDIA NIM 微服務(wù)和合作伙伴模式進(jìn)行實(shí)驗(yàn)室測試。該整合可以提高全球用戶的互動(dòng)性和可訪問性，例如在直播體育節(jié)目時(shí)使用語音指令請求摘要、訪問其他上下文信息等。

Vū 是一家創(chuàng)意技術(shù)公司，有著大型虛擬工作室網(wǎng)絡(luò)，它正在利用 NVIDIA 加速的生成式 AI 技術(shù)，拓寬創(chuàng)建虛擬環(huán)境和沉浸式內(nèi)容的渠道。

Twelve Labs 是 NVIDIA 初創(chuàng)加速計(jì)劃成員。該公司正在開發(fā)先進(jìn)的多模態(tài)基礎(chǔ)模型。由于這些模型能夠像人類一樣理解視頻，因此可以進(jìn)行精確的語義搜索、內(nèi)容分析和視頻轉(zhuǎn)文本生成。Twelve Labs 還使用 NVIDIA GPU 大幅提高了這些模型的推理性能，將每秒處理的請求數(shù)最多增加了 7 倍。

S4 Capital 的 Monks 正在使用領(lǐng)先的 AI 技術(shù)對實(shí)時(shí)內(nèi)容進(jìn)行細(xì)分和提供個(gè)性化的觀眾體驗(yàn)，使直播效果變得更佳。該公司的解決方案由 NVIDIA Holoscan for Media 驅(qū)動(dòng)，集成了 NVIDIA VILA 等工具，可生成上下文元數(shù)據(jù)并添加到時(shí)間可尋址媒體存儲(chǔ)框架中，從而對視頻內(nèi)容進(jìn)行基于動(dòng)作的精確搜索。

此外，Monks 還使用 NVIDIA NeMo Curator 幫助處理數(shù)據(jù)，以便為體育聯(lián)盟和 IP 持有者構(gòu)建量身定制的 AI 模型，然后以授權(quán)使用的方式開辟新的變現(xiàn)渠道。通過將這些技術(shù)“糅合”在一起，廣播公司可以隨著賽事的進(jìn)行向觀眾不間斷地提供超相關(guān)內(nèi)容，同時(shí)滿足當(dāng)今受眾不斷變化的需求。

媒體公司管理著海量視頻內(nèi)容，這些內(nèi)容的定位、編目和編譯成品既困難又耗時(shí)。領(lǐng)先的媒體顧問和系統(tǒng)集成商 Qvest 在 NIM 微服務(wù)基礎(chǔ)上開發(fā)了 AI 視頻發(fā)現(xiàn)引擎，該引擎通過自動(dòng)采集視頻文件的數(shù)據(jù)加快了這一過程，使用戶能夠更加輕松地發(fā)現(xiàn)視頻并聯(lián)系上下文研究如何將視頻融入到其想要講述的故事中。

Verizon 將其安全可靠的 5G 專網(wǎng)與 NVIDIA 全棧 AI 平臺(tái)（包含 NVIDIA AI Enterprise 和 NIM 微服務(wù)）整合成最新的邊緣 AI 解決方案，深入改變了全球企業(yè)的運(yùn)營方式以及直播媒體和體育內(nèi)容。

通過使用該解決方案，流媒體公司、體育聯(lián)盟和 IP 持有者可部署高性能 5G 連接以及能夠?qū)崿F(xiàn)個(gè)性化內(nèi)容交付的生成式 AI、代理式 AI、擴(kuò)展現(xiàn)實(shí)和流媒體應(yīng)用，以更強(qiáng)的互動(dòng)性和沉浸感提升觀眾體驗(yàn)。該技術(shù)還通過向教練、運(yùn)動(dòng)員、裁判和觀眾提供實(shí)時(shí)數(shù)據(jù)分析，幫助提升運(yùn)動(dòng)員的表現(xiàn)和觀眾的參與度。它還支持 5G 驅(qū)動(dòng)的私有企業(yè) AI 用例，并以此推動(dòng)自動(dòng)化和生產(chǎn)力的發(fā)展。

歡迎加入 NVIDIA Media2

NVIDIA Media2 計(jì)劃通過智能、數(shù)據(jù)驅(qū)動(dòng)的沉浸式技術(shù)，幫助企業(yè)重新定義媒體和娛樂的未來，在為他們帶來競爭優(yōu)勢的同時(shí)，使他們能夠推動(dòng)整個(gè)行業(yè)的創(chuàng)新。

現(xiàn)在可以試用 NVIDIA 和模型開發(fā)者提供的 NIM 微服務(wù)，未來將定期添加更多模型。