NVIDIA 今日發(fā)布能在 NVIDIA RTX AI PC 本地運行的基礎(chǔ)模型，為數(shù)字人、內(nèi)容創(chuàng)作、生產(chǎn)力和開發(fā)提供強大助力。

這些基礎(chǔ)模型以 NVIDIA NIM 微服務(wù)的形式提供，由全新 GeForce RTX 50 系列 GPU 加速，提供最高可達 2375 AI TOPS 和 32GB 顯存?；?NVIDIA Blackwell 架構(gòu)的 RTX 50 系列 GPU 是首批支持 FP4 計算精度的消費級 GPU。與上一代產(chǎn)品相比，AI 推理性能提升 2 倍，并讓生成式 AI 模型在本地以更小的顯存占用空間運行。

長期以來，GeForce 一直是 AI 開發(fā)者的重要平臺。早在 2012 年，首個由 GPU 加速的深度學(xué)習(xí)網(wǎng)絡(luò) AlexNet 就是在 GeForce GTX 580 上進行訓(xùn)練的。在去年發(fā)表的 AI 研究論文中，超過 30% 都提及了對 GeForce RTX 的使用。

現(xiàn)如今，在生成式 AI 和 RTX AI PC 的助力下，任何人都能成為開發(fā)者。借助 AnythingLLM、ComfyUI 和 LangFlow 等新一代低代碼和無代碼工具，發(fā)燒友能夠通過簡單的圖形用戶界面(GUI)在復(fù)雜的工作流中使用 AI 模型。

連接到這些 GUI 的 NIM 微服務(wù)使獲取和部署最新生成式 AI 模型輕而易舉。NVIDIA AI Blueprint 基于 NIM 微服務(wù)構(gòu)建，旨在為數(shù)字人、內(nèi)容創(chuàng)作等應(yīng)用提供易于使用的預(yù)配置參考工作流。

為滿足 AI 開發(fā)者和發(fā)燒友日益增長的需求，領(lǐng)先 PC 制造商和系統(tǒng)集成商即將推出搭載 GeForce RTX 50 系列 GPU 且支持 NIM 的 RTX AI PC。

NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛表示，“AI 正在以光速發(fā)展，從感知式 AI 到生成式 AI，再到如今的代理式 AI。NIM 微服務(wù)和 AI Blueprint 為 PC 開發(fā)者和發(fā)燒友探索 AI 提供了基礎(chǔ)模塊。”

NIM 提供迅捷 AI 體驗

基礎(chǔ)模型，即使用海量原始數(shù)據(jù)訓(xùn)練而成的神經(jīng)網(wǎng)絡(luò)，是生成式 AI 的基礎(chǔ)模塊。

NVIDIA 將發(fā)布一系列來自包括 Black Forest Labs、Meta、Mistral 和 Stability AI 等頂尖模型開發(fā)者的適用于 RTX AI PC 的 NVIDIA NIM 微服務(wù)。涵蓋大語言模型(LLM)、視覺語言模型、圖像生成、語音、檢索增強生成(RAG)的嵌入模型、PDF 提取和計算機視覺等應(yīng)用場景。

Black Forest Labs 首席執(zhí)行官 Robin Rombach 表示，“支持 FP4 計算精度的 GeForce RTX 50 系列 GPU 將使一大批此前僅適用于大型數(shù)據(jù)中心的模型得以在 PC 上運行。把 Flux 打造成 NVIDIA NIM 微服務(wù)，讓更多用戶以更快的速度部署和體驗 AI，同時提供超乎想象的性能。”

NVIDIA 今天還宣布推出 Llama Nemotron，這是一系列開放許可的基礎(chǔ)模型，能夠在各類代理式任務(wù)中提供極高的精度。Llama Nemotron Nano 模型將作為面向 RTX AI PC 和工作站的 NIM 微服務(wù)提供，在指令遵循、工具調(diào)用、聊天、代碼和數(shù)學(xué)等代理式 AI 任務(wù)方面表現(xiàn)出眾。

NIM 微服務(wù)包含在 PC 上運行 AI 所需的關(guān)鍵組件，并針對 NVIDIA GPU 的部署進行優(yōu)化，無論 GPU 在 RTX PC 、工作站，還是在云端。

開發(fā)者和發(fā)燒友將能快速下載這些 NIM 微服務(wù)，并可在帶有適用于 Linux 的 Windows 子系統(tǒng)(WSL)的 Windows 11 PC 上設(shè)置和運行。

微軟副總裁，Windows 業(yè)務(wù)負責(zé)人 Pavan Davuluri 表示：“AI 正在快速驅(qū)動 Windows 11 PC 創(chuàng)新，適用于 Linux 的 Windows 子系統(tǒng)(WSL)和 Windows Copilot Runtime 為 Windows 11 上的 AI 開發(fā)提供出色的跨平臺環(huán)境。NVIDIA NIM 微服務(wù)為 Windows PC 提供優(yōu)化，為開發(fā)者和發(fā)燒友提供可立即集成到其 Windows 應(yīng)用中的 AI 模型，從而進一步加速 Windows 用戶的 AI 功能部署?！?/p>

運行在 RTX AI PC 上的 NIM 微服務(wù)將兼容?先進 AI 開發(fā)和智能體框架，包括 AI Toolkit for VSCode、AnythingLLM、ComfyUI、CrewAI、Flowise AI、LangChain、LangFlow 和 LM Studio。開發(fā)者可以通過行業(yè)標準端點，將基于上述框架構(gòu)建的應(yīng)用和工作流連接到運行 NIM 微服務(wù)的 AI 模型，無論在云端、數(shù)據(jù)中心、工作站還是 PC 上，都可通過統(tǒng)一的接口使用最新技術(shù)。

發(fā)燒友還可通過即將發(fā)布的 NVIDIA ChatRTX 技術(shù) Demo 體驗一系列 NIM 微服務(wù)。

讓代理式 AI 擁有擬人表情

為了向 RTX 發(fā)燒友和開發(fā)者展示使用 NIM 微服務(wù)構(gòu)建 AI 智能體和助手的方法，NVIDIA 今天首度公開 Project R2X。這是一款具有視覺能力的 PC 虛擬形象，它可以讓用戶需要的信息觸手可及、協(xié)助用戶使用桌面應(yīng)用、進行視頻會議、閱讀和總結(jié)文檔等。

該虛擬形象采用全新生成式 AI 算法 NVIDIA RTX Neural Faces 渲染而成，這種算法可利用完全生成的像素來增強傳統(tǒng)光柵化渲染。然后，面部通過基于擴散原理的全新 NVIDIA Audio2Face-3D 模型驅(qū)動動畫，該模型可改善唇部和舌頭動作。R2X 可以通過 CrewAI、Flowise AI 和 LangFlow 等開發(fā)者框架連接到 OpenAI 的 GPT 4o 或 xAI 的 Grok 等云端 AI 服務(wù)，以及 NIM 微服務(wù)和 AI Blueprint，如 PDF 檢索器或其他 LLM。

AI Blueprint 即將登陸 PC

NIM 微服務(wù)還可通過 AI Blueprint(可在 RTX PC 上本地運行的參考 AI 工作流)供 PC 用戶使用。借助這些藍圖，開發(fā)者能夠基于 PDF 文檔創(chuàng)建播客、生成由 3D 場景引導(dǎo)的令人驚艷的圖像等。

將 PDF 轉(zhuǎn)換為播客的藍圖可從 PDF 中提取文本、圖像和表格，創(chuàng)建可供用戶編輯的播客腳本。它還能根據(jù)此腳本，使用藍圖中提供的語音或基于用戶的語音樣本生成完整的音頻錄音。此外，用戶還能與 AI 播客主持人進行實時對話，了解有關(guān)特定主題的更多信息。

該藍圖利用像 Mistral-Nemo-12B-Instruct 這樣的 NIM 微服務(wù)來處理語言，借助 NVIDIA Riva 進行文本轉(zhuǎn)語音和自動語音識別，以及使用 NeMo Retriever 微服務(wù)集合進行 PDF 提取。

使用由 3D 引導(dǎo)的生成式 AI Blueprint，藝術(shù)家能對圖像生成進行更精細的控制。雖然 AI 可以通過簡單的文本提示生成令人驚嘆的圖像，但僅使用文字控制圖像的內(nèi)容極具挑戰(zhàn)。有了上述藍圖，創(chuàng)作者可以借助使用 Blender 等 3D 渲染器布置簡單的 3D 物體來引導(dǎo) AI 圖像生成。藝術(shù)家可手動或使用 AI 生成創(chuàng)建 3D 資產(chǎn)，將其放置在場景中，并設(shè)置 3D viewport 相機。由 Flux NIM 微服務(wù)提供支持的預(yù)打包工作流將可以通過插件(例如 Blender 中由開發(fā)者 ACGGit 開發(fā)的 ComfyUI-BlenderAI-node)使用當前布景生成與 3D 場景相匹配的高質(zhì)量圖像。

NVIDIA NIM 微服務(wù)和 AI Blueprint 將從 2 月起開始提供，首發(fā)支持的硬件包含 GeForce RTX 50 系列、GeForce RTX 4090 和 4080 以及 NVIDIA RTX 6000 和 5000 GPU，未來還會陸續(xù)提供對其他 GPU 的支持。宏碁、華碩、戴爾、惠普、聯(lián)想、微星、雷蛇將推出支持 NIM 的 RTX AI PC。