AI 計(jì)算資源的需求正不斷增長(zhǎng)。從概念驗(yàn)證到企業(yè)部署需要針對(duì)生成性 AI 工作負(fù)載進(jìn)行優(yōu)化的強(qiáng)大計(jì)算基礎(chǔ)設(shè)施。同時(shí)，AI 開(kāi)發(fā)項(xiàng)目需要更多的計(jì)算資源來(lái)支持不斷增長(zhǎng)的 AI 工程師和研究人員創(chuàng)建模型和應(yīng)用程序。數(shù)據(jù)中心和云服務(wù)提供商 (CSP) 對(duì) AI 加速硬件的需求超過(guò)供應(yīng)。當(dāng)前的桌面計(jì)算資源可能不適合 AI 增強(qiáng)型工作流程，因此出現(xiàn)硬件短缺的問(wèn)題。

挑戰(zhàn)

在快速發(fā)展的生成式 AI 領(lǐng)域，企業(yè)正尋求利用這項(xiàng)尖端技術(shù)來(lái)獲得競(jìng)爭(zhēng)優(yōu)勢(shì)并加速創(chuàng)新。然而，生成式 AI 帶來(lái)了一些挑戰(zhàn)，可能會(huì)阻礙其有效部署和利用：

快速原型設(shè)計(jì)：開(kāi)發(fā)人工智能應(yīng)用程序需要快速原型設(shè)計(jì)和迭代，但缺乏工具、預(yù)建資源和計(jì)算能力會(huì)拖慢這一進(jìn)程。

部署復(fù)雜性：在不同基礎(chǔ)設(shè)施上部署 AI 模型既耗時(shí)又容易出錯(cuò)。

數(shù)據(jù)隱私和安全：對(duì)專有數(shù)據(jù)進(jìn)行微調(diào)模型通常需要將敏感信息發(fā)送到外部服務(wù)器，這帶來(lái)了重大風(fēng)險(xiǎn)。

性能優(yōu)化：實(shí)現(xiàn)低延遲和高吞吐量對(duì)于實(shí)時(shí)應(yīng)用至關(guān)重要，但如果沒(méi)有專門(mén)的硬件和軟件，則很難實(shí)現(xiàn)。

可擴(kuò)展性：有效擴(kuò)展數(shù)據(jù)處理和機(jī)器學(xué)習(xí)任務(wù)需要強(qiáng)大而有力的計(jì)算資源。

NVIDIA NIM和NVIDIA RTX驅(qū)動(dòng)的 AI 工作站通過(guò)提供優(yōu)化、安全且可擴(kuò)展的 AI 開(kāi)發(fā)解決方案，以及滿足企業(yè)特定需求所需的驚人計(jì)算能力來(lái)解決這些挑戰(zhàn)，促進(jìn)生成式 AI 的有效部署和利用。

NVIDIA NIM 在搭載 RTX 技術(shù)的

AI 工作站上的應(yīng)用

NVIDIA NIM 是 NVIDIA AI Enterprise 的一部分，是一套易于使用的預(yù)構(gòu)建容器工具，目的是幫助企業(yè)客戶加速在云、數(shù)據(jù)中心和工作站中部署生成式 AI 模型。通過(guò) NIM 可以部署廣泛的 AI 模型 - 包括開(kāi)源社區(qū)模型，NVIDIA AI Foundation 模型，和自定義模型。

RTX 驅(qū)動(dòng)的 AI 工作站上的 NVIDIA NIM 微服務(wù)為開(kāi)發(fā)人員集成生成式 AI 功能提供了強(qiáng)大而高效的解決方案。NIM 提供具有行業(yè)標(biāo)準(zhǔn) API 的預(yù)構(gòu)建容器，簡(jiǎn)化了 AI 模型部署，并允許開(kāi)發(fā)人員專注于應(yīng)用程序開(kāi)發(fā)而不是基礎(chǔ)設(shè)施管理。在 AI 工作站上本地運(yùn)行 NIM 可讓開(kāi)發(fā)人員控制其數(shù)據(jù)，確保隱私和安全，同時(shí)避免與云托管 API 相關(guān)的延遲、成本和合規(guī)性問(wèn)題。

NVIDIA RTX 驅(qū)動(dòng)的 AI 工作站可在云端、數(shù)據(jù)中心和桌面上使用，配備最新的NVIDIA GPU (用于實(shí)體工作站的 NVIDIA RTX 5880 Ada 架構(gòu) GPU 和用于 RTX 虛擬工作站的 NVIDIA 數(shù)據(jù)中心 GPU)，可為計(jì)算密集型 AI 工作負(fù)載提供支持。每個(gè)工作站最多配備四個(gè) NVIDIA RTX 5880 Ada 架構(gòu) GPU，AI 工作站可提供令人驚嘆的 4.4 petaFLOPS 綜合 AI 計(jì)算性能和 192GB 系統(tǒng) GPU 總顯存，以促進(jìn)快速原型設(shè)計(jì)和測(cè)試。這些工作站加快了開(kāi)發(fā)周期并能夠無(wú)縫擴(kuò)展到生產(chǎn)環(huán)境。AI 工作站上的 NIM 支持各個(gè)領(lǐng)域的各種模型?包括最新的大語(yǔ)言模型 (LLM)，如 Qwen 和 YiLarge，使開(kāi)發(fā)人員能夠輕松創(chuàng)建復(fù)雜的 AI 驅(qū)動(dòng)的應(yīng)用程序，并能夠隨時(shí)使用最先進(jìn)的功能。

快速創(chuàng)建支持 RAG 的應(yīng)用程序

RTX 驅(qū)動(dòng)的 AI 工作站上的 NIM 微服務(wù)為創(chuàng)建本地 RAG 應(yīng)用程序提供了強(qiáng)大的解決方案，確保對(duì)數(shù)據(jù)和模型的完全控制，尤其是對(duì)于數(shù)據(jù)安全和隱私至關(guān)重要的行業(yè)。開(kāi)發(fā)人員可以快速制作 RAG 應(yīng)用程序的原型、部署和迭代，在安全的本地環(huán)境中開(kāi)發(fā)創(chuàng)新。

此外，運(yùn)行 NIM 微服務(wù)的多 GPU 工作站可以作為小型團(tuán)隊(duì)的集中式 RAG 應(yīng)用程序中心，提供企業(yè)級(jí)生成式 AI 功能，而無(wú)需依賴云資源。這些基于工作站的 RAG 應(yīng)用程序可以處理多模態(tài)輸入，包括文本、語(yǔ)音和圖像，同時(shí)得益于 NVIDIA 的優(yōu)化推理引擎，實(shí)現(xiàn)高性能、低延遲響應(yīng)。

利用 NVIDIA NIM 隨時(shí)隨地

構(gòu)建生成式 AI 應(yīng)用程序

NVIDIA 開(kāi)發(fā)者計(jì)劃會(huì)員現(xiàn)可免費(fèi)使用 NVIDIA NIM 預(yù)構(gòu)建容器工具。

注冊(cè)開(kāi)發(fā)者計(jì)劃 (NVIDIA Developer Program)，可免費(fèi)訪問(wèn)并下載 NIM，用于在一定數(shù)量 GPU 上進(jìn)行研究，開(kāi)發(fā)和測(cè)試（詳情參照申請(qǐng)頁(yè)）。當(dāng)準(zhǔn)備投入生產(chǎn)時(shí)，開(kāi)發(fā)人員可以獲得 NVIDIA AI Enterprise，它提供企業(yè)級(jí)安全性、支持和 API 穩(wěn)定性。

NVIDIA NIM 可以幫助開(kāi)發(fā)人員實(shí)現(xiàn)：

通過(guò)針對(duì)低延遲、高吞吐量 AI 推理優(yōu)化的加速推理引擎獲得卓越性能。

在任何地方的 NVIDIA GPU 上運(yùn)行 AI 模型并保持對(duì) AI 應(yīng)用程序和數(shù)據(jù)的控制。

使用行業(yè)標(biāo)準(zhǔn) API 和流行的應(yīng)用程序開(kāi)發(fā)工具、框架簡(jiǎn)化 AI 應(yīng)用程序開(kāi)發(fā)。

通過(guò)無(wú)縫部署 NIM 來(lái)針對(duì)特定用例定制模型，以便根據(jù)數(shù)據(jù)對(duì)模型進(jìn)行微調(diào)。

使用詳細(xì)的可觀察性指標(biāo)和 Helm 圖表在 Kubernetes 上擴(kuò)展 NIM，最大限度地提高操作性和規(guī)模。

了解如何優(yōu)化生成 AI 應(yīng)用程序的開(kāi)發(fā)以部署在任何 NVIDIA 加速基礎(chǔ)設(shè)施上，同時(shí)仍然保持對(duì) IP 和 AI 應(yīng)用程序的完全控制。