已發(fā)布的 NeMo 微服務(wù)可與合作伙伴平臺集成，作為創(chuàng)建 AI 智能體的構(gòu)建模塊，使用商業(yè)智能與強(qiáng)大的邏輯推理模型 (包括 NVIDIA Llama Nemotron) 處理更多任務(wù)。

AI 智能體的準(zhǔn)確性、相關(guān)性和及時(shí)性由驅(qū)動(dòng)它的數(shù)據(jù)所決定。

NVIDIA NeMo微服務(wù)現(xiàn)已全面推出，可幫助企業(yè) IT 部門快速構(gòu)建 AI 團(tuán)隊(duì)，通過數(shù)據(jù)飛輪提高員工生產(chǎn)力。這些微服務(wù)提供了一個(gè)端到端的開發(fā)者平臺，用于創(chuàng)建先進(jìn)的代理式 AI 系統(tǒng)，并根據(jù)推理和業(yè)務(wù)數(shù)據(jù)以及用戶偏好使用數(shù)據(jù)飛輪，以不斷優(yōu)化這些系統(tǒng)。

借助數(shù)據(jù)飛輪，企業(yè) IT 部門可以讓 AI 智能體作為數(shù)字成員加入。這些智能體可以利用用戶交互以及 AI 推理過程中生成的數(shù)據(jù)，不斷提升模型性能——將用例轉(zhuǎn)化為洞察，繼而將洞察轉(zhuǎn)化為行動(dòng)。

為代理式 AI 構(gòu)建強(qiáng)大的數(shù)據(jù)飛輪

如果沒有來自數(shù)據(jù)庫、用戶交互或現(xiàn)實(shí)世界信號的持續(xù)高質(zhì)量輸入，智能體的理解能力就會下降，導(dǎo)致其輸出不再可靠，并且降低智能體的效率。

要維護(hù)和優(yōu)化生產(chǎn)環(huán)境中驅(qū)動(dòng) AI 智能體的模型，需要三類數(shù)據(jù)：用于獲取洞察并適應(yīng)數(shù)據(jù)模式演變的推理數(shù)據(jù)，提供智能的最新業(yè)務(wù)數(shù)據(jù)，以及驗(yàn)證模型與應(yīng)用表現(xiàn)是否符合預(yù)期的用戶反饋數(shù)據(jù)。而 NeMo 微服務(wù)能幫助開發(fā)者有效利用這三類數(shù)據(jù)。

NeMo 微服務(wù)通過端到端工具加快 AI 智能體的開發(fā)。這些工具可用來策劃、定制、評估和保護(hù)驅(qū)動(dòng)智能體的模型。

NVIDIA NeMo 微服務(wù)（包括NeMo Customizer、NeMo Evaluator和NeMo Guardrails）可與NeMo Retriever和NeMo Curator一起使用，通過定制企業(yè)數(shù)據(jù)飛輪，簡化企業(yè)構(gòu)建、優(yōu)化和擴(kuò)展 AI 智能體的體驗(yàn)。例如：

NeMo Customizer加速大語言模型微調(diào)，將訓(xùn)練吞吐量提升至高 1.8 倍。這一高性能、可擴(kuò)展的微服務(wù)采用主流的后訓(xùn)練技術(shù)，包括監(jiān)督微調(diào)和低秩自適應(yīng)。

NeMo Evaluator只需五次應(yīng)用程序接口 (API) 調(diào)用，即可簡化自定義以及行業(yè)基準(zhǔn) AI 模型和工作流的評估。

NeMo Guardrails僅需額外半秒延遲，即可將合規(guī)性保護(hù)提高至多 1.4 倍，幫助組織實(shí)施符合組織政策和準(zhǔn)則的強(qiáng)效安全防護(hù)措施。

借助 NeMo 微服務(wù)，開發(fā)者可以構(gòu)建數(shù)據(jù)飛輪，從而提升 AI 智能體的準(zhǔn)確性和效率。NeMo 微服務(wù)通過NVIDIA AI Enterprise軟件平臺部署，易于操作，并且可在任何加速計(jì)算的基礎(chǔ)設(shè)施（本地或云端）上運(yùn)行，提供企業(yè)級的安全性、穩(wěn)定性和支持。

隨著企業(yè)構(gòu)建大規(guī)模多智能體系統(tǒng)，微服務(wù)已愈發(fā)普及。在多智能體系統(tǒng)中，數(shù)百個(gè)具有不同目標(biāo)和工作流的專用智能體作為數(shù)字員工，協(xié)同處理復(fù)雜的任務(wù)，與員工并肩工作，實(shí)現(xiàn)跨職能的輔助工作并提升效率。

這種企業(yè)范圍的影響使 AI 智能體成為了一個(gè)價(jià)值萬億美元的商機(jī)，其應(yīng)用涵蓋自動(dòng)欺詐檢測、購物助手、預(yù)測性機(jī)器維護(hù)和文檔審查，同時(shí)也突顯了數(shù)據(jù)飛輪在將業(yè)務(wù)數(shù)據(jù)轉(zhuǎn)化為可操作見解方面的關(guān)鍵作用。

使用 NVIDIA NeMo 微服務(wù)構(gòu)建的數(shù)據(jù)飛輪不斷整理數(shù)據(jù)、重新訓(xùn)練模型并評估其性能，整個(gè)過程幾乎無需人工干預(yù)，實(shí)現(xiàn)了最大程度的自主性。

行業(yè)領(lǐng)導(dǎo)者通過 NVIDIA NeMo 微服務(wù)

提升 AI 智能體的準(zhǔn)確性

NVIDIA 合作伙伴和行業(yè)領(lǐng)導(dǎo)者正在使用 NeMo 微服務(wù)構(gòu)建響應(yīng)式 AI 智能體平臺，以便數(shù)字團(tuán)隊(duì)成員能夠幫助完成更多工作。

AT&T 與 Arize 和 Quantiphi 合作，使用 NVIDIA NeMo 構(gòu)建了一個(gè)先進(jìn)的 AI 智能體，用于處理包含近 10,000 份文檔且每周更新的知識庫。這款可擴(kuò)展的高性能 AI 智能體針對三大關(guān)鍵業(yè)務(wù)重點(diǎn)進(jìn)行了微調(diào)：速度、成本效益和準(zhǔn)確性，隨著應(yīng)用規(guī)模的擴(kuò)大，其重要性與日俱增。

AT&T 使用 NeMo Customizer 和 Evaluator，通過微調(diào) Mistral 7B 模型，將 AI 智能體的準(zhǔn)確率提高了 40%，從而幫助提供個(gè)性化服務(wù)、防止欺詐并優(yōu)化網(wǎng)絡(luò)性能。

貝萊德 (BlackRock) 正在其 Aladdin 技術(shù)平臺中應(yīng)用 NeMo 微服務(wù)以實(shí)現(xiàn)代理式 AI 功能，該平臺通過通用數(shù)據(jù)語言統(tǒng)一投資管理流程。

思科 Outshift 團(tuán)隊(duì)與 Galileo 一起使用 NVIDIA NeMo 微服務(wù)為編碼助手提供支持，可將工具選擇錯(cuò)誤減少 40%，并將響應(yīng)時(shí)間加快 10 倍。

納斯達(dá)克正在基于 NeMo Retriever 微服務(wù)和NVIDIA NIM微服務(wù)加速納斯達(dá)克生成式 AI 平臺。NeMo Retriever 增強(qiáng)了該平臺的搜索功能，使準(zhǔn)確率和響應(yīng)時(shí)間提高了 30%，并節(jié)省了成本。

NVIDIA NeMo 微服務(wù)

獲廣泛模型和合作伙伴生態(tài)系統(tǒng)支持

NeMo 微服務(wù)支持眾多主流的開放模型，包括 Llama、微軟 Phi 系列小語言模型、Google Gemma、Mistral 和NVIDIA Llama Nemotron Ultra，Llama Nemotron Ultra 是目前在科學(xué)推理、編碼和復(fù)雜數(shù)學(xué)基準(zhǔn)測試中領(lǐng)先的開放模型。

Meta 已通過全新連接器 Meta Llamastack 接入 NVIDIA NeMo 微服務(wù)。用戶可以通過 API 訪問相同的功能，包括 NVIDIA Customizer、Evaluator 和 Guardrails，從而能夠在其環(huán)境中運(yùn)行全套智能體構(gòu)建工作流。

Meta GenAI 軟件工程師 Raghotham Murthy 表示：“通過 Llamastack 集成，智能體構(gòu)建者可以應(yīng)用由 NeMo 微服務(wù)驅(qū)動(dòng)的數(shù)據(jù)飛輪，這使他們能夠持續(xù)優(yōu)化模型，從而提高準(zhǔn)確性、提升效率并降低總體擁有成本?！?/p>

Cloudera、Datadog、Dataiku、DataRobot、DataStax、SuperAnnotate、Weights & Biases 等領(lǐng)先的 AI 軟件提供商已將 NeMo 微服務(wù)集成到其平臺中。開發(fā)者可以在熱門 AI 框架 (包括 CrewAI、deepset 開發(fā)的 Haystack、LangChain、LlamaIndex 和 Llamastack) 中使用 NeMo 微服務(wù)。

企業(yè)可以使用 NVIDIA AI 數(shù)據(jù)平臺產(chǎn)品，通過 NeMo Retriever 微服務(wù)構(gòu)建數(shù)據(jù)飛輪，這些產(chǎn)品來自企業(yè)級 NVIDIA 認(rèn)證的存儲合作伙伴，包括 DDN、戴爾科技、慧與、Hitachi Vantara、IBM、NetApp、Nutanix、Pure Storage、VAST Data 和 WEKA。

領(lǐng)先的企業(yè)平臺 (包括 Amdocs、Cadence、Cohesity、SAP、ServiceNow 和 Synopsys) 正在其 AI 智能體解決方案中使用 NeMo Retriever 微服務(wù)。

企業(yè)可以在 NVIDIA 加速的基礎(chǔ)架構(gòu)、網(wǎng)絡(luò)和來自領(lǐng)先系統(tǒng)提供商（包括思科，戴爾科技，慧與和聯(lián)想）的軟件上運(yùn)行 AI 智能體。

埃森哲、德勤、安永等咨詢類領(lǐng)先企業(yè)正在通過 NeMo 微服務(wù)為企業(yè)構(gòu)建 AI 智能體平臺。

開發(fā)者可以從NVIDIA NGC目錄下載 NeMo 微服務(wù)。這些微服務(wù)可以作為 NVIDIA AI Enterprise 的一部分進(jìn)行部署，提供長期穩(wěn)定的軟件分支，以實(shí)現(xiàn) API 的穩(wěn)定性、主動(dòng)安全修復(fù)和企業(yè)級支持。