企業(yè)能夠通過提供檢索增強(qiáng)生成功能的生產(chǎn)就緒型 NVIDIA NIM 推理微服務(wù)，充分挖掘業(yè)務(wù)數(shù)據(jù)的價(jià)值。這些微服務(wù)現(xiàn)已集成到 Cohesity、DataStax、NetApp 和 Snowflake 平臺(tái)中。

如果缺乏準(zhǔn)確性，生成式 AI 應(yīng)用不但無法產(chǎn)生價(jià)值，有時(shí)甚至還會(huì)產(chǎn)生負(fù)價(jià)值。而準(zhǔn)確性的根源在于數(shù)據(jù)。

為幫助開發(fā)者高效獲取最佳的專有數(shù)據(jù)，以便為他們的 AI 應(yīng)用生成知識(shí)淵博的回答，NVIDIA 宣布推出四項(xiàng)全新的 NVIDIA NeMo Retriever NIM 推理微服務(wù)。

Llama 3.1 模型集也同期發(fā)布。當(dāng)與適用于該模型集的 NVIDIA NIM 推理微服務(wù)相結(jié)合時(shí)，NeMo Retriever NIM 推理微服務(wù)不僅能夠使企業(yè)擴(kuò)展到代理式 AI 工作流（在此工作流中，AI 應(yīng)用可以在最少的干預(yù)或監(jiān)督下準(zhǔn)確運(yùn)行），還能夠提供極為精準(zhǔn)的檢索增強(qiáng)生成（RAG）。

通過 NeMo Retriever，企業(yè)可以將自定義模型與各種業(yè)務(wù)數(shù)據(jù)無縫連接，并使用 RAG 為 AI 應(yīng)用作出高度準(zhǔn)確的回答。這套生產(chǎn)就緒型微服務(wù)實(shí)際上為創(chuàng)建高度準(zhǔn)確的 AI 應(yīng)用提供了非常精準(zhǔn)的信息檢索功能。

例如當(dāng)開發(fā)者創(chuàng)建 AI 智能體和客服聊天機(jī)器人、分析安全漏洞或從復(fù)雜的供應(yīng)鏈信息中提取洞察時(shí)，NeMo Retriever 能夠大幅提高模型的準(zhǔn)確性和吞吐量。

NIM 推理微服務(wù)實(shí)現(xiàn)了高性能、易于使用的企業(yè)級(jí)推理。開發(fā)者能夠使用 NeMo Retriever NIM 微服務(wù)并充分利用自己的數(shù)據(jù)，來獲得這一切。

已正式發(fā)布的全新 NeMo Retriever 向量化和重排序 NIM 微服務(wù)如下：

NV-EmbedQA-E5-v5：一個(gè)常用社區(qū)基礎(chǔ)向量化模型，針對(duì)文本問答檢索進(jìn)行了優(yōu)化

NV-EmbedQA-Mistral7B-v2：一個(gè)常用多語言社區(qū)基礎(chǔ)模型，針對(duì)文本向量化功能進(jìn)行了微調(diào)，以實(shí)現(xiàn)高度準(zhǔn)確的問答

Snowflake-Arctic-Embed-L：一個(gè)經(jīng)過優(yōu)化的社區(qū)模型

NV-RerankQA-Mistral4B-v3：一個(gè)常用社區(qū)基礎(chǔ)模型，針對(duì)文本重排功能進(jìn)行了微調(diào)，以實(shí)現(xiàn)高度準(zhǔn)確的問答

這些模型加入到 NIM 微服務(wù)集中，可通過 NVIDIA API 目錄輕松訪問。

向量化和重排序模型

NeMo Retriever NIM 微服務(wù)包含兩種模型——向量化和重排序模型，以及確保透明度和可靠性的開放式和商業(yè)化服務(wù)。

RAG 管線示例：使用了適用于 Llama 3.1 的 NVIDIA NIM 微服務(wù)以及適用于客服 AI 聊天機(jī)器人應(yīng)用的 NeMo Retriever 向量化和重排序 NIM 微服務(wù)

向量化模型在將文本、圖像、圖表和視頻等各種數(shù)據(jù)轉(zhuǎn)化為數(shù)字向量，并存儲(chǔ)在向量數(shù)據(jù)庫中的同時(shí)，獲取其含義和細(xì)微差別。與傳統(tǒng)的大語言模型（LLM）相比，向量化模型速度更快且計(jì)算成本更低。

重排序模型可獲取數(shù)據(jù)和查詢，隨后根據(jù)數(shù)據(jù)與查詢的相關(guān)性對(duì)數(shù)據(jù)進(jìn)行評(píng)分。與向量化模型相比，這類模型雖然計(jì)算復(fù)雜且速度較慢，但能大幅提高準(zhǔn)確性。

NeMo Retriever 提供了兩全其美的解決方案。開發(fā)者可以充分利用 NeMo Retriever 建立一個(gè)能夠給企業(yè)提供最有用、最準(zhǔn)確結(jié)果的流程。該流程先通過向量化 NIM 檢索巨大的數(shù)據(jù)網(wǎng)，然后使用重排序 NIM 篩選結(jié)果的相關(guān)性。

通過 NeMo Retriever，開發(fā)者能夠使用先進(jìn)的開源商業(yè)模型，構(gòu)建極為精準(zhǔn)的文本問答檢索管線。與其他模型相比，NeMo Retriever NIM 微服務(wù)在企業(yè)問答中提供的不準(zhǔn)確答案減少了 30%。

NeMo Retriever 向量化 NIM 和向量化 + 重排序 NIM 微服務(wù)性能與詞法搜索和替代向量的對(duì)比。

熱門用例

無論是 RAG 和 AI 智能體解決方案，還是數(shù)據(jù)驅(qū)動(dòng)的分析，NeMo Retriever 都能夠?yàn)楦鞣N AI 應(yīng)用提供助力。

這套微服務(wù)可用于創(chuàng)建能夠作出準(zhǔn)確、情境感知響應(yīng)的智能聊天機(jī)器人、幫助分析海量數(shù)據(jù)以識(shí)別安全漏洞、從復(fù)雜的供應(yīng)鏈信息中提取洞察等。它們還能勝任許多其他任務(wù)，比如幫助 AI 賦能的零售業(yè)購物顧問提供自然、個(gè)性化的購物體驗(yàn)。

針對(duì)這些用例的 NVIDIA AI 工作流為開發(fā)生成式 AI 賦能的技術(shù)提供了一個(gè)簡單且能夠獲得支持的起點(diǎn)。

數(shù)十家 NVIDIA 數(shù)據(jù)平臺(tái)合作伙伴正在使用 NeMo Retriever NIM 微服務(wù)提高其 AI 模型的準(zhǔn)確性和吞吐量。

DataStax 在其 Astra DB 和超融合平臺(tái)中集成了 NeMo Retriever 向量化 NIM 微服務(wù)，使企業(yè)能夠?yàn)榭蛻籼峁?zhǔn)確的、經(jīng)過生成式 AI 增強(qiáng)的 RAG 功能，并加快產(chǎn)品上市時(shí)間。

Cohesity 將在其 AI 產(chǎn)品 Cohesity Gaia 中集成 NVIDIA NeMo Retriever 微服務(wù)，以便幫助客戶通過 RAG 將自己的數(shù)據(jù)用于驅(qū)動(dòng)富有洞察力和變革性的生成式 AI 應(yīng)用。

Kinetica 將使用 NVIDIA NeMo Retriever 開發(fā) LLM 智能體。這些智能體能夠通過自然語言與復(fù)雜的網(wǎng)絡(luò)進(jìn)行交互，從而對(duì)中斷或漏洞作出更快的響應(yīng)，將洞察轉(zhuǎn)化為即時(shí)行動(dòng)。

NetApp 正在與 NVIDIA 合作，將 NeMo Retriever 微服務(wù)連接到其智能數(shù)據(jù)基礎(chǔ)設(shè)施上的 EB 級(jí)數(shù)據(jù)。所有 NetApp ONTAP 客戶都將能夠“與他們的數(shù)據(jù)無縫對(duì)話”，在不影響數(shù)據(jù)安全或隱私的情況下獲得專屬的業(yè)務(wù)洞察。

NVIDIA 全球系統(tǒng)集成商合作伙伴包括埃森哲、德勤、Infosys、LTTS、Tata Consultancy Services、Tech Mahindra 和 Wipro 等，以及服務(wù)交付合作伙伴 Data Monsters、EXLService (愛爾蘭) Limited、Latentview、Quantiphi、Slalom、SoftServe 和 Tredence 正在開發(fā)各種服務(wù)，幫助企業(yè)將 NeMo Retriever NIM 微服務(wù)添加到他們的 AI 管線中。

與其他 NIM 微服務(wù)一起使用

NeMo Retriever NIM 微服務(wù)可與 NVIDIA Riva NIM 微服務(wù)一起使用。后者為各行各業(yè)的語音 AI 應(yīng)用提供強(qiáng)大助力，增強(qiáng)了客戶服務(wù)并且讓數(shù)字人變得栩栩如生。

即將以 Riva NIM 微服務(wù)形式推出的新模型包括：適用于文本轉(zhuǎn)語音應(yīng)用的 FastPitch 和 HiFi-GAN；適用于多語言神經(jīng)機(jī)器翻譯的 Megatron；以及適用于自動(dòng)語音識(shí)別的破紀(jì)錄 NVIDIA Parakeet 系列模型。

NVIDIA NIM 微服務(wù)既可以組合使用，也可以單獨(dú)使用，為開發(fā)者提供構(gòu)建 AI 應(yīng)用的模塊化方法。這些微服務(wù)還可以在云端、本地或混合環(huán)境中與社區(qū)模型、NVIDIA 模型或用戶自定義模型集成，為開發(fā)者帶來了更大的靈活性。

NVIDIA NIM 微服務(wù)現(xiàn)在可在 ai.nvidia.com 上獲取。企業(yè)可通過 NVIDIA AI Enterprise 軟件平臺(tái)使用 NIM 將 AI 應(yīng)用部署到生產(chǎn)中。

NIM 微服務(wù)可在客戶首選的加速基礎(chǔ)設(shè)施上運(yùn)行，包括亞馬遜云科技、谷歌云、Microsoft Azure 和 Oracle Cloud Infrastructure 的云實(shí)例，以及思科、戴爾科技、慧與、聯(lián)想和 Supermicro 等全球服務(wù)器制造合作伙伴的 NVIDIA 認(rèn)證系統(tǒng)。

NVIDIA 開發(fā)者計(jì)劃會(huì)員很快將能夠免費(fèi)使用 NIM，以在他們首選的基礎(chǔ)設(shè)施上進(jìn)行研究、開發(fā)和測試。