在生成式 AI 時代，機器不僅要從數(shù)據(jù)中學(xué)習(xí)，還要生成類似人類一樣的文本、圖像、視頻等。檢索增強生成（RAG）則是可以實現(xiàn)的一種突破性方法。

RAG 工作流程基于大語言模型（LLM）而構(gòu)建，這些 LLM 可以理解查詢并生成響應(yīng)。但是，LLM 存在局限性，包括訓(xùn)練的復(fù)雜性和缺乏當(dāng)前（有時是專有）信息。此外，當(dāng)未根據(jù)特定數(shù)據(jù)進行訓(xùn)練就回答提示詞時，它們往往會產(chǎn)生幻覺并合成事實錯誤的信息。RAG 通過向 LLM 提供企業(yè)特定信息來增強查詢，從而幫助克服這些限制。

數(shù)據(jù)中心作為新的計算單元，隨著網(wǎng)絡(luò)服務(wù)對 CPU 壓力的增加，現(xiàn)代工作負(fù)載對網(wǎng)絡(luò)基礎(chǔ)設(shè)施提出了新的挑戰(zhàn)。網(wǎng)絡(luò)基礎(chǔ)設(shè)施需要具備敏捷性、自動化和可編程性的框架，并配備加速器和卸載功能，這些是充分發(fā)揮 AI 技術(shù)潛力和推動創(chuàng)新的關(guān)鍵。

在本文中，我們討論了 RAG 如何助力企業(yè)為各種企業(yè)用例創(chuàng)建高質(zhì)量、相關(guān)且引人入勝的內(nèi)容。我們深入探討了通過擴展 RAG 來處理大量數(shù)據(jù)和用戶所面臨的技術(shù)挑戰(zhàn)，以及如何使用由 NVIDIA GPU 計算、加速以太網(wǎng)網(wǎng)絡(luò)、網(wǎng)絡(luò)存儲和 AI 軟件提供支持的可擴展架構(gòu)來應(yīng)對這些挑戰(zhàn)。

RAG 使企業(yè)能夠充分利用數(shù)據(jù)

典型的 RAG 工作流程使用向量數(shù)據(jù)庫，向量數(shù)據(jù)庫是一類專為執(zhí)行相似性搜索而定制的數(shù)據(jù)管理系統(tǒng)，用于存儲和檢索與查詢相關(guān)的企業(yè)特定信息。

通過將 RAG 集成到其信息系統(tǒng)中，企業(yè)可以利用大量內(nèi)部和外部數(shù)據(jù)來生成具有洞察力的全新上下文相關(guān)內(nèi)容。這種融合是一次重大飛躍，使企業(yè)能夠利用其數(shù)據(jù)和領(lǐng)域?qū)I(yè)知識，為個性化客戶互動開辟新途徑，簡化內(nèi)容的創(chuàng)建，并提高知識用例的效率。

然而，在企業(yè)規(guī)模部署 RAG 也面臨著一系列挑戰(zhàn)，包括管理數(shù)百個數(shù)據(jù)集和數(shù)千名用戶的復(fù)雜性。這就需要一種分布式架構(gòu)，其能夠滿足有效應(yīng)對此類大規(guī)模操作的處理和存儲需求。

要擴展此架構(gòu)，您必須嵌入、向量化和索引數(shù)百萬個文檔、圖像、音頻文件和視頻，同時還適應(yīng)每天新創(chuàng)建內(nèi)容的嵌入。

另一個挑戰(zhàn)是確保交互式多模態(tài)應(yīng)用程序的低延遲響應(yīng)。由于需要集成數(shù)據(jù)企業(yè)應(yīng)用程序以及結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)存儲，因此需要實時處理和響應(yīng)，而在大規(guī)模實現(xiàn)方面可能具有挑戰(zhàn)。

生成式 AI 的數(shù)據(jù)索引和存儲也構(gòu)成了挑戰(zhàn)。

雖然傳統(tǒng)企業(yè)應(yīng)用程序可以壓縮數(shù)據(jù)并將其存儲來進行高效檢索，從而支持索引和語義搜索，但是基于 RAG 的數(shù)據(jù)庫可以擴展到比原始文本文檔及其相關(guān)元數(shù)據(jù)大 10 倍以上。這將導(dǎo)致在數(shù)據(jù)增長和存儲方面的重大挑戰(zhàn)。

為了獲得最佳結(jié)果，企業(yè)必須投資加速計算、網(wǎng)絡(luò)和存儲基礎(chǔ)設(shè)施，這對于處理訓(xùn)練和部署 RAG 模型所需的大量數(shù)據(jù)至關(guān)重要。

如何實現(xiàn)可擴展且高效的 RAG 推理

在 GTC 2024 上，NVIDIA 推出了一系列生成式 AI 微服務(wù)，為開發(fā)者提供用于創(chuàng)建和部署自定義 AI 應(yīng)用程序的企業(yè)級構(gòu)建塊。

企業(yè)可以使用這些微服務(wù)作為創(chuàng)建 RAG 驅(qū)動的應(yīng)用程序的基礎(chǔ)。通過將其與 NVIDIA RAG 工作流程示例相結(jié)合，您可以加快生成式 AI 應(yīng)用程序的構(gòu)建和產(chǎn)品化過程。

在本文中，我們使用多節(jié)點 GPU 計算推理、加速以太網(wǎng)網(wǎng)絡(luò)和網(wǎng)絡(luò)連接存儲對這些 RAG 工作流程示例進行基準(zhǔn)測試。我們的測試結(jié)果表明，高性能網(wǎng)絡(luò)和網(wǎng)絡(luò)連接存儲可實現(xiàn)高效且可擴展的生成式 AI 推理，使企業(yè)能夠開發(fā)由 RAG 驅(qū)動的應(yīng)用程序，在促進連續(xù)數(shù)據(jù)處理的同時，還可擴展到數(shù)千個用戶。

圖 1 顯示了包含兩個階段和數(shù)據(jù)流水線的 RAG 工作流程。

圖 1.RAG 工作流程

在第一階段，數(shù)據(jù)提取將文檔和其他數(shù)據(jù)模式轉(zhuǎn)換為數(shù)字嵌入，然后在向量數(shù)據(jù)庫中對其進行索引。此過程支持基于相似度分?jǐn)?shù)來有效檢索相關(guān)文檔。

查詢階段從用戶輸入問題時開始，該問題也會被轉(zhuǎn)換為嵌入并用于在向量數(shù)據(jù)庫中搜索相關(guān)內(nèi)容。檢索相關(guān)內(nèi)容后，會將其傳遞給 LLM 進行進一步處理。原始輸入問題以及增強上下文會提供給 LLM，LLM 會針對用戶的查詢生成更精確的答案。

此工作流程可以有效地檢索和生成信息，使其成為適用于各種企業(yè)應(yīng)用程序的強大工具。

加速以太網(wǎng)網(wǎng)絡(luò)、網(wǎng)絡(luò)連接存儲在數(shù)據(jù)提取方面表現(xiàn)出色

我們最初測試了基于單個 GPU 節(jié)點的數(shù)據(jù)提取流水線。圖 2 顯示了使用一臺具有 8 個 A100 GPU 的 DGX 系統(tǒng)和一個專為對象存儲工作負(fù)載而設(shè)計的網(wǎng)絡(luò)連接全閃存存儲平臺來進行測試設(shè)置。

圖 2.具有網(wǎng)絡(luò)連接存儲的單節(jié)點 NeMo Retriever 微服務(wù)

DGX 系統(tǒng)通過 NVIDIA ConnectX-7 網(wǎng)卡連接到網(wǎng)絡(luò)，并使用了加速的 NVMe-over-Fabrics（NVMe – oF）和 Amazon S3 對象存儲協(xié)議及兩臺 NVIDIA Spectrum SN3700 交換機。

使用 NeMo Retriever 微服務(wù)，我們比較了 PDF 文檔（包括文本和圖像）的嵌入和索引性能。此次比較涉及 DGX 系統(tǒng)中的直接附加存儲（DAS）和網(wǎng)絡(luò)連接存儲。

圖 3 顯示了單節(jié)點上的數(shù)據(jù)提取基準(zhǔn)測試的結(jié)果。結(jié)果表明，與使用 DAS 相比，使用 Amazon S3 的網(wǎng)絡(luò)連接存儲將數(shù)據(jù)提取速度提高了 36%，將處理時間縮短了 122 秒。這表明網(wǎng)絡(luò)連接存儲是數(shù)據(jù)提取的更好選擇，同時還依賴于網(wǎng)絡(luò)速度和延遲。

加速以太網(wǎng)網(wǎng)絡(luò)對于提供穩(wěn)健、高性能和安全的連接至關(guān)重要。除了增強文檔嵌入外，網(wǎng)絡(luò)連接存儲還提供各種企業(yè)級數(shù)據(jù)管理功能。

圖 3.單節(jié)點數(shù)據(jù)提取基準(zhǔn)測試 (100 萬個向量)

然后，我們使用多節(jié)點 RAG 設(shè)置進行測試，該設(shè)置使用通過 NVIDIA BlueField-3 DPU 連接的分布式微服務(wù)架構(gòu)（圖 4）。隨著多個節(jié)點并行運行以上傳嵌入、計算索引并插入向量數(shù)據(jù)庫，性能也隨之提升。

圖 4.具有網(wǎng)絡(luò)連接存儲的多節(jié)點 NeMo Retriever 微服務(wù)

我們比較了每臺服務(wù)器中使用直接附加 SSD 與網(wǎng)絡(luò)連接存儲的性能。對于服務(wù)器內(nèi)的 SSD，MinIO 充當(dāng)對象存儲層。對于網(wǎng)絡(luò)連接存儲，我們繞過 MinIO，測試了存儲系統(tǒng)自己的原生 Amazon S3 對象接口。

結(jié)果表明，多節(jié)點比使用單節(jié)點提供更快的性能，將處理時間縮短了近 102 秒。這些結(jié)果證明了多節(jié)點 GPU 加速與企業(yè)級網(wǎng)絡(luò)連接存儲相結(jié)合的性能優(yōu)勢。

圖 5.多節(jié)點數(shù)據(jù)提取基準(zhǔn)測試 (100 萬個向量)

適用于 RAG 驅(qū)動型應(yīng)用程序的網(wǎng)絡(luò)連接存儲的優(yōu)勢

網(wǎng)絡(luò)連接存儲可以通過網(wǎng)絡(luò)訪問塊、文件和對象，而無需直接將存儲介質(zhì)連接到服務(wù)器。

網(wǎng)絡(luò)連接存儲不僅為基于 RAG 的應(yīng)用程序提供了明顯的性能優(yōu)勢，而且還提供了額外的企業(yè)優(yōu)勢，使其成為增強自然語言處理的最佳數(shù)據(jù)平臺。

適用于 RAG 工作流程的網(wǎng)絡(luò)連接存儲具有以下優(yōu)勢：

實時流數(shù)據(jù)提取：網(wǎng)絡(luò)連接存儲支持從各種來源（例如社交媒體、Web、傳感器或物聯(lián)網(wǎng)設(shè)備）提取實時流數(shù)據(jù)。RAG 應(yīng)用程序可以使用這些數(shù)據(jù)生成相關(guān)的全新內(nèi)容。DAS 可能無法處理大量且快速的流數(shù)據(jù)，或者可能需要額外的處理或緩沖來存儲數(shù)據(jù)。

可擴展性：在不影響性能或數(shù)據(jù)可用性的情況下，可以更容易地通過添加更多磁盤或設(shè)備來擴展網(wǎng)絡(luò)連接存儲的容量。相比之下，DAS 的可擴展性有限，可能需要停機或重新配置才能進行存儲升級。

元數(shù)據(jù)標(biāo)注：網(wǎng)絡(luò)連接存儲支持使用元數(shù)據(jù)（例如標(biāo)簽、類別、關(guān)鍵字或摘要）對數(shù)據(jù)進行標(biāo)注。元數(shù)據(jù)可以被 RAG 應(yīng)用程序使用來根據(jù)查詢或上下文進行檢索和排名數(shù)據(jù)源。DAS 可能不支持?jǐn)?shù)據(jù)標(biāo)注，或需要單獨的數(shù)據(jù)庫或索引來存儲元數(shù)據(jù)。

利用率：網(wǎng)絡(luò)連接存儲使多個用戶和應(yīng)用程序能夠同時訪問相同的數(shù)據(jù)，從而優(yōu)化存儲資源的利用率，而不會產(chǎn)生重復(fù)或沖突。相比之下，DAS 可能會導(dǎo)致存儲未充分使用或過度使用的問題，具體取決于特定服務(wù)器內(nèi)的需求和數(shù)據(jù)分配。

可靠性：網(wǎng)絡(luò)連接存儲通過使用先進的獨立磁盤冗余陣列（RAID）功能或其他方法來保護數(shù)據(jù)免受磁盤故障、網(wǎng)絡(luò)故障或斷電的影響，提高了可靠性和數(shù)據(jù)可用性。相比之下，DAS 在磁盤或服務(wù)器發(fā)生故障時，可能會丟失數(shù)據(jù)或損壞，因為 DAS 并不具備數(shù)據(jù)保護功能。

刪除重復(fù)數(shù)據(jù)：網(wǎng)絡(luò)存儲通過消除文件或設(shè)備之間的重復(fù)或冗余數(shù)據(jù)來減少存儲空間和網(wǎng)絡(luò)帶寬。DAS 可能會存儲相同數(shù)據(jù)的多個副本，從而浪費存儲空間和網(wǎng)絡(luò)資源。

數(shù)據(jù)出處的來源引用：網(wǎng)絡(luò)連接存儲可以提供數(shù)據(jù)的來源引用，例如 URL、作者、日期或許可證。RAG 應(yīng)用程序可以使用此信息來歸因和驗證數(shù)據(jù)源，并確保所生成內(nèi)容的質(zhì)量和可信度。DAS 可能不提供數(shù)據(jù)來源引用，或者可能需要手動或外部方法來跟蹤數(shù)據(jù)來源。

備份：網(wǎng)絡(luò)連接存儲通過使用快照、復(fù)制或其他方法在不同位置或設(shè)備上創(chuàng)建數(shù)據(jù)副本來促進數(shù)據(jù)備份和恢復(fù)。DAS 可能需要手動或復(fù)雜的備份過程，這可能很耗時或容易出錯。

數(shù)據(jù)保護和保留：網(wǎng)絡(luò)連接存儲通過使用加密、壓縮或其他技術(shù)來保護數(shù)據(jù)免遭未經(jīng)授權(quán)的訪問或修改，從而確保數(shù)據(jù)保護和保留。它還使用策略、規(guī)則或法規(guī)來管理數(shù)據(jù)生命周期，例如數(shù)據(jù)的創(chuàng)建、刪除或存檔。相比之下，DAS 可能不提供數(shù)據(jù)保護和保留功能，或者可能需要額外的軟件或硬件來實現(xiàn)數(shù)據(jù)安全和治理。

結(jié)束語

檢索增強型生成通過利用生成式 AI 的強大功能以及企業(yè)特定的上下文和信息來增強數(shù)據(jù)和利用，為企業(yè)提供了巨大的潛力。

然而，大規(guī)模部署 RAG 會帶來諸多挑戰(zhàn)，例如管理大型數(shù)據(jù)集、確保交互式應(yīng)用程序的低延遲以及滿足生成式 AI 的存儲需求。

為了克服這些挑戰(zhàn)，企業(yè)必須擴展其基于 RAG 的生成式 AI 基礎(chǔ)設(shè)施。為了高效運行，此基礎(chǔ)架構(gòu)必須在整個數(shù)據(jù)中心堆棧中進行適當(dāng)?shù)恼{(diào)整和架構(gòu)設(shè)計：加速計算、快速網(wǎng)絡(luò)、網(wǎng)絡(luò)連接存儲和企業(yè) AI 軟件。

生成式 AI 是一個快速增長的新領(lǐng)域。隨著 RAG 的不斷擴展以支持視頻等新模式，數(shù)據(jù)處理需求持續(xù)快速增長。NVIDIA 生成式 AI 微服務(wù)與多節(jié)點 NVIDIA GPU 計算推理、加速以太網(wǎng)網(wǎng)絡(luò)和網(wǎng)絡(luò)連接存儲相結(jié)合，展示了企業(yè)規(guī)模 RAG 推理的效率。

審核編輯：劉清