大語言模型（LLM）基于包含數(shù)十億個 Token 的數(shù)據(jù)集訓(xùn)練而來，能夠生成高質(zhì)量的內(nèi)容。它們是眾多最熱門 AI 應(yīng)用的核心支撐技術(shù)，包括聊天機(jī)器人、智能助手、代碼生成工具等。

當(dāng)前，使用 LLM 的便捷方式之一是通過 AnythingLLM。這是一款專為 AI 愛好者打造的桌面應(yīng)用，能夠直接在用戶的 PC 上為其提供集眾多功能于一體且注重隱私保護(hù)的 AI 助手。

隨著 NVIDIA GeForce RTX 和 NVIDIA RTX PRO GPU 新增對 NVIDIA NIM 微服務(wù)的支持，AnythingLLM 用戶可享受更快的性能體驗，從而以更快的響應(yīng)速度運行本地 AI 工作流。

AnythingLLM 是什么？

AnythingLLM 是一款集眾多功能于一身的 AI 應(yīng)用，可供用戶運行本地 LLM、檢索增強(qiáng)生成（RAG）系統(tǒng)和代理式工具。

它在用戶選定的大語言模型與其數(shù)據(jù)之間起到橋梁作用，可以使用各類工具（即“技能”），從而能夠更輕松高效地將大語言模型應(yīng)用于特定任務(wù)，例如：

問題解答：無需產(chǎn)生額外成本，即可從 Llama、DeepSeek R1 等頂尖大語言模型獲取問題解答。

個人數(shù)據(jù)查詢：使用檢索增強(qiáng)生成（RAG）對 PDF、Word 文件、代碼庫等內(nèi)容做隱私提問。

文檔摘要：為長文檔（如研究論文）生成摘要。

數(shù)據(jù)分析：通過加載文件并使用大語言模型對其進(jìn)行查詢來提取數(shù)據(jù)洞見。

代理式操作：使用本地或遠(yuǎn)程資源對內(nèi)容進(jìn)行動態(tài)研究，并根據(jù)用戶提示詞運行生成式工具及操作。

AnythingLLM 能夠連接各類開源本地大語言模型，也可以連接規(guī)模更大的云端大語言模型，包括 OpenAI、微軟與 Anthropic 旗下的模型。此外，該應(yīng)用還通過其社區(qū)中心提供了各種技能（skills），用以擴(kuò)展代理式 AI 的功能。

AnythingLLM 支持一鍵安裝，且可作為獨立應(yīng)用或瀏覽器擴(kuò)展程序發(fā)布，無需復(fù)雜設(shè)置即可提供直觀易用的體驗，是 AI 愛好者（特別是 GeForce RTX 和 NVIDIA RTX PRO GPU 用戶）的絕佳選擇。

RTX 為 AnythingLLM 提供加速

GeForce RTX 與 NVIDIA RTX PRO GPU 能夠大幅提升 AnythingLLM 中 LLM 與智能體的運行性能，通過專為加速 AI 而設(shè)計的 Tensor Core 加速推理。

AnythingLLM 通過 Ollama 運行 LLM，并通過 Llama.cpp 及 GGML 機(jī)器學(xué)習(xí)張量庫加速端側(cè)執(zhí)行。

Ollama、Llama.cpp 和 GGML 針對 NVIDIA RTX GPU 和第五代 Tensor Core 進(jìn)行了優(yōu)化。

隨著 NVIDIA 不斷推出新的 NIM 微服務(wù)和參考工作流（例如其日益壯大的 AI Blueprint 庫），像 AnythingLLM 這樣的工具將解鎖更豐富的多模態(tài) AI 用例。

AnythingLLM — 現(xiàn)已支持 NVIDIA NIM

AnythingLLM 最近新增 NVIDIA NIM 微服務(wù)（性能經(jīng)過優(yōu)化的預(yù)打包生成式 AI 模型）支持，助力用戶在 RTX AI PC 上通過精簡易用的 API 輕松啟動 AI 工作流。

對于希望在工作流中對生成式 AI 模型進(jìn)行快速測試的開發(fā)者而言，NVIDIA NIM 非常實用。用戶無需自行尋找最適用的模型、下載全部文件并為所有組件設(shè)置連接，因為 NVIDIA NIM 微服務(wù)提供了包含一切必需組件的單一容器。此外，它們在云端與 PC 端均可運行，因而便于開發(fā)者在本地完成原型設(shè)計，然后再部署到云端。

這些微服務(wù)均可以通過 AnythingLLM 用戶友好型界面使用，讓用戶可以快速測試與實驗。隨后，用戶可以利用 AnythingLLM 將其連接至工作流，也可以通過 NVIDIA AI Blueprint、NIM 文檔及示例代碼將其直接集成到相關(guān)應(yīng)用或項目中。