全新 VMware Private AI Foundation With NVIDIA 幫助企業(yè)為生成式 AI 在業(yè)務中的應用做好準備；該平臺將在數據隱私性、安全性和可控性方面提供進一步支持

拉斯維加斯 — VMware Explore — 太平洋時間 2023 年 8 月 22 日 — VMware（NYSE：VMW）和 NVIDIA（NASDAQ：NVDA）于今日宣布擴展雙方的戰(zhàn)略合作伙伴關系，幫助數十萬家使用 VMware 云基礎架構的企業(yè)做好準備，迎接AI時代的到來。

VMware Private AI Foundation with NVIDIA 將使企業(yè)能夠自定義模型并運行各種生成式 AI 應用，如智能聊天機器人、助手、搜索和摘要等。該平臺將作為全集成式解決方案，采用 NVIDIA 提供的生成式 AI 軟件和加速計算，基于 VMware Cloud Foundation 構建，并針對 AI 進行了優(yōu)化。

VMware 首席執(zhí)行官 Raghu Raghuram 表示：“生成式 AI 與多云可謂珠聯璧合?？蛻舻臄祿o處不在，遍布其數據中心、邊緣、云等多處。我們將與 NVIDIA 一同助力企業(yè)放心地在數據附近運行生成式 AI 工作負載，并解決其在企業(yè)數據隱私、安全和控制方面的問題?！?/p>

NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛表示：“世界各地的企業(yè)都在競相將生成式 AI 整合到自身業(yè)務中。通過與 VMware 擴大合作，我們將能夠為金融服務、醫(yī)療、制造等領域的數十萬家客戶提供其所需的全棧式軟件和計算，使其能夠使用基于自身數據定制的應用，充分挖掘生成式 AI 的潛力?！?/p>

全棧式計算大幅提升生成式 AI 的性能

為更快實現業(yè)務效益，企業(yè)希望簡化并提高生成式 AI 應用的開發(fā)、測試和部署效率。根據麥肯錫的預測，生成式 AI 每年可為全球經濟帶來多達 4.4 萬億美元的增長。

VMware Private AI Foundation with NVIDIA 將助力企業(yè)充分利用這一能力，以定制大語言模型，創(chuàng)建供內部使用的更加安全的私有模型，將生成式 AI 作為一項服務提供給用戶，并更加安全地大規(guī)模運行推理工作負載。

該平臺計劃提供的各種集成式 AI 工具，將幫助企業(yè)經濟高效地運行使用其私有數據訓練而成的成熟模型。這一建立在 VMware Cloud Foundation 和 NVIDIA AI Enterprise 軟件上的平臺預計能夠提供以下方面的優(yōu)勢：

• 隱私：將通過能夠保護數據隱私并確保訪問安全的架構，使客戶能夠在任何數據所在地輕松運行 AI 服務。

• 選擇：從 NVIDIA NeMo 到 Llama 2 等，企業(yè)在構建和運行其模型的位置上，將擁有廣泛的選擇空間，包括領先的 OEM 硬件配置以及未來的公有云和服務提供商解決方案。

• 性能：近期的行業(yè)基準測試表明，某些用例在 NVIDIA 加速基礎設施上運行的性能與裸機性能相當，甚至超過了裸機性能。

• 數據中心規(guī)模：虛擬化環(huán)境中的 GPU 擴展優(yōu)化使 AI 工作負載能夠在單個虛擬機和多個節(jié)點上擴展到最多 16 顆 vGPU/GPU，從而加快生成式 AI 模型的微調和部署速度。

• 更低的成本：將最大程度地利用 GPU、DPU 和 CPU 的所有計算資源以降低總體成本，并創(chuàng)建可在各個團隊間高效共享的池化資源環(huán)境。

• 加速存儲：VMware vSAN Express Storage Architecture 提供性能經過優(yōu)化的 NVMe 存儲，并支持通過 RDMA 實現 GPUDirect 存儲，從而無需 CPU 即可實現從存儲到 GPU 的直接 I/O 傳輸。

• 加速網絡：vSphere 與 NVIDIA NVSwitch 技術之間的深度集成將進一步確保多 GPU 模型的執(zhí)行不會出現 GPU 間瓶頸問題。

• 快速部署和價值實現時間：vSphere Deep Learning VM 鏡像和鏡像庫將提供穩(wěn)定的統包解決方案鏡像，該鏡像預先安裝了各種框架和性能經過優(yōu)化的庫，可實現快速原型開發(fā)。

該平臺將采用的 NVIDIA NeMo 是 NVIDIA AI Enterprise（NVIDIA AI 平臺的操作系統）中包含的端到端云原生框架，可助力企業(yè)在幾乎任何地點構建、自定義和部署生成式 AI 模型。NeMo 集自定義框架、護欄工具包、數據整理工具和預訓練模型于一身，使企業(yè)能夠以一種簡單、經濟且快速的方式來采用生成式 AI。

為將生成式 AI 部署到生產中，NeMo 使用 TensorRT for Large Language Models（TRT-LLM），以加速并優(yōu)化 NVIDIA GPU 上最新 LLM 的推理性能。通過 NeMo，VMware Private AI Foundation with NVIDIA 將使企業(yè)能夠導入自己的數據，并在 VMware 混合云基礎架構上構建和運行自定義生成式 AI 模型。

在 VMware Explore 2023 大會上，NVIDIA 與 VMware 重點介紹了企業(yè)內部的開發(fā)人員如何使用全新 NVIDIA AI Workbench 提取社區(qū)模型（例如 Hugging Face 上提供的 Llama 2），對這些模型進行遠程自定義并在 VMware 環(huán)境中部署生產級生成式 AI。

生態(tài)圈對 VMware Private AI Foundation With NVIDIA 的廣泛支持

VMware Private AI Foundation with NVIDIA 將得到戴爾、慧與和聯想的支持。這三家企業(yè)將率先提供搭載 NVIDIA L40S GPU、NVIDIA BlueField-3 DPU 和 NVIDIA ConnectX-7 智能網卡的系統，這些系統將加速企業(yè) LLM 定制和推理工作負載。

相較于 NVIDIA A100 Tensor Core GPU，NVIDIA L40S GPU 可將生成式 AI 的推理性能和訓練性能分別提高 1.2 倍和 1.7 倍。

NVIDIA BlueField-3 DPU 可加速、卸載和隔離 GPU 或 CPU 上的巨大計算工作負載，其中包含虛擬化、網絡、存儲、安全，以及其他云原生 AI 服務。

NVIDIA ConnectX-7 智能網卡可為數據中心基礎設施提供智能、加速網絡，以承載全球一些要求嚴苛的 AI 工作負載。

VMware Private AI Foundation with NVIDIA 建立在兩家公司長達十年的合作基礎之上。雙方的聯合研發(fā)成果優(yōu)化了 VMware 的云基礎架構，使其能夠以媲美裸機的性能運行 NVIDIA AI Enterprise。VMware Cloud Foundation 所提供的資源及基礎架構管理與靈活性將進一步惠及雙方共同的客戶。

供應情況

VMware 計劃于 2024 年初發(fā)布 VMware Private AI Foundation with NVIDIA。

GTC 2024 將于 2024 年 3 月 18 至 21 日在美國加州圣何塞會議中心舉行，線上大會也將同期開放。點擊“閱讀原文”或掃描下方海報二維碼，關注更多會議及活動信息。