新型 AI 超級計算機將 256 個 Grace Hopper 超級芯片連接為巨大的、1-Exaflop、144TB GPU，用于支持生成式 AI、推薦系統(tǒng)和數(shù)據(jù)處理的巨型模型

COMPUTEX—2023 年 5 月 29 日—NVIDIA 今天宣布推出一款新型大內(nèi)存 AI 超級計算機——由 NVIDIA GH200 Grace Hopper 超級芯片和 NVIDIA NVLink Switch System 驅(qū)動的 NVIDIA DGX 超級計算機，旨在助力開發(fā)面向生成式 AI 語言應(yīng)用、推薦系統(tǒng)和數(shù)據(jù)分析工作負載的巨型、下一代模型。

NVIDIA DGX GH200 的超大共享內(nèi)存空間通過 NVLink 互連技術(shù)以及 NVLink Switch System 使 256 個 GH200 超級芯片相連，使它們能夠作為單個 GPU 運行。其提供 1 exaflop 的性能和 144 TB 的共享內(nèi)存——相較 2020 年推出的上一代 NVIDIA DGX A100 內(nèi)存大了近 500 倍。

NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛表示：“生成式 AI、大型語言模型和推薦系統(tǒng)是現(xiàn)代經(jīng)濟的數(shù)字引擎。DGX GH200 AI 超級計算機集成了 NVIDIA 最先進的加速計算和網(wǎng)絡(luò)技術(shù)來拓展 AI 的前沿?！?/p>

NVIDIA NVLink 技術(shù)大規(guī)模擴展 AI

GH200 超級芯片使用 NVIDIA NVLink-C2C 芯片互連，將基于 Arm 的 NVIDIA Grace CPU 與 NVIDIA H100 Tensor Core GPU 整合在一起，從而不再需要傳統(tǒng)的 CPU 至 GPU PCIe 連接。與最新的 PCIe 技術(shù)相比，這將 GPU 和 CPU 之間的帶寬提高了 7 倍，將互連功耗減少了 5 倍以上，并為 DGX GH200 超級計算機提供了一個 600GB 的 Hopper 架構(gòu) GPU 構(gòu)建模塊。

DGX GH200 是第一款將 Grace Hopper 超級芯片與 NVIDIA NVLink Switch System 配對使用的超級計算機，這種新的互連方式使 DGX GH200 系統(tǒng)中的所有 GPU 作為一個整體協(xié)同運行。上一代系統(tǒng)在不影響性能的前提下只能通過 NVLink 把 8 個 GPU 整合成一個 GPU。

DGX GH200 架構(gòu)相比上一代將 NVLink 帶寬提升了 48 倍以上，實現(xiàn)在單個 GPU 上通過簡單編程即可提供大型 AI 超級計算機的能力。

面向 AI 先鋒的新研究工具

谷歌云、Meta 和微軟是首批有望接入 DGX GH200 來探索其用于生成式 AI 工作負載的能力的公司。NVIDIA 還打算將 DGX GH200 設(shè)計作為藍圖提供給云服務(wù)提供商和其他超大規(guī)模企業(yè)，以便他們能夠進一步根據(jù)他們自己的基礎(chǔ)設(shè)施進行定制。

谷歌云計算副總裁 Mark Lohmeyer 表示：“構(gòu)建先進的生成式模型需要創(chuàng)新的 AI 基礎(chǔ)設(shè)施。Grace Hopper 超級芯片的全新 NVLink 和共享內(nèi)存解決了大規(guī)模 AI 的關(guān)鍵瓶頸，我們期待它在谷歌云以及我們的生成式 AI 計劃中發(fā)揮強大的能力?！?/p>

Meta 基礎(chǔ)設(shè)施、AI 系統(tǒng)及加速平臺副總裁 Alexis Bj?rlin 表示：“隨著 AI 模型規(guī)模越來越大，它們需要可擴展的強大基礎(chǔ)設(shè)施，以滿足不斷增長的需求。NVIDIA 的 Grace Hopper 設(shè)計看起來能夠讓研究人員探索新的方法來解決他們面臨的最巨大挑戰(zhàn)。”

微軟 Azure 基礎(chǔ)設(shè)施企業(yè)副總裁 Girish Bablani 表示, “在以往訓(xùn)練大型 AI 模型是一項資源和時間密集型任務(wù)。DGX GH200 所具備的處理 TB 級數(shù)據(jù)集的潛力使得開發(fā)人員能夠在更大的規(guī)模和更快的速度下進行高級別的研究?！?/p>

全新 NVIDIA Helios 超級計算機將推進研發(fā)

NVIDIA 正在打造自己的基于 DGX GH200 的 AI 超級計算機，以支持研發(fā)團隊的工作。

這臺名為 NVIDIA Helios 的超級計算機將配備四個 DGX GH200 系統(tǒng)。每個都將通過 NVIDIA Quantum-2 InfiniBand 網(wǎng)絡(luò)互連，以提高訓(xùn)練大型 AI 模型的數(shù)據(jù)吞吐量。Helios 將包含 1024 個 Grace Hopper 超級芯片，預(yù)計將于今年年底上線。

完全集成，專為巨型模型而構(gòu)建

DGX GH200 超級計算機包含 NVIDIA 軟件，可為最大的 AI 和數(shù)據(jù)分析工作負載提供一個交鑰匙式全棧解決方案。NVIDIA Base Command 軟件提供 AI 工作流程管理、企業(yè)級集群管理和多個加速計算、存儲和網(wǎng)絡(luò)基礎(chǔ)設(shè)施的庫，以及為運行 AI 工作負載而優(yōu)化的系統(tǒng)軟件。

此外還包含 NVIDIA AI Enterprise，即 NVIDIA AI 平臺的軟件層。它提供 100 多個框架、預(yù)訓(xùn)練模型和開發(fā)工具，以簡化生成式 AI、計算機視覺、語音 AI 等生產(chǎn) AI 的開發(fā)和部署。

供貨情況

NVIDIA DGX GH200 超級計算機預(yù)計將于今年年底上市。

觀看黃仁勛在 COMPUTEX 2023 的主題演講中介紹 NVIDIA DGX GH200 超級計算機。