前一段時(shí)間的2024 re:Invent 大會(huì)中，亞馬遜云科技可謂是重磅連連，發(fā)布了全套最新AI networking基礎(chǔ)設(shè)施方案。亞馬遜云科技公用計(jì)算高級(jí)副總裁 Peter DeSantis 首先引用了一篇 2020 年的論文：“AI 場(chǎng)景中巨量的計(jì)算負(fù)載，并不能完全通過 Scale Out AI 集群來(lái)解決，同樣也需要 Scale Up單臺(tái) AI 服務(wù)器的能力?！?基于這樣的設(shè)計(jì)思想，Peter 推出了 Trainium2 Server 和 Trainium2 UltraServer。同時(shí)單個(gè)芯片性能對(duì)于集群的總效率也起到了重要的基礎(chǔ)算力作用，本文主要回顧亞馬遜最新的AI Networking片內(nèi)/片間/網(wǎng)間綜合解決方案。

Trainium2 服務(wù)器

Trainium2 和 Trainium2-Ultra 服務(wù)器的構(gòu)建塊就是我們所說的 Trainium2“物理服務(wù)器”。每個(gè) Trainium2 物理服務(wù)器都有一個(gè)獨(dú)特的架構(gòu)，占用 18 個(gè)機(jī)架單元 (RU)，由一個(gè) 2 機(jī)架單元 (2U) CPU 機(jī)頭托盤組成，該托盤連接到八個(gè) 2U 計(jì)算托盤。在服務(wù)器的背面，所有計(jì)算托盤都使用類似于 GB200 NVL36 的無(wú)源銅背板連接在一起形成一個(gè) 4×4 2D 環(huán)面，不同之處在于，對(duì)于 GB200 NVL36，背板將每個(gè) GPU 連接到多個(gè) NVSwitches，而在 Trainium2 上，沒有使用交換機(jī)，所有連接都只是兩個(gè)加速器之間的點(diǎn)對(duì)點(diǎn)連接。

每個(gè) 2U 計(jì)算托盤有兩個(gè) Trainium 芯片，沒有 CPU。這與 GB200 NVL72 架構(gòu)不同，在 GB200 NVL72 架構(gòu)中，每個(gè)計(jì)算托盤在同一個(gè)托盤中同時(shí)具有 CPU 和 GPU。每個(gè) Trainium2 計(jì)算托盤通常也被稱為 JBOG，即“只是一堆 GPU”，因?yàn)槊總€(gè)計(jì)算托盤沒有任何 CPU，不能獨(dú)立運(yùn)行。

(來(lái)源：Semianalysis)

Scale Inside 單個(gè)芯片片內(nèi)互聯(lián)

Trainium2芯片

于 2023 年發(fā)布， Trainium2 采用了Multi-Die Chiplet架構(gòu)，并使用CoWoS-S/R先進(jìn)封裝技術(shù)，將計(jì)算芯粒和(HBM)模塊集成在一個(gè)緊湊的封裝(Package)內(nèi)。具體而言，每個(gè) Trainium2 單卡內(nèi)封裝了 2 個(gè) Trainium2 計(jì)算Die，而每個(gè)Die旁邊都配備了 2 塊 96GB HBM3 內(nèi)存模塊，提供高達(dá) 46TB/s 的帶寬。目前沒有提及Multi-die間的互聯(lián)協(xié)議，暫且理解為私有協(xié)議。 這種先進(jìn)的封裝設(shè)計(jì)克服了芯片尺寸的工程極限，最大限度地縮小了計(jì)算和內(nèi)存之間的距離，使用大量高帶寬、低延遲的互聯(lián)將它們連接在一起。這不僅降低了延遲，還能使用更高效的協(xié)議交換數(shù)據(jù)，提高了性能。

在計(jì)算核心方面，Trainium2 由少量大型 NeuronCore 組成，每個(gè) NeuronCore 內(nèi)部集成了張量引擎、矢量引擎、標(biāo)量引擎和 GPSIMD 引擎，各司其職協(xié)同工作。這種設(shè)計(jì)思路與傳統(tǒng) GPGPU 使用大量較小張量核心形成鮮明對(duì)比，大型核心在處理 Gen AI 工作負(fù)載時(shí)能夠有效減少控制開銷。目前大模型參數(shù)量級(jí)常常到達(dá)數(shù)千億甚至數(shù)萬(wàn)億，Trainium2 是面向 AI 大模型的高性能訓(xùn)練芯片，與第一代 Trainium 芯片相比，Trainium2 訓(xùn)練速度提升至 4 倍，能夠部署在多達(dá) 10 萬(wàn)個(gè)芯片的計(jì)算集群中，大幅降低了模型訓(xùn)練時(shí)間，同時(shí)能效提升多達(dá) 2 倍。

Scale Up超節(jié)點(diǎn)間互聯(lián)

在競(jìng)爭(zhēng)愈發(fā)激烈的 AI 大模型領(lǐng)域中，如何能夠更高效的、更低成本的、更快速擴(kuò)容滿足算力需求的能力，就成為了贏得市場(chǎng)的關(guān)鍵之一。正如亞馬遜云科技公用計(jì)算高級(jí)副總裁 Peter 所言：“在推動(dòng)前沿模型的發(fā)展的進(jìn)程中，對(duì)于極為苛刻的人工智能工作負(fù)載來(lái)說，再?gòu)?qiáng)大的計(jì)算能力也永遠(yuǎn)不夠?！盨cale Up 所帶來(lái)的好處就是為大模型訓(xùn)練提供了更大的訓(xùn)練成功率、更高效的梯度數(shù)據(jù)匯聚與同步、更低的能源損耗?；?Trainium2 UltraServer 支撐的 Amazon EC2 Trn2 UltraServer 可以提供高達(dá) 83.2 FP8 PetaFLOPS 的性能以及 6TB 的 HBM3 內(nèi)存，峰值帶寬達(dá)到 185 TB/s，并借助 12.8 Tb/s EFA(Elastic Fabric Adapter)網(wǎng)絡(luò)進(jìn)行互連。讓 AI 工程師能夠考慮在單臺(tái) 64 卡一體機(jī)內(nèi)以更短的時(shí)間訓(xùn)練出更加復(fù)雜、更加精準(zhǔn)的 AI 模型。

AWS Scale Up也是一個(gè)超節(jié)點(diǎn)的HBD域, 其機(jī)架互聯(lián)結(jié)構(gòu)和NVL36類似，由2個(gè)機(jī)架緊密耦合組成。一個(gè)機(jī)架32個(gè)GPU計(jì)算卡，超節(jié)點(diǎn)HBD域共64個(gè)GPU計(jì)算卡互聯(lián)。Scale Up超節(jié)點(diǎn)是業(yè)界目前正在積極探索的領(lǐng)域，盡管生態(tài)存在技術(shù)路徑的差異，但基于開放協(xié)議的技術(shù)路徑將是未來(lái)GPU互聯(lián)的關(guān)鍵，也是國(guó)內(nèi)未來(lái)構(gòu)建更大規(guī)模、更高效率集群的必經(jīng)之路。

(來(lái)源：Semianalysis)

Trn2-Ultra SKU 由每個(gè)縱向擴(kuò)展域的 4 個(gè) 16 芯片物理服務(wù)器組成，因此每個(gè)縱向擴(kuò)展域由 64 個(gè)芯片組成，由兩個(gè)機(jī)架組成，其配置類似于 GB200 NVL36x2。為了沿 z 軸形成圓環(huán)，每個(gè)物理服務(wù)器都使用一組有源銅纜連接到其他兩個(gè)物理服務(wù)器。

NeuronLink 私有協(xié)議構(gòu)成TB級(jí)互聯(lián)

Trainium2 UltraServer 一定要提及的就是 NeuronLink，它是一種亞馬遜云科技專有的網(wǎng)絡(luò)互聯(lián)技術(shù)，可使多臺(tái) Trainium2 Server 連接起來(lái)，成為一臺(tái)邏輯上的服務(wù)器。我們可以理解Neuronlink和NVlink類似是一種基于私有的GPU/xPU片間通信協(xié)議。

NeuronLink 技術(shù)可以讓 Trainium2 Server 之間直接訪問彼此的內(nèi)存，并提供每秒 2 TB 的帶寬(高于目前的NVlink)，延遲僅為 1 微秒。NeuronLink 技術(shù)使得多臺(tái) Trainium2 Server 就像是一臺(tái)超級(jí)計(jì)算機(jī)一樣工作，故稱之為 “UltraServer”?！斑@正是訓(xùn)練萬(wàn)億級(jí)參數(shù)的大型人工智能模型所需要的超級(jí)計(jì)算平臺(tái)，非常強(qiáng)大!” Peter 介紹道。

(來(lái)源：Semianalysis)

Scale Out 十萬(wàn)卡集群網(wǎng)間互聯(lián)

在 Scale Out 層面，亞馬遜云科技正在與 Anthropic 合作部署 Rainier 項(xiàng)目，Anthropic 聯(lián)合創(chuàng)始人兼首席計(jì)算官 Tom Brown 宣布下一代 Claude 模型將在 Project Rainier 上訓(xùn)練。Rainier 項(xiàng)目是一個(gè)龐大的 AI 超級(jí)計(jì)算集群，包含數(shù)十萬(wàn)個(gè) Trainium2 芯片，預(yù)計(jì)可提供約 130 FP8 ExaFLOPS 的超強(qiáng)性能，運(yùn)算能力是以往集群的 5 倍多，將為 Anthropic 的下一代 Claude AI 模型提供支持。Rainier 項(xiàng)目將會(huì)幫助 Anthropic 的客戶可以用更低價(jià)格、更快速度使用到更高智能的 Claude AI 大模型服務(wù)。

(來(lái)源：Semianalysis)

對(duì)于 Trn2，每個(gè)計(jì)算托盤最多有 8 個(gè) 200G EFAv3 NIC網(wǎng)卡，每個(gè)橫向擴(kuò)展以太網(wǎng)芯片可提供高達(dá) 800Gbit/s 的速度。從計(jì)算托盤連接到 CPU 托盤的籠子也需要一個(gè)重定時(shí)器。計(jì)算托盤左側(cè)的 Trainium2 芯片將使用與 CPU 托盤連接的前 8 個(gè)通道，而右側(cè)的 Trainium2 芯片將使用連接到 CPU 托盤的最后 8 個(gè)通道。

對(duì)于 Leaf 和 Spine 交換機(jī)，AWS 將使用基于 Broadcom Tomahawk4的 1U 25.6T 白盒交換機(jī)。AWS 不使用多個(gè)交換機(jī)來(lái)組成基于機(jī)箱的模塊化交換機(jī)，因?yàn)檫@種設(shè)置的爆炸半徑很大。如果機(jī)箱發(fā)生故障，則機(jī)箱連接的所有線卡和鏈路都會(huì)發(fā)生故障。這可能涉及數(shù)百個(gè) Trainium2 芯片。

Front End 前端網(wǎng)絡(luò)

我們提及一下連接傳統(tǒng)以太網(wǎng)的前端網(wǎng)絡(luò)，亞馬遜使用的Nitro 芯片作為世界上最早發(fā)布的 DPU 之一，其旨在實(shí)現(xiàn) Network、Storage、Hypervisor、Security 等虛擬化技術(shù)方面的 Workload offloading，消除了傳統(tǒng)虛擬化技術(shù)對(duì) CPU 資源的性能開銷。同時(shí)還集成了多種功能，包括 Security Root 信任根、內(nèi)存保護(hù)、安全監(jiān)控等，以此來(lái)加強(qiáng) Amazon EC2 實(shí)例的高性能和高安全性。安全性以及加密功能對(duì)于云計(jì)算中心的多租戶網(wǎng)絡(luò)安全至關(guān)重要。我們?cè)谥暗囊黄贙iwi Talks有講述智能網(wǎng)卡與DPU在應(yīng)用上的主要區(qū)別，亞馬遜的前端網(wǎng)絡(luò)案例可以讓我們更清楚的了解兩者在應(yīng)用上的不同

用于AI網(wǎng)絡(luò)Scale Out的智能網(wǎng)卡作為更輕量級(jí)的硬件多用于網(wǎng)絡(luò)加速，與交換機(jī)等組件共同完成擁塞控制、自適應(yīng)理由、選擇性重傳等系列AI網(wǎng)絡(luò)傳輸問題。SmartNIC和DPU的技術(shù)路徑存在顯著不同。

在 2024 re:Invent 中，我們看到亞馬遜云將 Nitro DPU 與 Graviton CPU 之間的 PCIe 鏈路都進(jìn)行了加密，創(chuàng)建了一個(gè)相互鎖定的信任網(wǎng)絡(luò)，使 CPU 到 CPU、CPU 到 DPU 的所有連接都由硬件提供安全保護(hù)。

寫在最后，全球主流超大規(guī)模云廠商已經(jīng)成功搭建萬(wàn)卡集群并朝著十萬(wàn)卡集群目標(biāo)邁進(jìn)。但礙于生態(tài)壁壘，部分廠商還基于私有協(xié)議在構(gòu)建自有網(wǎng)絡(luò)體系。與此同時(shí)，國(guó)內(nèi)的萬(wàn)卡集群在異構(gòu)芯片調(diào)度、軟硬件打通、超節(jié)點(diǎn)HBD域構(gòu)建等方面仍然面臨挑戰(zhàn)，未來(lái)人工智能網(wǎng)絡(luò)還有很長(zhǎng)一段路要走，還有待行業(yè)積極擁抱開源開放的協(xié)議與物理接口，以實(shí)現(xiàn)更緊密的協(xié)同發(fā)展。

關(guān)于我們AI網(wǎng)絡(luò)全棧式互聯(lián)架構(gòu)產(chǎn)品及解決方案提供商

奇異摩爾，成立于2021年初，是一家行業(yè)領(lǐng)先的AI網(wǎng)絡(luò)全棧式互聯(lián)產(chǎn)品及解決方案提供商。公司依托于先進(jìn)的高性能RDMA 和Chiplet技術(shù)，創(chuàng)新性地構(gòu)建了統(tǒng)一互聯(lián)架構(gòu)——Kiwi Fabric，專為超大規(guī)模AI計(jì)算平臺(tái)量身打造，以滿足其對(duì)高性能互聯(lián)的嚴(yán)苛需求。我們的產(chǎn)品線豐富而全面，涵蓋了面向不同層次互聯(lián)需求的關(guān)鍵產(chǎn)品，如面向北向Scale out網(wǎng)絡(luò)的AI原生智能網(wǎng)卡、面向南向Scale up網(wǎng)絡(luò)的GPU片間互聯(lián)芯粒、以及面向芯片內(nèi)算力擴(kuò)展的2.5D/3D IO Die和UCIe Die2Die IP等。這些產(chǎn)品共同構(gòu)成了全鏈路互聯(lián)解決方案，為AI計(jì)算提供了堅(jiān)實(shí)的支撐。

奇異摩爾的核心團(tuán)隊(duì)匯聚了來(lái)自全球半導(dǎo)體行業(yè)巨頭如NXP、Intel、Broadcom等公司的精英，他們憑借豐富的AI互聯(lián)產(chǎn)品研發(fā)和管理經(jīng)驗(yàn)，致力于推動(dòng)技術(shù)創(chuàng)新和業(yè)務(wù)發(fā)展。團(tuán)隊(duì)擁有超過50個(gè)高性能網(wǎng)絡(luò)及Chiplet量產(chǎn)項(xiàng)目的經(jīng)驗(yàn)，為公司的產(chǎn)品和服務(wù)提供了強(qiáng)有力的技術(shù)保障。我們的使命是支持一個(gè)更具創(chuàng)造力的芯世界，愿景是讓計(jì)算變得簡(jiǎn)單。奇異摩爾以創(chuàng)新為驅(qū)動(dòng)力，技術(shù)探索新場(chǎng)景，生態(tài)構(gòu)建新的半導(dǎo)體格局，為高性能AI計(jì)算奠定穩(wěn)固的基石。