這是 解釋 Magnum IO 系列的第三篇文章，目的是描述現(xiàn)代數(shù)據(jù)中心的IO子系統(tǒng)Magnum IO的體系結(jié)構(gòu)、組件和優(yōu)點。

本系列中的 第一個崗位 介紹了 Magnum IO 體系結(jié)構(gòu)；將其定位在更廣泛的 CUDA 、 CUDA -X 和垂直應(yīng)用程序域中；并列出了體系結(jié)構(gòu)的四個主要組件。 第二崗位 深入研究了 Magnum IO 的網(wǎng)絡(luò) IO 組件。第三篇文章涵蓋了兩個較短的領(lǐng)域：網(wǎng)絡(luò)適配器或交換機中的計算和 IO 管理。無論您是對 InfiniBand 還是以太網(wǎng)感興趣， NVIDIA Mellanox 解決方案都涵蓋了您。

HDR 200G InfiniBand 和 NDR 400G ，下一代網(wǎng)絡(luò)

InfiniBand 是 AI 超級計算的理想互連選擇。根據(jù) 2020 年 11 月的 500 強超級計算機排行榜，全球前 10 強超級計算機中有 8 臺正在使用它，前 100 強中有 60 臺正在使用它。 InfiniBand 還加速了綠色 500 強超級計算機的速度。作為一種基于標準的互連， InfiniBand 享受著不斷開發(fā)的新功能，以實現(xiàn)更高的應(yīng)用程序性能和可擴展性。

InfiniBand 技術(shù)基于四個主要基礎(chǔ)：

一種端點，可以在網(wǎng)絡(luò)級別執(zhí)行和管理所有網(wǎng)絡(luò)功能，從而增加 CPU 或 GPU 時間，專門用于實際應(yīng)用程序。 由于端點位于 CPU / GPU 內(nèi)存附近，因此它還可以有效地管理內(nèi)存操作，例如使用 RDMA 、 GPUDirect RDMA 和 GPUDirect 存儲。

一種基于純軟件定義網(wǎng)絡(luò)（ SDN ）的、按規(guī)模設(shè)計的交換網(wǎng)絡(luò)。 例如， InfiniBand 交換機不需要每個交換機設(shè)備中都有嵌入式服務(wù)器來管理交換機和運行其操作系統(tǒng)。這使得 InfiniBand 成為與其他網(wǎng)絡(luò)相比性價比領(lǐng)先的網(wǎng)絡(luò)結(jié)構(gòu)。簡單的交換機架構(gòu)為其他技術(shù)創(chuàng)新留下了空間，例如在網(wǎng)絡(luò)計算中，在數(shù)據(jù)通過網(wǎng)絡(luò)傳輸時對其進行操作。一個重要的例子是可伸縮的層次聚合和歸約協(xié)議（ SHARP ）技術(shù)，它已經(jīng)證明了科學(xué)和深度學(xué)習(xí)應(yīng)用框架的巨大性能改進。

從一個地方集中管理整個 InfiniBand 網(wǎng)絡(luò)。 您可以使用通用的 IB 交換機構(gòu)建塊設(shè)計和構(gòu)建任何類型的網(wǎng)絡(luò)拓撲，并為其目標應(yīng)用程序定制和優(yōu)化數(shù)據(jù)中心網(wǎng)絡(luò)。不需要為網(wǎng)絡(luò)的不同部分創(chuàng)建不同的交換機配置，也不需要處理多種復(fù)雜的網(wǎng)絡(luò)算法。 InfiniBand 的創(chuàng)建是為了提高性能和減少運營成本。

前后兼容。 InfiniBand 是帶有開放 API 的開源軟件。

在 SuperComputing 20 上， NVIDIA 宣布了第七代 NVIDIA Mellanox InfiniBand 架構(gòu)，其特點是 NDR 400Gb / s （每車道 100 Gb / s ） InfiniBand 。這使人工智能開發(fā)人員和科研人員能夠以最快的網(wǎng)絡(luò)性能應(yīng)對世界上最具挑戰(zhàn)性的問題。圖 1 顯示 InfiniBand 繼續(xù)使用 NDR InfiniBand 設(shè)置性能記錄：

每端口帶寬為 400Gb / s ，數(shù)據(jù)傳輸速率提高 2 倍。

4 倍的消息傳遞接口（ MPI ）性能，適用于所有對所有操作，新的網(wǎng)絡(luò)計算加速引擎適用于所有對所有操作。

更高的交換機基數(shù)，支持 64 個 400Gb / s 端口或 128 個 200Gb / s 端口。更高的基數(shù)可以在三跳 Dragonfly +網(wǎng)絡(luò)拓撲中構(gòu)建連接超過一百萬個節(jié)點的低延遲網(wǎng)絡(luò)拓撲。

最大的高性能交換機系統(tǒng)，基于無阻塞、兩層胖樹拓撲設(shè)計，提供 2048 個 400Gb / s 端口或 4096 個 200Gb / s 端口，共 1 。 6petabit 的雙向數(shù)據(jù)吞吐量。

通過夏普技術(shù)提高了人工智能網(wǎng)絡(luò)加速，使網(wǎng)絡(luò)中的大型消息縮減操作的容量提高了 32 倍。

圖 1 。 NDR 400Gb / s InfiniBand 生成中的網(wǎng)絡(luò)改進。

高速以太網(wǎng)： 200G 和 400G 以太網(wǎng)

以太網(wǎng)和 InfiniBand 各有其獨特的優(yōu)勢。 NVIDIA Mellanox 用這對溶液覆蓋堿基。有幾種情況下，客戶首選基于以太網(wǎng)的解決方案。有些存儲系統(tǒng)只能使用以太網(wǎng)。人們對安全性越來越感興趣，現(xiàn)有的協(xié)議是 IPSec ，這在 InfiniBand 上是不可用的。精確時間協(xié)議（ PTP ）用于以亞微秒的粒度在整個網(wǎng)絡(luò)中同步時鐘，例如用于高頻交易。在許多情況下，基于以太網(wǎng)的編排和資源調(diào)配工具、監(jiān)控安全性、性能調(diào)優(yōu)、法規(guī)遵從性或技術(shù)支持的分析工具方面的長期專業(yè)知識是推動客戶選擇的原因，而不是其他成本或性能問題。

以太網(wǎng)和 InfiniBand 解決方案都與廣泛關(guān)注的最佳實踐工具（如 sFlow 和 NetFlow 網(wǎng)絡(luò)監(jiān)控和分析解決方案）以及自動化工具（如 Ansible 、 Puppet 和 SaltStack ）進行互操作。

以太網(wǎng)已經(jīng)變得無處不在，部分原因是它被認為易于配置和管理。但是， GPUDirect RDMA 和 GPUDirect Storage over Ethernet 要求將網(wǎng)絡(luò)結(jié)構(gòu)配置為支持 RDMA over Converged Ethernet （ RoCE ）。在大多數(shù)網(wǎng)絡(luò)供應(yīng)商的設(shè)備上， RoCE 的配置和管理非常復(fù)雜。 NVIDIA Mellanox 以太網(wǎng)交換機通過使用單個命令啟用 RoCE 以及提供 RoCE 特定的可見性和故障排除功能，消除了這種復(fù)雜性。

NVIDIA Mellanox 以太網(wǎng)交換機現(xiàn)在的運行速度高達 400 Gb / s ，提供了最高級別的性能，因為它們提供了市場上所有以太網(wǎng)交換機中最低的延遲數(shù)據(jù)包轉(zhuǎn)發(fā)。 NVIDIA Mellanox 以太網(wǎng)交換機還提供獨特的擁塞避免創(chuàng)新，為基于 RoCE 的工作負載提供應(yīng)用程序級性能優(yōu)勢：

圖 2 。 NVIDIA 配置了 RoCE 的 Mellanox 交換機在應(yīng)用程序被交換機阻塞期間的暫停時間可以忽略不計，而其他供應(yīng)商的解決方案可能會有隨時間變化的顯著延遲。

以太網(wǎng)交換機已被證明具有可擴展性，世界上所有最大的數(shù)據(jù)中心都使用簡單且易于理解的葉和脊拓撲結(jié)構(gòu)運行純以太網(wǎng)結(jié)構(gòu)。來自 NVIDIA 的以太網(wǎng)結(jié)構(gòu)易于自動化， NVIDIA 提供的交鑰匙 產(chǎn)品就緒自動化工具 免費提供并發(fā)布在 GitHub 上。

NVIDIA 的高速以太網(wǎng)交換機目前提供 100GbE 、 200GbE 甚至 400GbE 的速度，以實現(xiàn)基于以太網(wǎng)的存儲和 GPU 連接的最高性能。

網(wǎng)絡(luò)計算中的 InfiniBand

在網(wǎng)絡(luò)計算引擎中，指位于網(wǎng)絡(luò)適配器或交換機的數(shù)據(jù)路徑上的預(yù)先配置的計算引擎。這些引擎可以在網(wǎng)絡(luò)內(nèi)傳輸數(shù)據(jù)時處理數(shù)據(jù)或?qū)?shù)據(jù)執(zhí)行預(yù)定義的算法任務(wù)。這類引擎的兩個例子是硬件 MPI 標記匹配和 InfiniBand SHARP 。

硬件標簽匹配引擎

MPI 標準允許基于嵌入在消息中的標記來接收匹配的消息。處理每條消息以評估其標記是否符合感興趣的條件既耗時又浪費時間。

MPI 發(fā)送/接收操作需要匹配的源和目標消息參數(shù)才能將數(shù)據(jù)傳遞到正確的目標。匹配的順序必須遵循發(fā)送和接收的發(fā)布順序。提供高效標記匹配支持的關(guān)鍵挑戰(zhàn)包括：

管理標記匹配所需的元數(shù)據(jù)。

制作數(shù)據(jù)的臨時副本以最小化標記匹配和數(shù)據(jù)傳遞之間的延遲。

跟蹤未匹配的已過帳接收。

處理意外消息到達。

重疊標簽匹配和相關(guān)的數(shù)據(jù)傳遞與正在進行的計算。

支持異步、基于硬件的標記匹配和數(shù)據(jù)傳遞是 ConnectX-6 （或更高版本）網(wǎng)絡(luò)適配器的一部分?；诰W(wǎng)絡(luò)硬件的標記匹配減少了多個 MPI 操作的延遲，同時也增加了 MPI 計算和通信之間的重疊（圖 3 和圖 4 ）。

圖 3 。俄亥俄大學(xué) MVAPICH 團隊在德克薩斯州高級計算中心 Frontera 超級計算機上演示了網(wǎng)絡(luò)計算標記匹配的加速。

圖 4 。 InfiniBand 在網(wǎng)絡(luò)計算標記匹配引擎中的應(yīng)用程序性能結(jié)果，在德克薩斯高級計算中心 Frontera 超級計算機上進行了測試。測試由 OSU MVAPICH 團隊完成。

SHARP ：可擴展的分層聚合和歸約協(xié)議

NVIDIA Mellanox InfiniBand SHARP 通過在穿越網(wǎng)絡(luò)時處理數(shù)據(jù)聚合和還原操作，提高了集合操作的性能，消除了在端點之間多次發(fā)送數(shù)據(jù)的需要。這種創(chuàng)新的方法不僅減少了通過網(wǎng)絡(luò)的數(shù)據(jù)量，而且提供了額外的好處，包括釋放寶貴的 CPU 資源用于計算，而不是用它們來處理通信開銷。它還以異步方式進行此類通信，與主機處理狀態(tài)無關(guān)。

如果沒有 SHARP ，數(shù)據(jù)必須從每個端點發(fā)送到交換機，返回到計算集合的端點，返回到交換機，然后返回到端點。這是四個遍歷步驟。使用 SHARP 時，集合操作發(fā)生在交換機中，因此遍歷步驟的數(shù)量減少了一半：從端點到交換機，再返回。這使得這種集體操作的帶寬提高了 2 倍， MPI allreduce 延遲降低了 7 倍（圖 5 ）。當(dāng)然，吞吐量需求開銷也會從 CPU 或 GPU 中除去，否則這些開銷將用于計算。

支持的操作：

浮點數(shù)據(jù)： barrier 、 reduce 、 allreduce 、 broadcast 、 gather 和 allgather

有符號和無符號整數(shù)數(shù)據(jù)：大小為 64 、 32 和 16 位的操作數(shù)

支持的縮減操作： sum 、 min 、 max 、 minloc 、 maxloc 和按位 and 、 OR 和 XOR 。

SHARP 技術(shù)集成在大多數(shù)開源和商業(yè) MPI 軟件包以及 OpenSHMEM 、 NCCL 和其他 IO 框架中。

圖 5 。加速網(wǎng)絡(luò)計算夏普技術(shù)：提高 NCCL 所有吞吐量和減少 MPI 延遲。

InfiniBand 和以太網(wǎng) IO 管理

雖然提高性能是最終用戶的興趣所在，而清晰的體系結(jié)構(gòu)有助于開發(fā)人員，但 IO 管理對于您作為管理員和所服務(wù)的最終用戶來說至關(guān)重要。 NVIDIA Mellanox NetQ 和 UFM 管理平臺使 IT 經(jīng)理能夠輕松配置、管理和優(yōu)化其以太網(wǎng)連接數(shù)據(jù)中心（ NetQ ）或 InfiniBand 連接數(shù)據(jù)中心（ UFM ）操作。

以太網(wǎng) NetQ

圖 6 。 NetQ 在以太網(wǎng)中增加了監(jiān)控平面。

NVIDIA Mellanox 網(wǎng)絡(luò)電話 是一個高度可擴展的現(xiàn)代網(wǎng)絡(luò)操作工具集，可實時提供開放以太網(wǎng)的可見性、故障排除和生命周期管理。 NetQ 提供了關(guān)于數(shù)據(jù)中心和校園以太網(wǎng)健康狀況的可操作的見解和操作智能，從容器或主機一直到交換機和端口，支持 NetDevOps 方法。 NetQ 是領(lǐng)先的以太網(wǎng)網(wǎng)絡(luò)操作工具，它使用遙測技術(shù)從單個 GUI 界面進行深層次的故障排除、可見性和自動化工作流，減少維護和網(wǎng)絡(luò)停機時間。

NetQ 還可以作為一種安全的云服務(wù)提供，這使得安裝、部署和擴展網(wǎng)絡(luò)更加容易?；谠频?NetQ 部署提供了即時升級、零維護和最小化設(shè)備管理工作。

通過添加完整的生命周期管理功能， NetQ 將輕松升級、配置和部署網(wǎng)絡(luò)元素的能力與一整套操作功能結(jié)合起來，如可見性、故障排除、驗證、跟蹤和比較回溯功能。

NetQ 包括 Mellanox What Just ochapped （ WJH ）先進的流式遙測技術(shù)，它通過提供異常網(wǎng)絡(luò)行為的可操作細節(jié)，超越了傳統(tǒng)的遙測解決方案。傳統(tǒng)的解決方案試圖通過分析網(wǎng)絡(luò)計數(shù)器和統(tǒng)計數(shù)據(jù)包采樣來推斷網(wǎng)絡(luò)問題的根本原因。 WJH 消除了網(wǎng)絡(luò)故障排除中的猜測。

WJH 解決方案利用 NVIDIA Mellanox Spe CTR um 系列以太網(wǎng)交換機 ASIC 內(nèi)置的獨特硬件功能，以比基于軟件或固件的解決方案更快的多 TB 速度檢查數(shù)據(jù)包。 WJH 可以幫助診斷和修復(fù)數(shù)據(jù)中心網(wǎng)絡(luò)，包括軟件問題。 WJH 以線速率檢查所有端口上的數(shù)據(jù)包，其速度超過了傳統(tǒng)的深度數(shù)據(jù)包檢查（ DPI ）解決方案。 WJH 為您節(jié)省了數(shù)小時的計算機軟件故障排除、維護和維修現(xiàn)場技術(shù)支持服務(wù)。

InfiniBand 統(tǒng)一結(jié)構(gòu)管理器

圖 7 。 InfiniBand Unified Fabric Manager 的主要功能。

NVIDIA Mellanox InfiniBand Unified Fabric Manager UFM 平臺徹底改變了數(shù)據(jù)中心網(wǎng)絡(luò)管理。通過將增強的實時網(wǎng)絡(luò)遙測與 AI 支持的網(wǎng)絡(luò)智能和分析相結(jié)合， UFM 平臺使 IT 經(jīng)理能夠發(fā)現(xiàn)運行異常并預(yù)測網(wǎng)絡(luò)故障，以進行預(yù)防性維護。

UFM 平臺包括多個級別的解決方案和功能，以滿足數(shù)據(jù)中心的需求和要求。在基礎(chǔ)層面， UFM 遙測平臺提供網(wǎng)絡(luò)驗證工具，并監(jiān)控網(wǎng)絡(luò)性能和狀況。例如，它捕獲豐富的實時網(wǎng)絡(luò)遙測信息、工作負載使用數(shù)據(jù)和系統(tǒng)配置，然后將其流式傳輸?shù)揭讯x的內(nèi)部部署或基于云的數(shù)據(jù)庫以供進一步分析。

中端 UFM 企業(yè)平臺增加了增強的網(wǎng)絡(luò)監(jiān)視、管理、工作負載優(yōu)化和定期配置檢查。除了包括所有 UFM 遙測服務(wù)外，它還提供網(wǎng)絡(luò)設(shè)置、連接驗證和安全電纜管理功能、自動網(wǎng)絡(luò)發(fā)現(xiàn)和網(wǎng)絡(luò)供應(yīng)、流量監(jiān)控和擁塞發(fā)現(xiàn)。 UFM Enterprise 還支持作業(yè)調(diào)度器配置和與 Slurm 或 Platform LSF 的集成，以及與 OpenStack 、 Azure 云和 VMware 的網(wǎng)絡(luò)配置和集成。

增強型 UFM 網(wǎng)絡(luò)人工智能平臺包括所有 UFM 遙測和 UFM 企業(yè)服務(wù)。網(wǎng)絡(luò)人工智能平臺的獨特優(yōu)勢在于，隨著時間的推移，它能夠捕獲豐富的遙測信息，并使用深度學(xué)習(xí)算法。平臺學(xué)習(xí)數(shù)據(jù)中心的“心跳”、操作模式、條件、使用情況和工作負載網(wǎng)絡(luò)特征。它建立了一個增強的遙測信息數(shù)據(jù)庫，并發(fā)現(xiàn)事件之間的相關(guān)性。它檢測性能下降、使用情況和配置文件隨時間的變化，并提供異常系統(tǒng)和應(yīng)用程序行為以及潛在系統(tǒng)故障的警報。它還可以執(zhí)行糾正措施。

網(wǎng)絡(luò)人工智能平臺可以轉(zhuǎn)換和關(guān)聯(lián)數(shù)據(jù)中心心跳的變化，以指示未來性能下降或數(shù)據(jù)中心計算資源的異常使用。這種變化和相關(guān)性觸發(fā)預(yù)測分析，并啟動警報，指示異常的系統(tǒng)和應(yīng)用程序行為，以及潛在的系統(tǒng)故障。系統(tǒng)管理員可以快速檢測和響應(yīng)此類潛在的安全威脅，并以有效的方式解決即將發(fā)生的故障，從而節(jié)省運營成本并維護最終用戶 SLA 。隨著時間的推移，通過收集額外的系統(tǒng)數(shù)據(jù)，可預(yù)測性得到了優(yōu)化。

關(guān)于作者

CJ Newburn 是 NVIDIA 計算軟件組的首席架構(gòu)師，他領(lǐng)導(dǎo) HPC 戰(zhàn)略和軟件產(chǎn)品路線圖，特別關(guān)注系統(tǒng)和規(guī)模編程模型。 CJ 是 Magnum IO 的架構(gòu)師和 GPU Direct Storage 的聯(lián)合架構(gòu)師，與能源部領(lǐng)導(dǎo) Summit Dev 系列產(chǎn)品，并領(lǐng)導(dǎo) HPC 容器咨詢委員會。在過去的 20 年里， CJ 為硬件和軟件技術(shù)做出了貢獻，擁有 100 多項專利。他是一個社區(qū)建設(shè)者，熱衷于將硬件和軟件平臺的核心功能從 HPC 擴展到 AI 、數(shù)據(jù)科學(xué)和可視化。在卡內(nèi)基梅隆大學(xué)獲得博士學(xué)位之前， CJ 曾在幾家初創(chuàng)公司工作過，致力于語音識別器和 VLIW 超級計算機。他很高興能為他媽媽使用的批量產(chǎn)品工作。

Kushal Datta 是 Magnum IO 的產(chǎn)品負責(zé)人，專注于加速多 GPU 系統(tǒng)上的 AI 、數(shù)據(jù)分析和 HPC 應(yīng)用程序。他的興趣包括創(chuàng)建新的工具和方法，以提高復(fù)雜人工智能和大規(guī)模系統(tǒng)上的科學(xué)應(yīng)用的總掛鐘時間。他發(fā)表了 20 多篇學(xué)術(shù)論文、多篇白皮書和博客文章。他擁有五項美國專利。他在北卡羅來納大學(xué)夏洛特分校獲得歐洲經(jīng)委會博士學(xué)位，并在印度賈達夫普爾大學(xué)獲得計算機科學(xué)學(xué)士學(xué)位。

Gilad Shainer 擔(dān)任 NVIDIA Mellanox networking 的營銷高級副總裁，專注于高性能計算、人工智能和 InfiniBand 技術(shù)。吉拉德于 2001 年加入梅蘭諾克斯公司，擔(dān)任設(shè)計工程師，之后自 2005 年起擔(dān)任高級營銷管理職務(wù)。他是 HPC-AI 咨詢委員會組織的主席、 UCF 和 CCIX 聯(lián)合會的主席、 IBTA 的成員以及 PCISIG PCI-X 和 PCIe 規(guī)范的貢獻者。他在高速網(wǎng)絡(luò)領(lǐng)域擁有多項專利。他因?qū)W(wǎng)絡(luò)計算技術(shù)的核心直接貢獻獲得了 2015 年 R & D100 獎，并因?qū)y(tǒng)一通信 X （ UCX ）技術(shù)的貢獻獲得了 2019 年 R & D100 獎。吉拉德?lián)碛幸陨欣砉W(xué)院電氣工程碩士學(xué)位和理學(xué)學(xué)士學(xué)位。

David Iles 是 NVIDIA 的以太網(wǎng)交換高級主管。 Iles 先生曾在 3COM 、 Cisco Systems 、 Nortel Networks 和 IBM 擔(dān)任領(lǐng)導(dǎo)職務(wù)，在那里他推廣先進的網(wǎng)絡(luò)技術(shù)，包括高速以太網(wǎng)、 4-7 層交換、支持虛擬機的網(wǎng)絡(luò)和軟件定義的網(wǎng)絡(luò)。作為一名終身技術(shù)專家， David 發(fā)明了新的方法來測試 4-7 層交換機的性能，并在數(shù)據(jù)中心網(wǎng)絡(luò)方面貢獻了多項專利。

審核編輯：郭婷