一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫(xiě)文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

Magnum IO存儲(chǔ)合作伙伴關(guān)系和最新成果分享

星星科技指導(dǎo)員 ? 來(lái)源:NVIDIA ? 作者:NVIDIA ? 2022-04-10 11:08 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

我們鼓勵(lì)您基于目前通用的產(chǎn)品部署生產(chǎn)解決方案,并考慮將新出現(xiàn)的解決方案納入下一代系統(tǒng)。 GPU Direct Storage 現(xiàn)已在 v1.0 版中全面提供,更多的供應(yīng)商合作伙伴正在將支持 GDS 的產(chǎn)品轉(zhuǎn)移到 GA 狀態(tài)。還有一系列案例研究,涵蓋存儲(chǔ)框架、深度學(xué)習(xí)、地震、數(shù)據(jù)分析和數(shù)據(jù)庫(kù)。

隨著 AI 、 ML 和 HPC 應(yīng)用程序的計(jì)算從 CPU 轉(zhuǎn)移到更快的 GPU ,輸入輸出 GPU 的 IO 可能成為整體應(yīng)用程序性能的主要瓶頸。

NVIDIA 創(chuàng)建了 Magnum IO GPU 直接存儲(chǔ)( GDS ),以簡(jiǎn)化存儲(chǔ)和 GPU 內(nèi)存之間的數(shù)據(jù)移動(dòng),并消除平臺(tái)中的性能瓶頸,例如被迫通過(guò) CPU 內(nèi)存中的緩沖區(qū)存儲(chǔ)和轉(zhuǎn)發(fā)數(shù)據(jù)。

GDS 通過(guò)在本地 NVMe 存儲(chǔ)或 NIC 后面的遠(yuǎn)程存儲(chǔ)和 GPU 內(nèi)存之間啟用直接內(nèi)存訪問(wèn)( DMA ),提高了帶寬,減少了延遲,減輕了 CPU 利用率的負(fù)擔(dān)。從 DGX 平臺(tái)上的 GDS 本身的深度學(xué)習(xí)推理、數(shù)據(jù)分析可視化和視頻分析中分別觀察到 2 。 5x 、 8x 和 9x 的性能優(yōu)勢(shì)。

要在部署的平臺(tái)范圍內(nèi)加速各種各樣的客戶應(yīng)用程序和框架,需要一系列合作關(guān)系。我們的目標(biāo)是實(shí)現(xiàn)整個(gè)豐富的數(shù)據(jù)存儲(chǔ)生態(tài)系統(tǒng),該生態(tài)系統(tǒng)由近 180 家軟件和硬件供應(yīng)商以及 2500 多個(gè)貢獻(xiàn)者組成。有關(guān)更多信息,請(qǐng)參閱SNIA網(wǎng)站。

本文概述了 GDS 合作生態(tài)系統(tǒng),并分享了我們合作伙伴的最新成果。

GDS 生態(tài)系統(tǒng)

NVIDIA 尋求一個(gè)開(kāi)放的生態(tài)系統(tǒng),與供應(yīng)商、框架開(kāi)發(fā)人員和最終客戶建立越來(lái)越多的合作伙伴關(guān)系。自 GPU Direct Storage 的 1 。 0 產(chǎn)品發(fā)布以來(lái),合作伙伴供應(yīng)商的生態(tài)系統(tǒng)已經(jīng)發(fā)展,如表 1 所示。

每個(gè)類(lèi)別中的項(xiàng)目按時(shí)間順序排列。尚未發(fā)布的項(xiàng)目和正在開(kāi)發(fā)的項(xiàng)目均為斜體。以黃色突出顯示的項(xiàng)目具有自本系列最后一篇 GDS 文章發(fā)布以來(lái)的新數(shù)據(jù)。

Vendor partnersFrameworks and applicationsSystems software

File systems

– DDN EXAScaler

– Weka FS

– VAST NFSoRDMA

– EXT4 via NVMe or NVMoF drivers from MLNX_OFED

– IBM Spectrum Scale (GPFS)

– DELL Technologies PowerScale

– NetApp/SFW/BeeGFS

– NetApp/NFS

– HPE Cray ClusterStor Lustre

Block systems

– Excelero

– ScaleFlux smart storageStorage

-HDF5

ADIOS

– OMPIO

Deep learning

– PyTorch

– MXNet

Data analytics

– cuDF

– DALI

– Spark

– cuSIM/Clara

– NVTabular

Databases

– HeteroDB for PostgreSQL acceleration

Visualization

– IndeX– Ubuntu 18.04

– Ubuntu 20.04

– RHEL 8.3

– RHEL 8.4

– DGX BaseOS

Compatibility mode only:

– Debian 10

– RHEL7.9

– CentOS 7.9

– Ubuntu 18.04 (desktop)

– Ubuntu 20.04 (desktop)

– SLES 15.2

– OpenSUSE 15.2

Contributions to a repoSystems vendorsMedia vendors

Readers

– Serial HDF5

– IOR Containers

– PyTorch/DALI Samples

– Transparent threading

– Buffer agnostic– Dell

– Hitachi

– HPE

– IBM

– Liqid

– Pavilion– Kioxia

– Micron

– Samsung

– Western Digital

表 1 。 GPU 直接存儲(chǔ)生態(tài)系統(tǒng)中的產(chǎn)品

供應(yīng)商合作伙伴

我們有幾種不同類(lèi)型的供應(yīng)商合作伙伴,他們的產(chǎn)品具有不同的成熟度。供應(yīng)商合作伙伴分為兩類(lèi):直接參與 GDS 軟件支持的合作伙伴和提供系統(tǒng)和組件解決方案的合作伙伴。

GDS 支持合作伙伴全面提供

本節(jié)涵蓋了那些積極地使英偉達(dá) GPU 直接存儲(chǔ)到他們擁有的軟件棧中的合作伙伴,滿足 NVIDIA 基本功能和性能標(biāo)準(zhǔn),并將其集成到一般可用性的生產(chǎn)解決方案中。

DDN 將 GDS 集成到基于 Lustre 的 EXAScaler 并行文件系統(tǒng)中。他們正在與社區(qū)合作,將 GDS 支持上游到開(kāi)源發(fā)行版。

Dell Power Scale 是 NFS 的優(yōu)化實(shí)現(xiàn)。

IBM Spectrum Scale ,以前稱(chēng)為 GPFS ,是 HPC 、數(shù)據(jù)和 AI 中廣泛使用的分布式并行文件系統(tǒng)。

龐大的并行分布式文件系統(tǒng)開(kāi)創(chuàng)了通過(guò) RDMA ( NFSoRDMA )提供多路徑 NFS 的先河。 VAST 還使 nconnect 中 NFSoRDMA 中的 GDS 在將來(lái)的上游版本中可用。

Weka 將 GDS 集成到自己的 Weka FS 并行分布式文件系統(tǒng)中。

解決方案和組件提供商全面提供

一些供應(yīng)商對(duì) GDS 的支持處于通用可用性級(jí)別。一些供應(yīng)商提供軟件解決方案,對(duì)代碼進(jìn)行更改以啟用 GDS ,而其他供應(yīng)商則是已經(jīng)或?qū)⒁褂?GDS 的組件或系統(tǒng)供應(yīng)商。

提供硬件或 GDS 特性數(shù)據(jù)的供應(yīng)商

NVIDIA 與我們的 NPN 和 GPU 直接存儲(chǔ)合作伙伴密切合作,以鑒定 GDS 的全部功能。他們還使用硬件和軟件解決方案,結(jié)合 NVIDIA 帶來(lái)的最佳 GPU 加速技術(shù),量化測(cè)量的性能增益。這些措施包括:。

使用其他支持 GDS 的解決方案(如 MLNX _ OFED 中提供的解決方案)提供完整端到端解決方案的系統(tǒng)供應(yīng)商合作伙伴包括:

數(shù)字?jǐn)?shù)據(jù)網(wǎng)

戴爾科技

惠普企業(yè)

國(guó)際商用機(jī)器公司

亭閣

巨大的

與我們合作最密切的組件供應(yīng)商包括:

基奧西亞

微米

桑孫

標(biāo)度通量

表達(dá)興趣的供應(yīng)商

對(duì) GDS 表示強(qiáng)烈興趣的其他供應(yīng)商包括:

日立

輕盈

西部數(shù)字

開(kāi)發(fā)中的 GDS 支持合作伙伴

有些合作伙伴的產(chǎn)品可供您評(píng)估,但尚未達(dá)到全面可用的成熟期:

BeeGFS 并行分布式文件系統(tǒng)是 HPC 中常用的文件系統(tǒng)。 System Fabric Works 一直在與 NetApp 合作為 BeeGFS 啟用 GDS 。

Excelero NVMesh 將任何網(wǎng)絡(luò)上的 NVMe 驅(qū)動(dòng)器轉(zhuǎn)換為支持任何本地或分布式文件系統(tǒng)的企業(yè)級(jí)受保護(hù)共享存儲(chǔ)。

HPE 促成了 Cray ClusterStor E1000 Storage System中使用的支持 GDS 的 Lustre 并行分布式文件系統(tǒng)代碼的升級(jí)。

NetApp 目前正在致力于啟用服務(wù)器端 NFSoRDMA ,因此他們可以利用其他人在客戶端啟用 NFS 的 GDS 。

具有 GDS 的供應(yīng)商證明點(diǎn)

自 NVIDIA 發(fā)布last GDS post以來(lái),已有幾項(xiàng)新數(shù)據(jù)的開(kāi)發(fā)。我們?cè)谶@篇文章中分享了其中的一個(gè)示例,作為證明 GPU 直接存儲(chǔ)的好處和通用性的證據(jù)。

配置

GDS 可以通過(guò)跳過(guò)各種平臺(tái)上的 CPU 跳出緩沖區(qū)來(lái)增加價(jià)值,無(wú)論是 NVIDIA 的 DGX 系統(tǒng)還是第三方 OEM 平臺(tái)。如前一篇文章Accelerating IO in the Modern Data Center: Magnum IO Storage所述,當(dāng) NIC PCIe 交換機(jī) – GPU 數(shù)據(jù)路徑不經(jīng)過(guò) CPU 就可用時(shí), GDS 可用的理論峰值帶寬有 2 倍的差異,盡管實(shí)際增益可能要大得多。

在 DGX 中,某些 NIC 插槽的數(shù)據(jù)路徑必須經(jīng)過(guò) CPU ,而對(duì)于其他插槽,直接 NIC PCIe 交換機(jī) GPU 路徑可繞過(guò) CPU 。圖 2 顯示了 DGX A100 背面的標(biāo)記圖片。

pYYBAGJSSjyAc74RAAG_xRDtqUs604.png

圖 2 。帶有標(biāo)記 NIC 插槽的 DGX A100 背面圖片。插槽 4 和 5 (傳統(tǒng)上連接到存儲(chǔ)網(wǎng)絡(luò))分別連接到 CPU 。插槽 0-3 和 6-9 分別連接到 PCIe 交換機(jī),與 GPU s 0-7 一樣。

有兩種配置可以在 DGX A100 上評(píng)估存儲(chǔ)性能。經(jīng)批準(zhǔn)的標(biāo)準(zhǔn)配置在插槽 4 和 5 中專(zhuān)用于連接到用戶管理平面和外部存儲(chǔ)平面的兩個(gè)“南北”(朝向數(shù)據(jù)中心邊緣) NIC ,以及在插槽 0-3 和 6-9 中專(zhuān)用于連接到節(jié)點(diǎn)間計(jì)算平面的八個(gè)“東西”(集群內(nèi)) NIC 。

我們正朝著使用八個(gè)東西方 NIC 訪問(wèn)高帶寬存儲(chǔ)的方向發(fā)展,從而在完成 QoS 評(píng)估之前創(chuàng)建一個(gè)聚合計(jì)算存儲(chǔ)平面?,F(xiàn)在,我們稱(chēng)之為實(shí)驗(yàn)的配置

以前提供的合作伙伴數(shù)據(jù)

自從第一次發(fā)布 GDS 后, NVIDIA 已經(jīng)公開(kāi)了其他供應(yīng)商的數(shù)據(jù)。其中包括來(lái)自 DDN EXAScaler 、 Pavilion NFSoRDMA 、 VAST NFSoRDMA 和 Weka FS 的數(shù)字。使用 DGX A100 上的實(shí)驗(yàn)性 8-NIC 配置,我們已經(jīng)看到供應(yīng)商提供的帶寬范圍為 152 到 178 GiB ( 186 GB / s )的 GDS 。如果沒(méi)有 GDS ,他們報(bào)告的帶寬范圍為 40-103 GiB / s 。

今后, NVIDIA 要求任何合作伙伴的 DGX 系統(tǒng)性能報(bào)告(包括 8-NIC 數(shù)據(jù))也應(yīng)包括兩個(gè)南北 NIC 的特性描述。這些數(shù)據(jù)還沒(méi)有全部出來(lái),所以這里沒(méi)有介紹。我們的政策是不在供應(yīng)商合作伙伴之間進(jìn)行直接性能比較。

以太網(wǎng)上的海量數(shù)據(jù)

以前在 InfiniBand 上報(bào)告了海量數(shù)據(jù)通用存儲(chǔ)。他們提供了一個(gè)單一(插槽 4 ) NIC 和 DGX A100 中的 1 GPU 的新結(jié)果,該 DGX A100 具有龐大的入門(mén)級(jí) 1 × 1 配置,使用以太網(wǎng)而不是 InfiniBand 。以太網(wǎng)顯示了完整的功能和相當(dāng)?shù)男阅堋膯蝹€(gè)鏈路實(shí)現(xiàn)超過(guò) 22 GiB / s 的速度接近最高性能。這表明,除了 InfiniBand 之外, GDS 同樣適用于以太網(wǎng)。

poYBAGJSSkKAMJVwAAEMtYuNzqY691.png

圖 3 。在 GDS v 上,插槽 4 中有 1 個(gè) NIC ,插槽 1 GPU 中有 1 個(gè) NIC ,以太網(wǎng)具有極高的讀取性能。 1 。 0 。 0 。 61 , 96 個(gè)螺紋,預(yù)取開(kāi)啟。帶寬優(yōu)勢(shì)高達(dá) 1 。 17 倍, CPU 利用率優(yōu)勢(shì)高達(dá) 6 。 4 倍。

IBM 頻譜規(guī)模

IBM Spectrum Scale (前身為 GPFS )的 GA 產(chǎn)品最近有了一個(gè)條目。在他們的配置中,一個(gè)運(yùn)行 IBM Spectrum Scale 5 。 1 。 1 的 ESS 3200 存儲(chǔ)文件服務(wù)器提供了 71 GiB / s ( 77 GB / s )。它通過(guò) 4 個(gè) HDR NIC 的 NIC 插槽 4 和 5 連接到兩個(gè)采用傳統(tǒng)存儲(chǔ)網(wǎng)絡(luò)配置的 DGX A100 。 IO 大小為 1MB 。通常情況下,絕對(duì)性能隨著使用的線程數(shù)的增加而提高(圖 4 )。與沒(méi)有 GDS 的情況相比, GDS 的相對(duì)改進(jìn)在線程數(shù)量方面仍然相當(dāng)穩(wěn)定,但在線程數(shù)量較少的情況下顯然是最好的。

pYYBAGJSSkeAEiAdAACIiKYzDfk248.png

圖 4 。 IBM Spectrum Scale 5 。 1 。 1 讀取性能,具有足夠( 2 )個(gè) DGX A100 盒,可使單個(gè) IBM ESS 3200 飽和。 GDS 收益超過(guò) 2 倍。

展館數(shù)據(jù)結(jié)果

Pavilion 為分布式并行文件系統(tǒng)、塊和對(duì)象接口提供存儲(chǔ)解決方案。它使用 NFSoRDMA 啟用 GDS 。 Pavilion Data 提供占用四個(gè)機(jī)架單元( RU )的存儲(chǔ)節(jié)點(diǎn),提供足夠的帶寬,其中兩個(gè)節(jié)點(diǎn)可以使四個(gè) DGX A100 上的兩個(gè) NIC 或單個(gè) DGX A100 上的八個(gè) NIC 達(dá)到飽和。圖 5 中的結(jié)果僅來(lái)自實(shí)驗(yàn)配置, Pavilion 軟件版本 2 執(zhí)行文件訪問(wèn)。

pYYBAGJSSk6ATKVYAAEWyzEJE-A243.png

圖 5 。 4RU Pavilion 存儲(chǔ)產(chǎn)品為 DGX A100 的一半提供高達(dá) 89 GiB / s 的 NFSoRDMA 讀取性能。 GDS 提供了 2 。 5 倍的帶寬和延遲優(yōu)勢(shì),同時(shí)將 CPU 利用率(如下所示的延遲)降低了 1 。 7 倍用于讀取,更多用于寫(xiě)入。在 8RU 中加倍到兩個(gè) Pavilion 節(jié)點(diǎn)應(yīng)線性縮放。

Liqid 結(jié)果

最近在 Liqid 系統(tǒng)上測(cè)量的性能表明,基于 PCIe 的 P2P 路徑比基于以太網(wǎng)/ InfiniBand 的 NVMe 更快。 GPU 和與 GDS 集成的 SSD 之間的 P2P 通信達(dá)到 2900K IOPS ,吞吐量提高了 16 倍。與非 GDS 路徑相比,延遲從 712 us 提高了 1 。 86 倍至 112 us (圖 6 )。

GPU 到 SSD 且禁用 P2P

poYBAGJSSleAGAIJAABK9H4oMkE519.png

吞吐量: 179K

IOPS 潛伏期: 712 us

GPU 到 SSD ,帶啟用 GDS 的 P2P

pYYBAGJSSlyACXpiAABNFbyMJwM546.png

吞吐量: 2900K

IOPS 潛伏期: 112 us

收集了三種不同配置的數(shù)據(jù):

配置 1 : GPU – 到 NVMe 。使用 Liqid 結(jié)構(gòu)連接同一 PCIe 結(jié)構(gòu)上的所有設(shè)備。

配置# 2 : GPU – 到 – CPU – 到 NVMe 。將 GPU 和 NVMe 驅(qū)動(dòng)器直接連接到 CPU 主板。

配置# 3 : GPU – 到的 NIC NVMe 。使用 GPU 到( CX-5 )的 NVMe 通過(guò)網(wǎng)絡(luò)訪問(wèn)遠(yuǎn)程 NVMe 。

以下是配置的詳細(xì)信息:

主板: AsROCK 機(jī)架 ROME8D-2T ,配備 AMD Epyc 7702p 、 512GB DDR4 2933

系統(tǒng)軟件: Ubuntu 服務(wù)器 20 。 04 。 2 , NVIDIA 驅(qū)動(dòng)程序版本 470 。 63 。 01 , CUDA 11 。 4

Liqid QD4500 配備 Phison E16 800GB 、 Gen4 PCIe 、運(yùn)行 Liqid v3 。 0 的 24 端口 Gen4 數(shù)據(jù)交換機(jī)( Astek )的 24 端口管理交換機(jī)( TOR )

NVIDIA A100 40GB , PCIe Gen4 與 LQS4500 位于同一 PCIe 交換機(jī)上

BIOS 設(shè)置 ACS = Off ,在 Liqid 中啟用 P2P 。

圖 6 。 GPU 和 SSD (或 NVMe 驅(qū)動(dòng)器)之間的點(diǎn)對(duì)點(diǎn)( P2P )通信通過(guò) GPU 直接存儲(chǔ)實(shí)現(xiàn)了幾個(gè)數(shù)量級(jí)的 IOPS 改進(jìn).GPU Liqid Matrix 擴(kuò)展機(jī)箱中的直接存儲(chǔ)支持 GPU 和 SSD 之間的直接 P2P 通信,實(shí)現(xiàn)了高達(dá) 1620% 的 IOPS 加速和 86% 的延遲改善。

InfiniBand 和以太網(wǎng)

雖然 Infiniband 在傳統(tǒng) HPC 系統(tǒng)中很受歡迎,但以太網(wǎng)在企業(yè)數(shù)據(jù)中心中有著廣泛的應(yīng)用。 GDS 在以太網(wǎng)和 IB 上無(wú)處不在。關(guān)鍵要求是底層系統(tǒng)和遠(yuǎn)程文件管理器支持 RDMA 。這在 RoCE 中是可能的。

那么,兩者之間的比較如何呢?以下是初步調(diào)查的一些結(jié)果。對(duì)通過(guò)擴(kuò)展網(wǎng)絡(luò)訪問(wèn)存儲(chǔ)的全面分析不在本文討論范圍之內(nèi),但對(duì)于那些希望就其網(wǎng)絡(luò)設(shè)計(jì)做出數(shù)據(jù)驅(qū)動(dòng)決策的人來(lái)說(shuō),這是值得鼓勵(lì)的。

poYBAGJSSmWAGK8SAADTxa29a_4473.png

圖 7 。對(duì)于 HDR 200 上的 InfiniBand ( IB )和 Ethernet ( EN ),在兩個(gè) NIC 上實(shí)現(xiàn)了對(duì) DDN AI400x 文件服務(wù)器的讀寫(xiě)帶寬,該帶寬是 IO 大小的函數(shù),并帶有單個(gè)中間交換機(jī)。

圖 7 顯示了在以下條件下帶寬隨 IO 大小變化的并排比較:

單個(gè) PCIe 樹(shù)中的兩個(gè) NIC 使用 InfiniBand 連接到一個(gè) DDN AI400x 文件服務(wù)器

單個(gè) PCIe 樹(shù)中的兩個(gè) NIC 使用以太網(wǎng)連接到同一 DDN AI400x 文件服務(wù)器

如您所見(jiàn), IB 和帶有 GDS 的以太網(wǎng)的性能相當(dāng), GDS 顯然是建立在 GPU 直接 RDMA 之上的。 IB 比以太網(wǎng)具有高達(dá) 1 。 17 倍的性能優(yōu)勢(shì),尤其是在性能最高且網(wǎng)絡(luò)速度差異最大的更大 IO 尺寸下。

社區(qū)光澤

不同的供應(yīng)商為 Lustre 的社區(qū)版本增加了自己的價(jià)值。但我們的一些客戶僅限于使用 OSS 社區(qū) Lustre 。他們還能在非專(zhuān)有解決方案中享受 GDS 的好處嗎?答案是肯定的!

與不使用 GDS 相比, GDS 的帶寬、延遲和 CPU 利用率增益都與其他啟用 GDS 的實(shí)現(xiàn)類(lèi)似??上螺d版本 2 。 15 的每個(gè)發(fā)行版本。今天就試試吧!

混搭

我們?cè)?NVIDIA 有一個(gè)實(shí)驗(yàn)集群,我們稱(chēng)之為 ForMIO (用于 Magnum IO ),因?yàn)樗糜谠u(píng)估和審查與 Magnum IO ( MIO )相關(guān)的各種技術(shù)。 DDN 和 Pavilion 慷慨地讓我們使用他們的設(shè)備進(jìn)行文件管理。媒體供應(yīng)商 Kioxia 、 Micron 和 Samsung 慷慨捐贈(zèng)了驅(qū)動(dòng)器來(lái)填充其中一些文件服務(wù)器。我們很興奮,因?yàn)檫@加快了對(duì) DL 框架和使用 GDS 的客戶應(yīng)用程序的評(píng)估。

我們做了一些瘋狂的嘗試,結(jié)果成功了!我們使用兩個(gè) HDR 200 NIC 將一個(gè) DDN AI400x 與 InfiniBand 連接起來(lái),一個(gè) DDN AI400s 與兩個(gè) HDR 200 NIC 的以太網(wǎng)連接起來(lái),八個(gè)本地 NVME 與一個(gè) DGX A100 連接起來(lái)。我們使用 GDSIO 性能評(píng)估工具對(duì)所有客戶進(jìn)行了測(cè)試。

圖 8 中的早期和未調(diào)整的結(jié)果顯示,存儲(chǔ)帶寬可以跨這些應(yīng)用程序組合,以向應(yīng)用程序提供帶寬。雖然我們?cè)趯?shí)踐中不一定推薦這一點(diǎn),但知道這是可能的還是很酷的。感謝 DDN 支持實(shí)現(xiàn)這一點(diǎn)。

在單個(gè) DGX A100 上分別(紅色、藍(lán)色、黃色)和同時(shí)(綠色)測(cè)量帶有 InfiniBand 的一個(gè) DDN AI400x (使用兩個(gè) HDR 200 NIC )、帶有以太網(wǎng)的一個(gè) DDN AI400s (使用兩個(gè) HDR 200 NIC )和八個(gè)本地 NVME 的性能。單個(gè)組件堆疊在每對(duì)的左側(cè)。當(dāng)它們都同時(shí)運(yùn)行時(shí),綠色條顯示性能。

在 GDS 的情況下,性能完全匹配,因?yàn)?GPU 目標(biāo)被仔細(xì)選擇為無(wú)干擾。在 CPU 中使用跳出緩沖區(qū)的非 GDS 情況下,進(jìn)出 CPU 的擁塞會(huì)抑制并發(fā)性能。這是一個(gè)巨大的不同。

poYBAGJSSmyAHXB9AAB41gEXMz8282.png

圖 8 。通過(guò) IB 在 2 個(gè) NIC 上實(shí)現(xiàn)了對(duì) DDN AI400x 的讀取帶寬,通過(guò)以太網(wǎng)在 2 個(gè) NIC 上實(shí)現(xiàn)了對(duì)不同 DDN AI400x 的讀取帶寬,以及 8 個(gè)本地 NVME 的讀取帶寬。分別和同時(shí)測(cè)量。

關(guān)于作者

CJ Newburn 是 NVIDIA 計(jì)算軟件組的首席架構(gòu)師,他領(lǐng)導(dǎo) HPC 戰(zhàn)略和軟件產(chǎn)品路線圖,特別關(guān)注系統(tǒng)和規(guī)模編程模型。 CJ 是 Magnum IO 的架構(gòu)師和 GPU Direct Storage 的聯(lián)合架構(gòu)師,與能源部領(lǐng)導(dǎo) Summit Dev 系列產(chǎn)品,并領(lǐng)導(dǎo) HPC 容器咨詢委員會(huì)。在過(guò)去的 20 年里, CJ 為硬件和軟件技術(shù)做出了貢獻(xiàn),擁有 100 多項(xiàng)專(zhuān)利。他是一個(gè)社區(qū)建設(shè)者,熱衷于將硬件和軟件平臺(tái)的核心功能從 HPC 擴(kuò)展到 AI 、數(shù)據(jù)科學(xué)和可視化。在卡內(nèi)基梅隆大學(xué)獲得博士學(xué)位之前, CJ 曾在幾家初創(chuàng)公司工作過(guò),致力于語(yǔ)音識(shí)別器和 VLIW 超級(jí)計(jì)算機(jī)。他很高興能為他媽媽使用的批量產(chǎn)品工作。

Kiran K. Modukuri 是 NVIDIA 的首席軟件工程師,負(fù)責(zé)加速 IO 管道。他是 GPU 直接存儲(chǔ)產(chǎn)品的聯(lián)合架構(gòu)師。在加入 NVIDIA 之前,他曾在 NetApp 擔(dān)任高級(jí)軟件工程師。他在亞利桑那大學(xué)獲得了計(jì)算機(jī)科學(xué)碩士學(xué)位。他在分布式文件系統(tǒng)和存儲(chǔ)技術(shù)方面擁有超過(guò) 15 年的經(jīng)驗(yàn)。

審核編輯:郭婷

聲明:本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • cpu
    cpu
    +關(guān)注

    關(guān)注

    68

    文章

    11080

    瀏覽量

    217062
  • NVIDIA
    +關(guān)注

    關(guān)注

    14

    文章

    5309

    瀏覽量

    106398
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    晶科儲(chǔ)能與METLEN集團(tuán)建立戰(zhàn)略合作伙伴關(guān)系

    晶科儲(chǔ)能(Jinko ESS)與希臘能源公司Metlen集團(tuán)簽署了具有里程碑意義的框架協(xié)議,正式確立了雙方在電網(wǎng)側(cè)儲(chǔ)能系統(tǒng)領(lǐng)域的戰(zhàn)略合作伙伴關(guān)系。該協(xié)議在Metlen集團(tuán)希臘雅典總部簽署,雙方將在智利和歐洲市場(chǎng)部署超過(guò)3吉瓦時(shí)的儲(chǔ)能項(xiàng)目。
    的頭像 發(fā)表于 06-25 17:58 ?401次閱讀

    德思特與es:saar正式建立合作伙伴關(guān)系

    2025年5月9日,德思特科技有限公司(以下簡(jiǎn)稱(chēng)“德思特”)與德國(guó)嵌入式系統(tǒng)專(zhuān)家es:saar GmbH正式達(dá)成合作伙伴關(guān)系。此次合作旨在將 es:saar 的先進(jìn)嵌入式開(kāi)發(fā)與測(cè)試工具引入中國(guó)及亞太市場(chǎng),助力本地客戶提升產(chǎn)品開(kāi)發(fā)效率與質(zhì)量。
    的頭像 發(fā)表于 05-29 17:41 ?178次閱讀
    德思特與es:saar正式建立<b class='flag-5'>合作伙伴關(guān)系</b>

    宏集與NOVUS Automation正式建立合作伙伴關(guān)系

    宏集科技與NOVUS Automation正式建立合作伙伴關(guān)系,雙方將在工業(yè)自動(dòng)化、過(guò)程控制和數(shù)據(jù)采集等領(lǐng)域展開(kāi)深入合作。NOVUS憑借深厚技術(shù)優(yōu)勢(shì),為亞洲客戶提供更精準(zhǔn)、更智能的工業(yè)監(jiān)測(cè)與控制解決方案。
    的頭像 發(fā)表于 04-15 13:19 ?237次閱讀
    宏集與NOVUS Automation正式建立<b class='flag-5'>合作伙伴關(guān)系</b>

    軟通動(dòng)力與中國(guó)移動(dòng)深化合作伙伴關(guān)系

    近日,軟通動(dòng)力成功中標(biāo)中國(guó)移動(dòng)旗下芯昇科技有限公司(簡(jiǎn)稱(chēng)“芯昇科技”)業(yè)務(wù)支撐服務(wù)項(xiàng)目,進(jìn)一步深化了與中國(guó)移動(dòng)的合作伙伴關(guān)系。此次項(xiàng)目旨在為芯昇科技提供全流程數(shù)字技術(shù)支撐服務(wù),助力其業(yè)務(wù)效率加速提升。
    的頭像 發(fā)表于 03-17 17:49 ?703次閱讀

    友思特與Cambrian Robotics達(dá)成合作伙伴關(guān)系

    我們很高興地宣布:虹科姐妹公司友思特與國(guó)際領(lǐng)先的視覺(jué)定位系統(tǒng)技術(shù)公司 Cambrian Robotics正式建立了合作伙伴關(guān)系!
    的頭像 發(fā)表于 02-14 14:49 ?554次閱讀

    軟銀與Quantinuum宣布建立開(kāi)創(chuàng)性合作伙伴關(guān)系,共同推動(dòng)量子計(jì)算的實(shí)際應(yīng)用

    (“Quantinuum”)宣布雙方同意在量子計(jì)算領(lǐng)域建立廣泛的合作伙伴關(guān)系。 軟銀與Quantinuum宣布建立合作伙伴關(guān)系 通過(guò)結(jié)合各自的優(yōu)勢(shì),兩家公司將推出創(chuàng)新的量子計(jì)算解決方案,克服經(jīng)典人工智能(AI)的局限性,實(shí)現(xiàn)下一代技術(shù)。 這一獨(dú)特的舉措適逢2025年國(guó)際
    的頭像 發(fā)表于 02-05 09:34 ?467次閱讀

    虹科與Owasys正式建立合作伙伴關(guān)系

    物聯(lián)網(wǎng)技術(shù)正深度重塑汽車(chē)與工業(yè)領(lǐng)域的發(fā)展格局。近日,虹科與Owasys正式建立合作伙伴關(guān)系,雙方將全力整合優(yōu)勢(shì)資源,共同開(kāi)拓物聯(lián)網(wǎng)市場(chǎng),為全球客戶提供兼具創(chuàng)新性與可靠性的解決方案。
    的頭像 發(fā)表于 01-16 09:30 ?535次閱讀

    TomTom與Esri建立合作伙伴關(guān)系

    近日,定位技術(shù)專(zhuān)家 TomTom今天宣布與地理信息系統(tǒng) (GIS)技術(shù)市場(chǎng)領(lǐng)導(dǎo)者 Esri 建立合作伙伴關(guān)系,將其全球地圖和交通數(shù)據(jù)集成到 ArcGIS 的綜合地理空間平臺(tái)中。
    的頭像 發(fā)表于 01-14 09:16 ?548次閱讀

    Smart Eye與Fingerprints達(dá)成戰(zhàn)略合作伙伴關(guān)系

    Smart Eye AB(publ)以5000萬(wàn)瑞典克朗的價(jià)格從Fingerprint Cards AB(publ)獲得虹膜識(shí)別技術(shù)的授權(quán),并達(dá)成戰(zhàn)略合作伙伴關(guān)系,以增強(qiáng)汽車(chē)和企業(yè)的安全性和用戶體驗(yàn)。
    的頭像 發(fā)表于 01-08 15:05 ?761次閱讀

    友思特與Stereolabs建立合作伙伴關(guān)系

    友思特與國(guó)際領(lǐng)先的立體視覺(jué)相機(jī)技術(shù)公司 Stereolabs正式建立了合作伙伴關(guān)系!
    的頭像 發(fā)表于 01-06 10:07 ?638次閱讀

    康謀與Anyverse建立合作伙伴關(guān)系

    日前,虹科姐妹公司康謀與Anyverse正式建立合作伙伴關(guān)系,負(fù)責(zé)該品牌及產(chǎn)品在亞太地區(qū)的銷(xiāo)售和售后服務(wù),此次合作旨在通過(guò)整合雙方的技術(shù)專(zhuān)長(zhǎng)和市場(chǎng)資源,共同推動(dòng)汽車(chē)自動(dòng)駕駛領(lǐng)域的技術(shù)創(chuàng)新和市場(chǎng)拓展。
    的頭像 發(fā)表于 12-16 15:04 ?621次閱讀

    德思特與Sanko達(dá)成合作伙伴關(guān)系

    近日,德思特科技有限公司(以下簡(jiǎn)稱(chēng)“德思特”)與知名品牌Sanko正式簽署代理協(xié)議,標(biāo)志著雙方正式達(dá)成合作伙伴關(guān)系
    的頭像 發(fā)表于 12-12 09:52 ?728次閱讀

    天馬與康寧達(dá)成戰(zhàn)略合作伙伴關(guān)系

    近日,在天馬全球創(chuàng)新大會(huì)(TIC 2024)上,天馬與康寧共同宣布雙方達(dá)成開(kāi)創(chuàng)性的戰(zhàn)略合作伙伴關(guān)系?;陔p方對(duì)汽車(chē)智能駕駛艙未來(lái)的深度布局和共同愿景,天馬和康寧將攜手創(chuàng)新,致力于突破技術(shù)與應(yīng)用邊界,為消費(fèi)者提供卓越非凡的駕乘體驗(yàn)。
    的頭像 發(fā)表于 11-21 17:24 ?858次閱讀

    Achronix與BigCat Wireless建立戰(zhàn)略合作伙伴關(guān)系

    高性能FPGA和嵌入式FPGA(eFPGA)IP行業(yè)的領(lǐng)導(dǎo)者Achronix Semiconductor Corporation宣布與BigCat Wireless公司建立戰(zhàn)略合作伙伴關(guān)系,以利
    的頭像 發(fā)表于 11-21 10:58 ?711次閱讀

    聞泰科技與KOSTAL建立戰(zhàn)略合作伙伴關(guān)系

    近日,聞泰科技半導(dǎo)體業(yè)務(wù)宣布與全球知名汽車(chē)供應(yīng)商KOSTAL(科世達(dá))正式建立戰(zhàn)略合作伙伴關(guān)系。這一合作旨在共同開(kāi)發(fā)和生產(chǎn)更符合汽車(chē)應(yīng)用嚴(yán)苛要求的車(chē)規(guī)級(jí)寬禁帶(WBG)器件,進(jìn)一步鞏固聞泰科技在車(chē)規(guī)半導(dǎo)體領(lǐng)域的領(lǐng)先地位。
    的頭像 發(fā)表于 11-11 15:38 ?966次閱讀