引言

NVIDIA NVLink 是一種關(guān)鍵的高速互連技術(shù)，專為加速計算而設(shè)計，尤其是在多 GPU 系統(tǒng)以及 GPU 和支持 CPU 之間 。NVLink 的出現(xiàn)標(biāo)志著傳統(tǒng)互連瓶頸的突破，凸顯了現(xiàn)代計算工作負載日益增長的需求。與通用性 PCIe 相比，NVLink 專為滿足高性能計算和人工智能領(lǐng)域中緊密耦合的 GPU 所需的大規(guī)模數(shù)據(jù)交換而設(shè)計。這項技術(shù)對于充分發(fā)揮百億億次級計算的潛力以及訓(xùn)練萬億參數(shù)人工智能模型至關(guān)重要 。本深度分析報告旨在全面探討 NVIDIA NVLink，涵蓋其定義、演進、技術(shù)規(guī)格、應(yīng)用和未來趨勢。

NVIDIA NVLink 的基本原理

NVLink 是 NVIDIA 開發(fā)的一種專有的、基于導(dǎo)線的串行多通道近距離通信鏈路 。它能夠促進跨多個 NVIDIA GPU 和支持 CPU 的連貫數(shù)據(jù)和控制傳輸 。NVLink 采用點對點連接和高速信令互連 (NVHS) 。NVLink 的專有性質(zhì)使得 NVIDIA 能夠針對其 GPU 架構(gòu)對其進行專門定制，從而實現(xiàn)開放標(biāo)準可能無法實現(xiàn)的優(yōu)化。然而，這也使得用戶對 NVIDIA 的生態(tài)系統(tǒng)產(chǎn)生了一定的依賴性。

與傳統(tǒng)的互連技術(shù)（如 PCI Express (PCIe)）相比，NVLink 具有顯著的優(yōu)勢 。例如，第五代 NVLink 提供的帶寬是 PCIe Gen5 的 14 倍以上 。NVLink 由于采用直接 GPU 到 GPU 的通信路徑，減少了 PCIe 交換機和 CPU 參與所帶來的開銷，因此具有更低的延遲 。此外，NVLink 在 GPU 到 GPU 通信中采用網(wǎng)狀網(wǎng)絡(luò)，而不是像 PCIe 那樣的中央集線器 。帶寬和延遲方面的巨大優(yōu)勢使得 NVLink 成為需要快速數(shù)據(jù)交換的苛刻多 GPU 工作負載的首選互連技術(shù)。與作為通用互連的 PCIe 相比，NVLink 的設(shè)計針對直接 GPU 到 GPU 通信進行了優(yōu)化，繞過了這些瓶頸，從而在并行處理任務(wù)中實現(xiàn)了顯著的性能提升。

NVLink 在實現(xiàn)高速數(shù)據(jù)和控制傳輸方面具有以下關(guān)鍵優(yōu)勢：它促進了 GPU 之間更快的數(shù)據(jù)傳輸，從而加速了并行計算環(huán)境中的處理速度 。NVLink 還使 GPU 能夠共享內(nèi)存，從而創(chuàng)建一個統(tǒng)一的內(nèi)存池，以更有效地利用資源 。值得注意的是，NVLink 本身并不直接進行內(nèi)存池化，而是為應(yīng)用程序?qū)崿F(xiàn)此功能提供了必要的高速連接 。此外，NVLink 減少了 CPU 在 GPU 到 GPU 通信中的干預(yù)需求，進一步降低了延遲 與 PCIe Gen5 相比，NVLink 還具有更好的能源效率 。

各代產(chǎn)品的演進和技術(shù)規(guī)格

NVLink 經(jīng)歷了多次迭代，每一代都帶來了顯著的改進，以滿足加速計算不斷增長的需求 。

• NVLink 1.0 (2014 年發(fā)布，在 Pascal P100 中實現(xiàn)): 每個差分對的信令速率為 20 GT/s 。每個鏈路在每個方向上有 8 個差分對（每個鏈路總共 32 根導(dǎo)線）每個鏈路的單向速率為 20 GB/s，雙向帶寬為 40 GB/s 。P100 芯片每個有 4 個鏈路 ，總雙向帶寬為 160 GB/s 。它支持 NVIDIA Pascal 架構(gòu) ，并且首個原生支持的 CPU 是 IBM POWER8+。NVLink 1.0 在帶寬方面比 PCIe 3.0 有了顯著提升，專門為早期 GPGPU 計算和 AI 加速的需求而設(shè)計。與 IBM 的合作凸顯了其最初對高性能服務(wù)器環(huán)境的關(guān)注。PCIe 3.0 的局限性在利用 GPU 并行處理能力的應(yīng)用程序中日益明顯。NVLink 1.0 提供了一條專用的高帶寬通道，從而在多 GPU 配置中實現(xiàn)了更高的效率，尤其是在 GPU 和 CPU 需要快速交換大型數(shù)據(jù)集的系統(tǒng)中。
• NVLink 2.0 (2017 年隨 Volta V100 推出): 每個差分對的信令速率為 25 GT/s 。每個鏈路在每個方向上有 8 個差分對 。每個鏈路的單向速率為 25 GB/s ，雙向帶寬為 50 GB/s 。V100 芯片每個有 6 個鏈路，總雙向帶寬為 300 GB/s 。它支持 NVIDIA Volta 架構(gòu) ，并引入了緩存一致性支持 。為了實現(xiàn)八個 GPU 之間的完全互連，還引入了首代 NVSwitch 。NVLink 2.0 將其前代的帶寬翻了一番，并增加了緩存一致性等關(guān)鍵特性，進一步提高了復(fù)雜工作負載下多 GPU 系統(tǒng)的效率。NVSwitch 的引入標(biāo)志著向可擴展 GPU 集群邁出了重要一步。V100 每個 GPU 的鏈路數(shù)量增加以及 NVSwitch 的引入，使得更復(fù)雜、性能更高的多 GPU 配置成為可能。緩存一致性通過確?？?GPU 內(nèi)存的數(shù)據(jù)一致性簡化了編程，從而更容易開發(fā)并行應(yīng)用程序。
• NVLink 3.0 (2020 年隨 Ampere A100 推出): 每個差分對的信令速率為 50 GT/s 。每個鏈路在每個方向上有 4 個差分對 。每個鏈路的單向速率為 25 GB/s，雙向帶寬為 50 GB/s。A100 芯片每個有 12 個鏈路，總雙向帶寬為 600 GB/s 。它支持 NVIDIA Ampere 架構(gòu) ，并將 NVSwitch 端口增加到 36 個 。NVLink 3.0 保持了每個鏈路的帶寬，但顯著增加了每個 GPU 的鏈路數(shù)量，從而實現(xiàn)了總帶寬的巨大飛躍。這一代對于處理日益復(fù)雜的人工智能模型至關(guān)重要。A100 上每個 GPU 的鏈路數(shù)量翻倍為訓(xùn)練更大、更復(fù)雜的人工智能模型提供了必要的互連帶寬。NVSwitch 上端口數(shù)量的增加進一步增強了多 GPU 系統(tǒng)的可擴展性。
• NVLink 4.0 (2022 年隨 Hopper H100 推出): 每個差分對的信令速率為 100 GT/s（使用 PAM4 調(diào)制）。每個鏈路在每個方向上有 2 個差分對 。每個鏈路的單向速率為 25 GB/s ，雙向帶寬為 50 GB/s 。H100 芯片每個有 18 個鏈路 ，總雙向帶寬為 900 GB/s 。它支持 NVIDIA Hopper 和 NVIDIA Grace CPU 架構(gòu) 。NVSwitch 升級到第三代，具有 64 個端口并集成了 SHARP 協(xié)議 。NVLink 4.0 顯著提高了每個通道的信令速率，盡管每個鏈路的通道數(shù)量少于早期版本，但仍實現(xiàn)了更高的整體帶寬。NVSwitch 中 SHARP 的集成進一步優(yōu)化了 HPC 和 AI 的集體操作。然而，實際性能測量有時會低于理論值 。轉(zhuǎn)向 PAM4 調(diào)制允許在相同的物理鏈路上實現(xiàn)更高的數(shù)據(jù)速率。SHARP（可擴展分層聚合和歸約協(xié)議）直接集成到 NVSwitch 硬件中，加速了并行計算中常見的通信模式，從而降低了延遲并提高了效率。理論帶寬和實測帶寬之間的差異表明實際部署中可能存在開銷或限制。
• NVLink 5.0 (2024 年隨 Blackwell GB200 推出): 每個子鏈路的傳輸速率為 200Gbps，每個端口包含四個差分信號線對 。每個鏈路的單向速率為 100 GB/s ，雙向帶寬為 200 GB/s。B200 芯片每個有 18 個鏈路 ，總雙向帶寬為 1.8 TB/s 。它支持 NVIDIA Blackwell 架構(gòu) 。NVLink 5 Switch 具有 144 個端口，無阻塞交換容量為 14.4 TB/s 。在 GB300 NVL72 系統(tǒng)中支持 72 個 GPU 的 NVLink 域 。NVLink 5.0 代表了互連帶寬的重大飛躍，與上一代相比，每個 GPU 的帶寬翻了一番。這一進步對于處理未來 AI 模型的巨大計算需求至關(guān)重要。新的交換機架構(gòu)實現(xiàn)的 NVLink 域的擴展規(guī)模，使得在單個系統(tǒng)內(nèi)實現(xiàn)前所未有的并行處理水平成為可能。NVIDIA 的帶寬計算和術(shù)語（SubLink/Port/Lane）存在一些模糊之處 。帶寬的持續(xù)增長反映了 AI 和 HPC 對更快數(shù)據(jù)傳輸?shù)臒o盡需求。在單個高帶寬域中連接更多 GPU 的能力，使得更高效的模型并行和分布式計算成為可能。NVIDIA 術(shù)語的澄清需求表明，理解和充分利用 NVLink 5.0 的全部功能可能存在復(fù)雜性。

NVLink 各代規(guī)格總結(jié)

NVLink Switch 的作用

NVLink Switch 是一種物理芯片（類似于交換機 ASIC），它通過高速 NVLink 接口連接多個 GPU 。它提高了服務(wù)器內(nèi)部和機架之間的通信和帶寬 ，并支持以全 NVLink 速度進行所有 GPU 之間的通信。NVLink Switch 對于將 NVLink 擴展到少量直接連接的 GPU 之外至關(guān)重要，它使得創(chuàng)建大型統(tǒng)一的 GPU 計算資源成為可能。如果沒有交換機，可以直接相互通信的 GPU 數(shù)量會受到每個 GPU 上 NVLink 端口數(shù)量的限制。NVLink Switch 充當(dāng)中央樞紐，允許系統(tǒng)中的任何 GPU 以高速與任何其他 GPU 通信，從而克服了這一限制并實現(xiàn)了更大更強大的系統(tǒng)。

不同代的 NVSwitch 具有不同的功能：NVSwitch 1.0（隨 Volta V100 推出）具有 18 個端口，每個端口 50 GB/s 的帶寬，總帶寬為 900 GB/s ；NVSwitch 2.0（隨 Ampere A100 推出）具有 36 個端口，每個端口 50 GB/s 的帶寬 ；NVSwitch 3.0（隨 Hopper H100 推出）具有 64 個 NVLink4 端口，雙向帶寬為 3.2 TB/s，并集成了 SHARP 協(xié)議 ；NVLink 5 Switch（隨 Blackwell GB200 推出）具有 144 個 NVLink 端口，無阻塞交換容量為 14.4 TB/s 。每一代 NVSwitch 都顯著增加了端口數(shù)量和整體交換容量，這與 NVLink 帶寬的進步以及對更大型多 GPU 系統(tǒng)的需求直接相關(guān)。SHARP 等特性的集成凸顯了這些互連結(jié)構(gòu)日益增長的復(fù)雜性。

NVLink Switch 對大規(guī)模部署中的帶寬和延遲產(chǎn)生了重大影響 。它使得在服務(wù)器內(nèi)部和服務(wù)器之間創(chuàng)建 NVLink 網(wǎng)絡(luò)成為可能，從而形成了數(shù)據(jù)中心規(guī)模的 GPU 。通過 SHARP 等特性，它為集體操作提供了高帶寬和低延遲 。NVLink Switch 對于快速多 GPU 推理至關(guān)重要，尤其對于大型語言模型，它提供了高互連帶寬并實現(xiàn)了高效的數(shù)據(jù)交換 。NVLink Switch 是 NVLink 可擴展性的關(guān)鍵推動因素，使其能夠擴展到單個服務(wù)器之外，形成對于應(yīng)對最苛刻計算挑戰(zhàn)至關(guān)重要的大規(guī)模互連 GPU 集群。通過提供高速低延遲的交換結(jié)構(gòu)，NVLink Switch 允許聚合來自多個服務(wù)器的 GPU 的計算能力。這種能力對于實現(xiàn)百億億次級計算所需的性能以及訓(xùn)練和部署極其龐大的人工智能模型至關(guān)重要。

NVIDIA NVLink 的應(yīng)用

NVIDIA NVLink 在各種領(lǐng)域都有廣泛的應(yīng)用：

• 高性能計算 (HPC) : 通過實現(xiàn)大規(guī)模并行處理，加速科學(xué)模擬、天氣預(yù)報和流體動力學(xué)等計算密集型任務(wù) 。它允許研究人員使用更大、更復(fù)雜的應(yīng)用程序來解決復(fù)雜問題 ，并且對于實現(xiàn)百億億次級計算性能至關(guān)重要 。NVLink 已成為現(xiàn)代超級計算機中不可或缺的組成部分，通過其處理極其苛刻計算工作負載的能力，使研究人員能夠突破科學(xué)發(fā)現(xiàn)的界限。NVLink 的高帶寬和低延遲使得構(gòu)成現(xiàn)代超級計算機的數(shù)千個 GPU 之間能夠進行高效的通信和數(shù)據(jù)共享。這使得科學(xué)家能夠以前所未有的規(guī)模運行模擬和處理數(shù)據(jù)，從而在各個科學(xué)領(lǐng)域取得突破。
• 人工智能 (AI) 和深度學(xué)習(xí) : 通過實現(xiàn)高效的多 GPU 處理和內(nèi)存共享，對于加速大型語言模型 (LLM) 和萬億參數(shù)模型的訓(xùn)練至關(guān)重要 。它縮短了訓(xùn)練時間并提高了 AI 算法的可擴展，并且對于大型模型的實時、經(jīng)濟高效的推理至關(guān)重要。NVLink 還驅(qū)動著 AI 代理并支持高級 AI 應(yīng)用程序的開發(fā) 。NVLink 是當(dāng)前 AI 革命的基礎(chǔ)技術(shù)，它使得開發(fā)和部署日益強大和復(fù)雜的人工智能模型成為可能，這些模型正在改變各個行業(yè)。現(xiàn)代 AI 模型的大規(guī)模數(shù)據(jù)集和計算需求需要像 NVLink 這樣的高帶寬、低延遲互連。沒有它，訓(xùn)練這些模型將非常緩慢且成本高昂。NVLink 高效連接和協(xié)調(diào)多個 GPU 的能力對于推進 AI 的最新技術(shù)至關(guān)重要。
• 數(shù)據(jù)中心 : 支持為苛刻的工作負載創(chuàng)建高性能計算基礎(chǔ)設(shè)施 。它促進了 GPU 資源的高效擴展，以滿足大規(guī)模工作負載的需求 。NVLink 用于 NVIDIA DGX 和 HGX 系列服務(wù)器，這些服務(wù)器對于數(shù)據(jù)中心中的 AI 和 HPC 部署至關(guān)重要 ^5^。NVLink 是專為加速計算而設(shè)計的現(xiàn)代數(shù)據(jù)中心基礎(chǔ)設(shè)施的基石，它使組織能夠處理 AI、數(shù)據(jù)分析和科學(xué)研究中不斷增長的計算能力需求。數(shù)據(jù)中心正處于部署高性能計算資源的最前沿。NVLink 提供了必要互連技術(shù)，以在這些數(shù)據(jù)中心內(nèi)構(gòu)建可擴展且高效的 GPU 集群，從而支持廣泛的苛刻應(yīng)用程序和服務(wù)。
• 其他相關(guān)應(yīng)用：
  • 渲染和可視化 : 支持 GPU 內(nèi)存池化，用于渲染大型復(fù)雜場景。
  • 數(shù)據(jù)分析和大數(shù)據(jù) : 加速處理海量數(shù)據(jù) 。
  • 虛擬現(xiàn)實和增強現(xiàn)實: 支持沉浸式體驗所需的高帶寬和低延遲。
  • 自動駕駛汽車 : 促進自動駕駛汽車 AI 算法的訓(xùn)練。
  • 機器人技術(shù) : 支持智能機器人的開發(fā)和訓(xùn)練。

NVLink-C2C (芯片到芯片互連)

NVLink-C2C 是 NVLink 技術(shù)的擴展，用于在單個封裝內(nèi)或跨多個封裝的芯片之間進行連貫互連 。它使用小芯片技術(shù)將 NVIDIA GPU、DPU 和 CPU（如 Grace）與定制硅連接起來 。NVLink-C2C 用于 NVIDIA Grace Hopper Superchip 和 Grace CPU Superchip ，也用于 NVIDIA GB200 Superchip，將 Blackwell GPU 和 Grace CPU 結(jié)合在一起 。NVLink-C2C 代表了 NVIDIA 互連策略的進一步發(fā)展，它實現(xiàn)了系統(tǒng)中不同處理單元之間更緊密的集成，以最大限度地提高性能和效率。隨著工作負載變得更加異構(gòu)，需要 CPU、GPU 和 DPU 的組合優(yōu)勢，芯片級的高帶寬、低延遲互連變得至關(guān)重要。NVLink-C2C 促進了這種緊密耦合，允許不同類型處理器之間進行連貫的內(nèi)存訪問和更快的通信。

NVLink-C2C 的優(yōu)勢包括：用于連貫數(shù)據(jù)傳輸?shù)母邘?；用于快速同步和對共享數(shù)據(jù)進行高頻更新的低延遲 ；與 NVIDIA 芯片上的 PCIe 相比，具有更高的能源和面積效率；支持 Arm 的 AMBA CHI 和 Compute Express Link (CXL) 等行業(yè)標(biāo)準協(xié)議，以實現(xiàn)互操作性 。NVLink-C2C 不僅提高了性能，而且還關(guān)注功耗和面積效率，這對于構(gòu)建高密度、節(jié)能的計算系統(tǒng)至關(guān)重要。對行業(yè)標(biāo)準的支持表明，在異構(gòu)計算環(huán)境中，NVIDIA 的技術(shù)正朝著更大的互操作性發(fā)展。通過優(yōu)化芯片到芯片的互連，NVIDIA 可以創(chuàng)建更強大、更高效的集成處理器。提高的能源和面積效率允許在相同的空間內(nèi)封裝更多的計算能力，同時降低功耗。支持行業(yè)標(biāo)準確保 NVIDIA 的技術(shù)可以與系統(tǒng)中的其他組件無縫協(xié)作。

NVLink 與其他互連技術(shù)的比較

NVLink 與 PCIe 之間的詳細比較 ：重申“基本原理”部分討論的帶寬、延遲、可擴展性和設(shè)計目標(biāo)方面的關(guān)鍵差異。強調(diào) NVLink 針對 GPU 到 GPU 和 GPU 到 CPU（在特定架構(gòu)中）的通信進行了優(yōu)化，而 PCIe 是一種更通用的接口，用于連接各種外圍設(shè)備 。NVLink 和 PCIe 之間的選擇在很大程度上取決于具體的應(yīng)用需求。對于多 GPU 加速計算，NVLink 提供了顯著的優(yōu)勢，而 PCIe 仍然是更廣泛系統(tǒng)連接的標(biāo)準。理解每種互連技術(shù)的獨特優(yōu)勢和劣勢對于系統(tǒng)架構(gòu)師至關(guān)重要。NVLink 的高帶寬和低延遲使其非常適合緊密耦合的 GPU 工作負載，而 PCIe 的多功能性和廣泛采用使其適用于更廣泛的應(yīng)用。

討論 NVLink 相對于其他高速互連技術(shù)（如 InfiniBand）的地位 ：InfiniBand 是一種用于 HPC 和數(shù)據(jù)中心的開放標(biāo)準網(wǎng)絡(luò)技術(shù)，為互連計算節(jié)點和 I/O 設(shè)備提供高帶寬和低延遲。NVLink 主要用于服務(wù)器內(nèi)部的多 GPU 通信，而 InfiniBand 用于構(gòu)建大規(guī)模集群的節(jié)點間通信 。利用 NVSwitch 的 NVLink 網(wǎng)絡(luò)可以將 NVLink 連接擴展到節(jié)點之間，模糊了服務(wù)器內(nèi)部和服務(wù)器之間通信的界限 。通常，在大型系統(tǒng)中采用混合方法，使用 NVLink 進行機架內(nèi) GPU 通信，而使用 InfiniBand（或基于以太網(wǎng)的 RoCE）進行機架間。雖然 NVLink 和 InfiniBand 都解決了對高速低延遲互連的需求，但它們是為不同的規(guī)模和目的而設(shè)計的。NVLink 在緊密耦合服務(wù)器內(nèi)部的 GPU 方面表現(xiàn)出色，而 InfiniBand 更適合構(gòu)建大型分布式計算環(huán)境。然而，NVIDIA 在 NVLink 網(wǎng)絡(luò)方面的進步正在擴大其覆蓋范圍。對于需要單個服務(wù)器內(nèi)大規(guī)模并行處理的應(yīng)用，NVLink 提供了最有效的解決方案。對于擴展到數(shù)百或數(shù)千個節(jié)點，InfiniBand 提供了一種成熟且廣泛采用的技術(shù)。NVLink 網(wǎng)絡(luò)的出現(xiàn)表明了 NVIDIA 旨在提供跨不同規(guī)模的更統(tǒng)一的互連解決方案。

未來趨勢與分析

NVLink 將繼續(xù)發(fā)展，具有更高的帶寬能力（例如，NVLink 5.0 及更高版本），以滿足 AI 和 HPC 不斷增長的需求 。預(yù)計 Vera Rubin 等未來幾代產(chǎn)品將進一步提高 NVLink 的速度 。NVSwitch 技術(shù)的進步將帶來更大的可擴展性選項，從而實現(xiàn)包含數(shù)百甚至數(shù)千個 GPU 的更大 NVLink 域 。NVLink Switch 有望在單個 NVLink 域中擴展到 576 個 GPU 。它還可能與 CXL 等其他互連技術(shù)融合或集成，以支持異構(gòu)計算架構(gòu) 。未來的 NVLink 設(shè)計將側(cè)重于提高能源效率和降低功耗 。NVLink 在 AI 領(lǐng)域具有戰(zhàn)略重要性，并在維持 NVIDIA 的競爭優(yōu)勢方面發(fā)揮著關(guān)鍵作用 。NVLink 的未來與 GPU 技術(shù)的進步以及 AI 和 HPC 不斷變化的需求緊密相關(guān)。我們可以預(yù)期在更高的帶寬、更大的可擴展性和更高的效率方面將持續(xù)推進，并可能與其他互連標(biāo)準更緊密地集成，以創(chuàng)建更通用、更強大的計算平臺。隨著 AI 模型規(guī)模和復(fù)雜性的增長，以及 HPC 工作負載需要越來越高的計算能力，對更快、更可擴展的互連的需求只會增加。NVIDIA 對 NVLink 和 NVSwitch 的持續(xù)投資表明了其致力于解決這些挑戰(zhàn)并保持其在加速計算市場領(lǐng)導(dǎo)地位的決心。與 CXL 等技術(shù)的潛在集成表明，未來不同類型的處理器和內(nèi)存可以更無縫、更高效地互連。

結(jié)論

NVIDIA NVLink 的主要優(yōu)勢在于其高帶寬、低延遲和可擴展性，這使其成為加速計算的關(guān)鍵技術(shù)。它在高性能計算、人工智能和數(shù)據(jù)科學(xué)領(lǐng)域的突破性進展中具有重要意義。NVLink 在提升現(xiàn)代計算系統(tǒng)的能力方面發(fā)揮著至關(guān)重要的作用，并將繼續(xù)發(fā)展以應(yīng)對未來計算挑戰(zhàn)的需求。