在人工智能迅速發(fā)展的今天，大模型訓(xùn)練已成為推動(dòng)技術(shù)進(jìn)步的核心動(dòng)力。然而，隨著大模型規(guī)模的不斷擴(kuò)大和訓(xùn)練需求的增加，智算網(wǎng)絡(luò)面臨的挑戰(zhàn)也日益嚴(yán)峻。網(wǎng)絡(luò)作為連接計(jì)算集群的重要基礎(chǔ)設(shè)施，其性能直接影響著AI訓(xùn)練的效率和效果。

智算網(wǎng)絡(luò)的主流架構(gòu)

目前智算網(wǎng)絡(luò)的領(lǐng)域的兩大主流架構(gòu)：InfiniBand 和RoCEv2 在性能、成本、通用性等多個(gè)關(guān)鍵維度上展現(xiàn)出各自的優(yōu)勢(shì)，相互競(jìng)爭(zhēng)。我們將細(xì)致分析這兩種架構(gòu)的技術(shù)特性、它們?cè)?AI 智算網(wǎng)絡(luò)中的應(yīng)用場(chǎng)景，以及各自的優(yōu)勢(shì)和局限性。

InfiniBand

InfiniBand 網(wǎng)絡(luò)主要通過(guò)子網(wǎng)管理器（Subnet Manager，簡(jiǎn)稱 SM）來(lái)進(jìn)行集中管理。SM 通常部署在子網(wǎng)內(nèi)的某臺(tái)服務(wù)器上，充當(dāng)網(wǎng)絡(luò)核心控制器。通過(guò) SM 的集中控制，InfiniBand網(wǎng)絡(luò)實(shí)現(xiàn)了拓?fù)浒l(fā)現(xiàn)、路徑優(yōu)化、故障恢復(fù)等功能的自動(dòng)化，保障高性能與高可靠性。

RoCEv2

RoCE（RDMA over Converged Ethernet）協(xié)議是一種能在以太網(wǎng)上進(jìn)行 RDMA（Remote Direct Memory Access 遠(yuǎn)程內(nèi)存直接訪問(wèn)）的集群網(wǎng)絡(luò)通信協(xié)議。RoCEv1作為鏈路協(xié)議層，要求通信雙方位于同一二層網(wǎng)絡(luò)內(nèi)。而RoCEv2 則為網(wǎng)絡(luò)層協(xié)議，它采用以太網(wǎng)網(wǎng)絡(luò)層和 UDP 傳輸層，取代了 InfiniBand 的網(wǎng)絡(luò)層，從而提供了更為優(yōu)秀的可擴(kuò)展性。與 InfiniBand 網(wǎng)絡(luò)的集中管理方式不同，RoCEv2 采用的是純分布式架構(gòu)，通常由兩層構(gòu)成，在擴(kuò)展性和部署靈活性方面具有顯著優(yōu)勢(shì)。

智算網(wǎng)絡(luò)中的負(fù)載均衡與流量控制

AI大模型時(shí)代下，數(shù)據(jù)中心與智算網(wǎng)絡(luò)，如Spine-Leaf架構(gòu)，拓?fù)湟?guī)整，選路簡(jiǎn)易。就網(wǎng)絡(luò)流量模式而言，GPU服務(wù)器間常存在多條并行路徑，如Fat tree網(wǎng)絡(luò)中會(huì)有數(shù)十條。

如何在這些路徑中實(shí)現(xiàn)負(fù)載均衡路由，成為智算中心路由設(shè)計(jì)的核心挑戰(zhàn)。

InfiniBand網(wǎng)絡(luò)的負(fù)載均衡和流控機(jī)制

InfiniBand網(wǎng)絡(luò)通過(guò)多層次技術(shù)協(xié)同，實(shí)現(xiàn)了高效的數(shù)據(jù)傳輸與資源管理。在負(fù)載均衡方面，子網(wǎng)管理器（SM）作為核心調(diào)度者，首先基于最短路徑算法構(gòu)建初始路由表，為流量分布奠定基礎(chǔ)。盡管SM的動(dòng)態(tài)路徑優(yōu)化能根據(jù)鏈路負(fù)載實(shí)時(shí)調(diào)整路徑，但其對(duì)控制帶寬和計(jì)算資源的消耗不容忽視。為進(jìn)一步提升靈活性，自適應(yīng)路由（AR）技術(shù)應(yīng)運(yùn)而生，允許交換機(jī)基于隊(duì)列深度、擁塞情況等實(shí)時(shí)狀態(tài)獨(dú)立選擇路徑，既降低了延遲，又增強(qiáng)了網(wǎng)絡(luò)可靠性。

然而，AR的動(dòng)態(tài)特性可能導(dǎo)致數(shù)據(jù)包亂序，這需要上層協(xié)議或應(yīng)用進(jìn)行額外處理。為彌補(bǔ)單一路徑的局限性，應(yīng)用程序還可通過(guò)創(chuàng)建多個(gè)隊(duì)列對(duì)（QP），利用硬件隊(duì)列的并行傳輸能力分散流量，例如MPI庫(kù)或Lustre存儲(chǔ)中間件通過(guò)任務(wù)分配避免路徑瓶頸，形成應(yīng)用層與網(wǎng)絡(luò)層的雙重負(fù)載均衡。

負(fù)載均衡機(jī)制的高效運(yùn)行，離不開(kāi)底層流控機(jī)制的強(qiáng)力支撐。InfiniBand采用信用令牌（credit）系統(tǒng)，在每條鏈路上預(yù)設(shè)緩沖區(qū)，確保發(fā)送端僅在確認(rèn)接收端資源充足時(shí)傳輸數(shù)據(jù)，從根本上避免了緩沖區(qū)溢出或丟包問(wèn)題。與此同時(shí)，網(wǎng)絡(luò)還結(jié)合逐包自適應(yīng)路由技術(shù)，為每個(gè)數(shù)據(jù)包獨(dú)立選擇傳輸路徑，實(shí)時(shí)響應(yīng)擁塞、延遲等狀態(tài)變化。這種細(xì)粒度的動(dòng)態(tài)調(diào)整能力，不僅與信用令牌機(jī)制形成互補(bǔ)，更在超大規(guī)模網(wǎng)絡(luò)中實(shí)現(xiàn)了資源的實(shí)時(shí)優(yōu)化配置，使負(fù)載均衡從局部擴(kuò)展到全局。

由此可見(jiàn)，InfiniBand通過(guò)負(fù)載均衡與流控機(jī)制的深度耦合，構(gòu)建了一個(gè)兼具敏捷性、可靠性與擴(kuò)展性的高性能網(wǎng)絡(luò)架構(gòu)。

RoCE網(wǎng)絡(luò)的負(fù)載均衡和流控機(jī)制

負(fù)載均衡技術(shù)

1、基于流（Flow-based）

ECMP（Equal Cost Multi Path）是一種路由技術(shù)，用于在IP交換網(wǎng)絡(luò)中實(shí)現(xiàn)負(fù)載均衡。即等價(jià)多路徑路由，當(dāng)存在多條到達(dá)同一個(gè)目的地址的相同開(kāi)銷的路徑，網(wǎng)絡(luò)設(shè)備按照自有的Hash根據(jù)流量N元組計(jì)算多路徑下一跳。由于通用計(jì)算以“多流”、“小流”為主，能夠?qū)崿F(xiàn)較好的負(fù)載均衡效果。

當(dāng)AIDC中的大象流連續(xù)到達(dá)交換機(jī)，傳統(tǒng)Hash通常會(huì)將大象流集中在少數(shù)鏈路上傳輸，龐大的數(shù)據(jù)流占用相當(dāng)大的帶寬資源，導(dǎo)致傳輸鏈路發(fā)生擁塞，而其他鏈路上則處于空閑。這種Hash不均導(dǎo)致了鏈路負(fù)載不均，進(jìn)而出現(xiàn)擁塞和時(shí)延加劇。

2、基于包（Packet based）

隨機(jī)包噴灑（Random Packet Spraying，RPS）是一種基于包級(jí)別的負(fù)載均衡策略。當(dāng)交換機(jī)發(fā)現(xiàn)有多條等價(jià)路徑指向同一目的地址時(shí)，RPS會(huì)將數(shù)據(jù)包以單個(gè)包為單位分散到這些路徑上。與ECMP不同，RPS以數(shù)據(jù)包為單位進(jìn)行操作，將同一流中的不同數(shù)據(jù)包轉(zhuǎn)發(fā)到不同的等價(jià)路徑上。

RPS的優(yōu)點(diǎn)在于簡(jiǎn)單易實(shí)施，通過(guò)細(xì)粒度的負(fù)載均衡，可以在多條并行路徑之間實(shí)現(xiàn)較為均衡的路由選擇，提升端到端的網(wǎng)絡(luò)吞吐率，可以將并行鏈路利用率提高到90%以上。缺點(diǎn)在于可能會(huì)造成同一個(gè)流的包亂序問(wèn)題，所以這種方式必須要解決亂序問(wèn)題。

3、基于流片（Flowlet）

Flowlet是根據(jù)流中的“空閑”時(shí)間間隔將一個(gè)流劃分為若干片段。在一個(gè)Flowlet內(nèi)，數(shù)據(jù)包在時(shí)間上緊密連續(xù)；而兩個(gè)Flowlet之間，存在較大的時(shí)間間隔。這一間隔遠(yuǎn)大于同一流分片內(nèi)數(shù)據(jù)包之間的時(shí)間間隔，足以使兩個(gè)流分片通過(guò)不同的網(wǎng)絡(luò)路徑傳輸而不發(fā)生亂序。

4、基于遙測(cè)的路由

為了將包、flowlet或整個(gè)流調(diào)度到不同的路徑上，需要路由協(xié)議的控制。傳統(tǒng)的路由協(xié)議，基于靜態(tài)的網(wǎng)絡(luò)信息來(lái)計(jì)算最優(yōu)路徑，如OSPF基于網(wǎng)絡(luò)帶寬計(jì)算最短路徑，BGP根據(jù)AS-PATH長(zhǎng)度計(jì)算ECMP等。這種控制與網(wǎng)絡(luò)實(shí)際負(fù)載脫節(jié)，需要加以改進(jìn)，星融元提出的基于遙測(cè)的路由（Int-based Routing）技術(shù)結(jié)合OSPF、BGP和在網(wǎng)遙測(cè)（INT）技術(shù)，為網(wǎng)絡(luò)中任意一對(duì)節(jié)點(diǎn)之間計(jì)算多條路徑，每個(gè)路徑的開(kāi)銷是動(dòng)態(tài)測(cè)量的延遲，從而能夠根據(jù)實(shí)時(shí)的網(wǎng)絡(luò)負(fù)載進(jìn)行路由，從而充分利用每個(gè)路徑的帶寬。

流控機(jī)制

1、優(yōu)先流控制（PFC）是一種逐跳流控策略，通過(guò)合理配置水位標(biāo)記來(lái)充分利用交換機(jī)的緩存，以實(shí)現(xiàn)以太網(wǎng)絡(luò)中的無(wú)丟包傳輸。當(dāng)下游交換機(jī)端口的緩存過(guò)載時(shí)，該交換機(jī)就會(huì)向上游設(shè)備請(qǐng)求停止傳輸。已發(fā)送的數(shù)據(jù)則會(huì)存儲(chǔ)在下游交換機(jī)的緩存中，等到緩存恢復(fù)正常，端口將會(huì)請(qǐng)求恢復(fù)數(shù)據(jù)包的發(fā)送，從而維持網(wǎng)絡(luò)的流暢運(yùn)行。

【參考白皮書：https://asterfusion.com/priority-based_flow_control_pfc/ 】

2、顯式擁塞通知（ECN）定義了一種基于 IP 層和傳輸層的流量控制和端到端擁塞通知機(jī)制。通過(guò)在交換機(jī)上向服務(wù)器端傳遞特定擁塞信息，然后服務(wù)器端再發(fā)送至客戶端通知源端降速?gòu)亩鴮?shí)現(xiàn)擁塞控制的目的。

【參考技術(shù)手冊(cè)：https://asterfusion.com/t20250416-ecn/ 】

3、數(shù)據(jù)中心量化擁塞通知（DCQCN）是顯式擁塞通知（ECN）和優(yōu)先流控制（PFC）兩種機(jī)制的結(jié)合，旨在支持端到端的無(wú)損以太網(wǎng)通信。

技術(shù)選型

根據(jù)前文我們了解到，InfiniBand和RoCEv2是兩種支持RDMA的高性能網(wǎng)絡(luò)協(xié)議，但其負(fù)載均衡機(jī)制在實(shí)現(xiàn)方式、性能和應(yīng)用場(chǎng)景上存在顯著差異：

• InfiniBand依賴專用硬件和動(dòng)態(tài)自適應(yīng)路由，通過(guò)子網(wǎng)管理器實(shí)時(shí)優(yōu)化路徑，實(shí)現(xiàn)超低延遲和高吞吐，但成本高且擴(kuò)展受限，適合HPC/AI等極致性能場(chǎng)景；
• RoCEv2基于以太網(wǎng)，采用靜態(tài)ECMP哈希多路徑分發(fā)，成本低、擴(kuò)展性強(qiáng)，但依賴無(wú)損網(wǎng)絡(luò)配置（如PFC/ECN），易受哈希不均影響，適合云數(shù)據(jù)中心等性價(jià)比優(yōu)先場(chǎng)景。

雖然RoCE還是很難應(yīng)對(duì)大象流/老鼠流分布不均的影響，但是各廠家也在做各種努力嘗試。

WCMP

結(jié)合前文，ECMP技術(shù)將包、Flowlet或整個(gè)流均勻的分布到多個(gè)路徑上，很大程度上忽略了不同路徑上的實(shí)際負(fù)載。為了進(jìn)一步提升網(wǎng)絡(luò)利用率。星融元采用加權(quán)代價(jià)多路徑（Weighted Cost Multiple Path）算法，基于遙測(cè)獲取的時(shí)延等信息，在時(shí)延更低的路徑上調(diào)度更多的流量，在時(shí)延更高的路徑上調(diào)度更少的流量，從而實(shí)現(xiàn)所有路徑的公平利用。在理想情況下，流量經(jīng)過(guò)不同路徑的總時(shí)延是相等的，可充分利用所有可用帶寬。

星融元CX864E等超級(jí)以太網(wǎng)交換機(jī)通過(guò)支持Flowlet、基于遙測(cè)的路由以及WCMP（加權(quán)代價(jià)多路徑）三大創(chuàng)新技術(shù)，將AI訓(xùn)練和推理網(wǎng)絡(luò)的利用率提升至90%以上，從而加速AI訓(xùn)練和推理過(guò)程，為AI數(shù)據(jù)中心進(jìn)一步節(jié)省建設(shè)成本和運(yùn)營(yíng)成本。

【參考文檔】

• https://www.c114.com.cn/other/241/a1270305.html
• https://mp.weixin.qq.com/s?__biz=MzAxNzU3NjcxOA==&mid=2650751430&idx=1&sn=bffa26e57db61c930c8eb2c71b902706&chksm=82a06995994e62a7391df4a0bcf047c0c332c395773964c283a3e9b814db15ced8720f450753#rd
• https://baijiahao.baidu.com/s?id=1800081227247028165&wfr=spider&for=pc
• https://blog.csdn.net/weixin_38889300/article/details/140366370