在人工智能技術(shù)快速發(fā)展的浪潮下，現(xiàn)代數(shù)據(jù)中心網(wǎng)絡(luò)正面臨著前所未有的挑戰(zhàn)。GPT大模型的參數(shù)量已突破萬億級別，自動駕駛訓(xùn)練需要處理PB級的場景數(shù)據(jù)，這些都使得AI計算集群規(guī)模呈指數(shù)級增長。

根據(jù)OpenAI披露的數(shù)據(jù)，GPT-4訓(xùn)練使用的GPU數(shù)量已超過25,000個，這種大規(guī)模并行計算架構(gòu)對網(wǎng)絡(luò)性能提出了嚴(yán)苛要求：網(wǎng)絡(luò)傳輸時延需要控制在微秒級，帶寬利用率必須達(dá)到80%以上，任何網(wǎng)絡(luò)抖動都會直接導(dǎo)致算力資源的閑置浪費。

統(tǒng)計數(shù)據(jù)顯示，傳統(tǒng)以太網(wǎng)的平均利用率長期徘徊在35%-40%，這意味著超過60%的網(wǎng)絡(luò)帶寬資源處于閑置狀態(tài)。這種低效不僅造成巨額硬件投資浪費，更成為制約AI訓(xùn)練效率的關(guān)鍵瓶頸。

傳統(tǒng)以太網(wǎng)的困境

網(wǎng)絡(luò)利用率作為衡量實際傳輸流量與理論帶寬比值的核心指標(biāo)，在AI計算場景中直接決定模型訓(xùn)練周期。這種效率瓶頸源于多重技術(shù)桎梏：

• 流量復(fù)雜度倍增：現(xiàn)代數(shù)據(jù)中心混合承載著AI訓(xùn)練的長流（Long Flow）、推理服務(wù)的短流（Short Flow）、存儲復(fù)制的大包（Jumbo Frame）以及管理信令的小包（Mouse Flow）。這種流量形態(tài)的多樣性導(dǎo)致網(wǎng)絡(luò)必須按"峰值突發(fā)量×安全冗余"的超配模式建設(shè)，造成非峰值期大量帶寬閑置。
• 架構(gòu)性阻塞難題：經(jīng)典的接入-匯聚-核心三級架構(gòu)存在天然的收斂比限制。以典型4:1收斂比設(shè)計為例，當(dāng)接入層40G鏈路滿載時，匯聚層100G鏈路的理論利用率僅能達(dá)到80%，若考慮流量潮汐效應(yīng)，實際利用率常低于50%。
• 丟包引發(fā)的鏈?zhǔn)椒磻?yīng)：傳統(tǒng)QoS機(jī)制采用尾丟棄(Tail Drop)或WRED隨機(jī)丟棄策略應(yīng)對擁塞，這種"先污染后治理"的方式觸發(fā)TCP超時重傳，導(dǎo)致有效帶寬被重傳數(shù)據(jù)重復(fù)占用。實測表明，1%的丟包率即可造成吞吐量下降40%。
• 流控機(jī)制鈍化：基于ECN的擁塞通知僅能傳遞1bit信息，終端設(shè)備需通過"探測-降速-恢復(fù)"的試探性調(diào)節(jié)適應(yīng)帶寬變化。這種開環(huán)控制方式在應(yīng)對AI訓(xùn)練中的All-Reduce等集合通信時，調(diào)節(jié)延遲常超過100ms，造成帶寬利用的階段性塌陷。
• 路徑調(diào)度失衡：依賴五元組哈希的ECMP算法，在面對AI訓(xùn)練中持續(xù)時間長達(dá)數(shù)小時、帶寬需求穩(wěn)定的"大象流"時，極易引發(fā)路徑選擇的極化現(xiàn)象。某知名云廠商的故障案例顯示，40%的等價鏈路處于空載狀態(tài)時，剩余60%鏈路卻持續(xù)過載丟包。

超級以太網(wǎng)的技術(shù)突圍

為突破85%網(wǎng)絡(luò)利用率的目標(biāo)，超級以太網(wǎng)聯(lián)盟(UEC)提出系統(tǒng)性解決方案：

1、專用通道隔離：利用AI流量可預(yù)測特性構(gòu)建物理隔離的RoCEv2專用網(wǎng)絡(luò)。某頭部AI實驗室的實踐表明，通過分離訓(xùn)練流量與存儲流量，網(wǎng)絡(luò)有效利用率提升27%，GPU空閑等待時間減少41%。

2、無阻塞拓?fù)洌何覀冃枰O(shè)計無阻塞的網(wǎng)絡(luò)結(jié)構(gòu)，如CLOS、Dragonfly, Torus, MegaFly, SlimFly等。目前，CLOS是最流行的網(wǎng)絡(luò)結(jié)構(gòu) [3]，在這個網(wǎng)絡(luò)結(jié)構(gòu)中，總接入帶寬與總匯聚帶寬相等，并容易在縱向和橫向上擴(kuò)展，在宏觀上實現(xiàn)了無阻塞。然而由于流量不均衡和微突發(fā)現(xiàn)象的存在，在局部鏈路上，擁塞仍然會存在。

3、精準(zhǔn)擁塞控制升級：當(dāng)In-Cast擁塞產(chǎn)生后，目前主要通過端到端的流控機(jī)制來緩解這一問題。例如，基于ECN的DCQCN/DCTCP技術(shù)通過調(diào)節(jié)源端的發(fā)送流量速率，適應(yīng)網(wǎng)絡(luò)的可用帶寬。由于ECN攜帶的信息只有1個bit，這種調(diào)節(jié)方式不夠精確。為了解決這一問題，UEC傳輸層（UET，Ultra Ethernet Transport Layer）提出了以下改進(jìn)措施：

• 加速調(diào)整過程：UET通過測量端到端延遲來調(diào)節(jié)發(fā)送速率，并根據(jù)接收方的能力通知發(fā)送方調(diào)整速率，快速達(dá)到線速。
• 基于遙測：來自網(wǎng)絡(luò)的擁塞信息可以通告擁塞的位置和原因，縮短擁塞信令路徑并向終端節(jié)點提供更多信息，從而實現(xiàn)更快的擁塞響應(yīng)。

4、包噴灑：突破傳統(tǒng)流級調(diào)度的"包噴灑"技術(shù)，通過動態(tài)路徑選擇算法將數(shù)據(jù)包離散分布在多條路徑，從而更充分地利用網(wǎng)絡(luò)帶寬。由于這種方式會導(dǎo)致目的地接收到的報文亂序，因此需要修改傳輸協(xié)議，允許包亂序到達(dá)，并在目的地重新組裝為完整的消息。然而，重組過程帶來了額外的開銷，增加了整個流的延遲，且目的端需要等待該流的所有包傳輸完畢后才能處理整個消息，無法實現(xiàn)流水線操作。

實踐突破

作為UEC核心成員，星融元通過三大技術(shù)創(chuàng)新將網(wǎng)絡(luò)利用率推升至90%：

Flowlet

前面提到，基于流的ECMP容易造成負(fù)載不均衡，而包噴灑技術(shù)又帶來了額外的延遲。有沒有兩全其美的技術(shù)？flowlet應(yīng)運而生。Flowlet是根據(jù)流中的“空閑”時間間隔將一個流劃分為若干片段。在一個flowlet內(nèi)，數(shù)據(jù)包在時間上緊密連續(xù)；而兩個flowlet之間，存在較大的時間間隔。這一間隔遠(yuǎn)大于同一流分片內(nèi)數(shù)據(jù)包之間的時間間隔，足以使兩個流分片通過不同的網(wǎng)絡(luò)路徑傳輸而不發(fā)生亂序。

并行計算過程中，計算和通信是交替進(jìn)行的。因而AI并行訓(xùn)練和推理產(chǎn)生的流量是典型的flowlet。

當(dāng)網(wǎng)絡(luò)發(fā)生擁塞時，可將flowlet調(diào)度到較空閑的鏈路上以緩解壓力。在AI訓(xùn)練和推理網(wǎng)絡(luò)中，RDMA流通常較持久，訓(xùn)練流可能持續(xù)數(shù)分鐘至數(shù)小時，推理流多為數(shù)秒至數(shù)分鐘，而flowlet則以微秒到毫秒級的短暫突發(fā)為主。這種基于flowlet的精細(xì)調(diào)度能有效優(yōu)化流量分配，顯著降低網(wǎng)絡(luò)擁塞，從而提高網(wǎng)絡(luò)利用率。

基于遙測的路由

將傳統(tǒng)OSPF的靜態(tài)度量升級為時延、丟包、利用率等多維度動態(tài)權(quán)重。通過部署在Spine層的分布式?jīng)Q策單元，實現(xiàn)10ms級別的全網(wǎng)狀態(tài)同步與路徑重計算。某自動駕駛公司的實測表明，突發(fā)流量下的路徑切換延遲從秒級降至毫秒級。

基于遙測的路由（Int-based Routing）技術(shù)結(jié)合OSPF、BGP和在網(wǎng)遙測（INT）技術(shù)，為網(wǎng)絡(luò)中任意一對節(jié)點之間計算多條路徑，每個路徑的開銷是動態(tài)測量的延遲，從而能夠根據(jù)實時的網(wǎng)絡(luò)負(fù)載進(jìn)行路由，從而充分利用每個路徑的帶寬。

WCMP

ECMP技術(shù)將包、flowlet或整個流均勻的分布到多個路徑上，忽略了不同路徑上的實際負(fù)載。為了進(jìn)一步提升網(wǎng)絡(luò)利用率。星融元采用加權(quán)代價多路徑（Weighted Cost Multiple Path）算法，基于遙測獲取的時延等信息，在時延更低的路徑上調(diào)度更多的流量，在時延更高的路徑上調(diào)度更少的流量，從而實現(xiàn)所有路徑的公平利用。在理想情況下，流量經(jīng)過不同路徑的總時延是相等的，可充分利用所有可用帶寬。

隨著AI大模型參數(shù)規(guī)模突破10萬億，超級以太網(wǎng)正從技術(shù)概念演變?yōu)樗懔A(chǔ)設(shè)施的關(guān)鍵支柱。通過架構(gòu)革新與協(xié)議棧重構(gòu)，網(wǎng)絡(luò)利用率突破90%已具備工程可行性。這不僅意味著數(shù)據(jù)中心OPEX的大幅降低，更將推動AI訓(xùn)練效率進(jìn)入新的數(shù)量級，加速通用人工智能時代的到來。

【參考文獻(xiàn)】
[1] Ultra Ethernet Consortium, “Ultra Ethernet Introduction” 15th October 2024.
[2] Asterfusion, “Unveiling AI Data Center Network Traffic” https://cloudswit.ch/blogs/ai-data-center-network-traffic/.
[3] Asterfusion, “What is Leaf-Spine Architecture and How to Build it?” https://cloudswit.ch/blogs/what-is-leaf-spine-architecture-and-how-to-build-it/.