超以太網(wǎng)聯(lián)盟（UEC）成立于2023年，由Linux基金會(huì)聯(lián)合Meta、微軟、AMD、博通等科技巨頭共同發(fā)起，旨在解決AI/ML和HPC場(chǎng)景下傳統(tǒng)以太網(wǎng)的性能瓶頸。隨著千卡級(jí)AI集群成為主流，網(wǎng)絡(luò)擁塞、延遲敏感型流量調(diào)度、大規(guī)模密鑰管理等挑戰(zhàn)日益凸顯。UEC 1.0規(guī)范作為首個(gè)正式版本，聚焦傳輸層協(xié)議革新與跨層協(xié)同優(yōu)化，其核心思想是基于以太網(wǎng)架構(gòu)增強(qiáng)而非顛覆，通過(guò)分層解耦設(shè)計(jì)兼容現(xiàn)有生態(tài)。

超以太網(wǎng)系統(tǒng)架構(gòu)

集群組成邏輯

• 節(jié)點(diǎn)（Node）?：搭載UEC網(wǎng)卡的計(jì)算單元
• 網(wǎng)絡(luò)端點(diǎn)（FEP）?：每張網(wǎng)卡支持多個(gè)邏輯端點(diǎn)
• 平面（Plane）?：多個(gè)FEP通過(guò)交換機(jī)互聯(lián)形成的子網(wǎng)
• 雙模協(xié)同：支持并行作業(yè)（如AI訓(xùn)練）與C/S模式（如推理服務(wù)）混合部署

流量調(diào)度的核心機(jī)制

• 負(fù)載均衡：基于ECMP多路徑路由
• 擁塞感知：通過(guò)UET傳輸層的CMS子層管理熵值
• 差異化服務(wù)：利用IP報(bào)頭DSCP字段實(shí)現(xiàn)流量類別映射，保障高優(yōu)先級(jí)流量（如All-Reduce）

流量類別映射關(guān)系如下圖所示，實(shí)現(xiàn)從應(yīng)用層請(qǐng)求到鏈路層調(diào)度的跨層協(xié)同：

協(xié)議棧演進(jìn)與關(guān)鍵技術(shù)

軟件層：開(kāi)放生態(tài)兼容

超以太網(wǎng)軟件層的一個(gè)關(guān)鍵構(gòu)建模塊是開(kāi)放架構(gòu)接口 (Open Fabric Interfaces)，也稱 LibFabric。

Libfabric 定義了一套面向高性能并行和分布式應(yīng)用程序的通信 API，其主要目標(biāo)是提供一個(gè)統(tǒng)一的接口，讓開(kāi)發(fā)者能夠方便地構(gòu)建應(yīng)用，而無(wú)需關(guān)心底層具體的傳輸協(xié)議和硬件細(xì)節(jié)?，F(xiàn)有的 LibFabric 已經(jīng)可對(duì)接 AI 或 HPC 集群所需的各類高性能通信庫(kù)，例如 NCCL（來(lái)自 Nvidia）、RCCL（來(lái)自 AMD）、MPI（原始超級(jí)計(jì)算并行通信）、Open SHMEM（共享內(nèi)存）和 UD（不可靠數(shù)據(jù)報(bào)）。

UEC 1.0 規(guī)范中確定的 Libfabric API 基線版本是 v2.0 ，并將與 Libfabric 社區(qū)保持合作，允許集群中的Endpoint（網(wǎng)卡）與 AI 框架和 HPC 工作負(fù)載進(jìn)行交互；此外一些規(guī)范內(nèi)的可選功能還需要交換機(jī)支持（例如數(shù)據(jù)包修剪），為此，網(wǎng)絡(luò)操作系統(tǒng)（NOS）需要對(duì)應(yīng)新增擴(kuò)展。

傳輸層（UET）四維革新

1. 語(yǔ)義子層（SES）?
SES子層旨在通過(guò) Libfabric 映射集成到廣泛部署的 A I框架和 HPC 庫(kù)中，是 UET 和 Libfabric 之間的主要接口。它使用 Libfabric 的應(yīng)用程序通過(guò)網(wǎng)絡(luò)交換消息，并使用流行的零拷貝技術(shù)將這些消息直接放入彼此的緩沖存儲(chǔ)器中。
2. 傳輸協(xié)議矩陣（PDS）?
通過(guò)UET分層模型和相關(guān)庫(kù)，應(yīng)用程序可以選擇最適合其需求的傳輸協(xié)議功能。PDS子層定義了一種具有多種操作模式的協(xié)議，提供可靠無(wú)序RUD、可靠有序（ROD）、冪等可靠無(wú)序（RUDI）、不可靠無(wú)序（UUD）幾種組合模式的數(shù)據(jù)包傳輸服務(wù)。
3. 擁塞控制（CMS）?
UET 定義了一種端到端的擁塞管理解決方案 UET-CC（UET Congestion Control），用于解決有損以太網(wǎng)中的數(shù)據(jù)包緩沖區(qū)擁塞問(wèn)題。其目標(biāo)是實(shí)現(xiàn)較高的網(wǎng)絡(luò)效率，減少數(shù)據(jù)包丟失，并確保競(jìng)爭(zhēng)流之間的合理公平性。
4. 傳輸安全子層（TSS）：
UET采用了新的密鑰管理機(jī)制，允許在參與作業(yè)的大量計(jì)算節(jié)點(diǎn)之間高效共享密鑰。推薦的加密算法是后量子（post-quantum） DES 密碼。

網(wǎng)絡(luò)層：擁塞應(yīng)急機(jī)制

超以太網(wǎng)的網(wǎng)絡(luò)層功能規(guī)范是可選模塊，沒(méi)有對(duì)網(wǎng)絡(luò)層進(jìn)行任何更改（依然是運(yùn)行IP網(wǎng)絡(luò)），該部分主要討論的是數(shù)據(jù)包修剪（Packet Trimming）。
網(wǎng)絡(luò)交換機(jī)在繁忙的端口轉(zhuǎn)發(fā)數(shù)據(jù)包之前，會(huì)將其存儲(chǔ)在緩沖區(qū)中，且受到芯片面積的限制。如果緩沖區(qū)無(wú)法容納到達(dá)的數(shù)據(jù)包，交換機(jī)要么丟棄數(shù)據(jù)包，要么向上游端口發(fā)出暫停流量信號(hào)。眾所周知，這兩種解決方案都存在性能問(wèn)題。

數(shù)據(jù)包修剪功能即是超以太網(wǎng)定義的一種應(yīng)對(duì)交換機(jī)緩沖區(qū)不足的機(jī)制，是擁塞通知的一種附加機(jī)制，用于在網(wǎng)絡(luò)過(guò)載時(shí)減少數(shù)據(jù)負(fù)載。

簡(jiǎn)言之是允許交換機(jī)截?cái)嘤袪?zhēng)議的數(shù)據(jù)包，修改截?cái)鄶?shù)據(jù)包的 DSCP 字段，并將截?cái)鄶?shù)據(jù)包作為擁塞信號(hào)轉(zhuǎn)發(fā)到目的地。數(shù)據(jù)包修剪提供的擁塞信息比ECN多得多。對(duì)于交換機(jī)來(lái)說(shuō)，數(shù)據(jù)包修剪是可選的，而對(duì)于 FEP 來(lái)說(shuō)，接收修剪后的數(shù)據(jù)包則是必須的。

修剪后的數(shù)據(jù)包通常由上層協(xié)議消耗，以確?？焖僦貍鱽G失的數(shù)據(jù)包。因此，在啟用修剪功能時(shí)，這些協(xié)議必須具有修剪感知能力，并且必須能夠根據(jù)收到的修剪數(shù)據(jù)包識(shí)別出原始數(shù)據(jù)包。

所以，其中有個(gè)關(guān)鍵的 MIN_TRIM_SIZE 必須配置為一個(gè)合適的值，以確保在修剪后不影響下一步操作。這個(gè)值需要交換機(jī)根據(jù)每個(gè)數(shù)據(jù)包的封裝類型動(dòng)態(tài)地確定，設(shè)置為足夠保留所有相關(guān)傳輸頭所需的大小。

鏈路層：性能增強(qiáng)選項(xiàng)

超以太網(wǎng)規(guī)定的鏈路層旨在通過(guò)鏈路級(jí)的數(shù)據(jù)包替換和交換機(jī)之間的流量控制來(lái)提升整體性能鏈路層，這些都是可選功能，并且距離完全支持這些功能的產(chǎn)品得以商用還需要較長(zhǎng)的時(shí)間。
1. 鏈路層重試（LLR）
LLR 機(jī)制基于幀。該機(jī)制下，從 MAC 客戶端發(fā)出的的每個(gè)幀都要進(jìn)行評(píng)估。如果 MAC 客戶端不希望對(duì)幀進(jìn)行 LLR，或該幀被歸類為不符合 LLR 條件，那么該幀將作為標(biāo)準(zhǔn)以太網(wǎng)幀發(fā)送。如果幀符合 LLR 條件，則會(huì)被分配一個(gè)序列號(hào)，并存儲(chǔ)在重傳緩沖區(qū)中，以便在對(duì)端未收到幀時(shí)進(jìn)行快速重傳。
2. 基于Credit的流量控制（CBFC）
UE 傳輸（UET）層的定義是利用從源端重傳數(shù)據(jù)包，支持無(wú)序到達(dá)和擁塞控制等組件，來(lái)提供有損網(wǎng)絡(luò)下的端到端可靠數(shù)據(jù)包傳送（而逐跳鏈路是盡力而為的，允許因擁塞而丟棄數(shù)據(jù)包)。在許多情況下，按優(yōu)先級(jí)進(jìn)行鏈路層的無(wú)損數(shù)據(jù)包傳送也很有用，例如小型網(wǎng)絡(luò)和較低負(fù)載的場(chǎng)景由此可以簡(jiǎn)化網(wǎng)絡(luò)管理和端側(cè)配置及其緩沖區(qū)要求。
CBFC 是在逐跳基礎(chǔ)上實(shí)現(xiàn)無(wú)損數(shù)據(jù)包傳輸?shù)囊环N方法，可以消除端到端重傳的可能以及與之相關(guān)的延遲，其大致機(jī)制是：發(fā)送方以credit為單位跟蹤接收方的可用緩沖空間，只有當(dāng)接收方有足夠的緩沖空間時(shí)，發(fā)送方的數(shù)據(jù)包調(diào)度器才可以從無(wú)損 VC 隊(duì)列中調(diào)度數(shù)據(jù)包進(jìn)行傳輸。

3. 超以太網(wǎng)鏈路協(xié)商
該規(guī)范提倡使用描述所需和可選功能的“配置文件”，從而在所有網(wǎng)絡(luò)實(shí)體之間檢測(cè)、發(fā)現(xiàn)和達(dá)成共識(shí)，以便與配置文件支持的功能進(jìn)行互操作。

生態(tài)落地實(shí)踐

作為 UEC 成員單位，星融元提供的超低時(shí)延數(shù)據(jù)中心交換機(jī)（CX-N系列）采用高性能的25G-800G 端口速率規(guī)格網(wǎng)絡(luò)硬件，搭載為生產(chǎn)環(huán)境深度調(diào)優(yōu)的企業(yè)級(jí)SONiC發(fā)行版和多項(xiàng) EasyRoCE 特性，提供靈活、廣大的升級(jí)空間，未來(lái)將平滑演進(jìn)與新一代以太網(wǎng)標(biāo)準(zhǔn)保持同步。