AI集群訓練過程中，參數(shù)通過高速互聯(lián)網(wǎng)絡在不同的服務器間進行同步交互，這些通信流量具有共同的特征：流量成周期性、流數(shù)量少、流量長連接、并行任務間有強實時同步性要求，通信效率取決于最慢的節(jié)點，并且AI集群訓練場景下，傳輸?shù)臄?shù)據(jù)量較大。上述的流量特征導致網(wǎng)絡較易出現(xiàn)負載分擔不均、整網(wǎng)吞吐下降的問題，從而影響AI集群訓練的性能。

當前網(wǎng)絡均衡的主流技術(shù)有三種，逐流（Flow-based）ECMP均衡、基于子流flowlet均衡和逐包（Packet-based）ECMP均衡。逐流ECMP均衡，是當前最為常用的負載均衡算法，基于流量的五元組進行HASH負載均衡，在流鏈接數(shù)量較多的場景下適用，它優(yōu)勢在于無亂序，劣勢在于流數(shù)量較少時，例如AI訓練場景下，存在HASH沖突問題，網(wǎng)絡均衡效果不佳?；谧恿鱢lowlet均衡技術(shù)，它依賴于子流之間時間間隔GAP值的正確配置來實現(xiàn)均衡，但由于網(wǎng)路中全局路徑級時延信息不可知，因此GAP值無法準確配置。同時，該技術(shù)存在接收端側(cè)亂序的問題。逐包（Packet-based）ECMP均衡，理論上均衡度最好，但實際在接收端側(cè)存在大量亂序問題，現(xiàn)實中幾乎無使用案例。

現(xiàn)有創(chuàng)新的網(wǎng)絡均衡技術(shù)NSLB是面向AI訓練場景量身打造的，根據(jù)該場景下的流量特征，將搜集到的整網(wǎng)信息作為創(chuàng)新算路算法的輸入，從而得到最優(yōu)的流量轉(zhuǎn)發(fā)路徑，實現(xiàn)AI訓練場景下整網(wǎng)流量100%的均衡度和AI訓練性能的提升。

利用12臺GPU服務器（每臺服務器包含1塊型號為Tesla v100S PCIe 32GB的GPU卡），4臺華為交換機組成2級CLOS網(wǎng)絡（其中2臺交換機作為接入層交換機，每臺下掛6臺服務器，使用100GE單端口接入，2臺交換機作為匯聚交換機，每臺與接入層交換機之間使用6個100GE端口互聯(lián)）的AI訓練集群，運行開源Tensorflow深度學習平臺上的VGG16深度學習網(wǎng)絡模型。以下為采用NSLB技術(shù)運行單計算任務和多計算任務時，AI訓練性能的提升結(jié)果。

Ring算法場景，運行單個計算任務下，使用NSLB技術(shù)對比典型ECMP負載分擔技術(shù)，AI訓練集性能最高提升113.41%。

Ring算法場景，運行兩個計算任務下，使用NSLB技術(shù)對比典型ECMP負載分擔技術(shù)，AI訓練集性能最高提升57.29%。

高性能計算、AI模型訓練等應用場景，以及數(shù)據(jù)中心網(wǎng)絡/云網(wǎng)絡在架構(gòu)上的發(fā)展（資源池化），均要求網(wǎng)絡傳輸排隊時延和吞吐上的進一步性能提升。例如，為了保證性能損失在5%以內(nèi)，數(shù)據(jù)庫集群系統(tǒng)要求至少40Gbps的吞吐和3us的網(wǎng)絡RTT。為了達到極低時延的傳輸，應當盡力降低網(wǎng)絡設備上的排隊時延，同時維持接近瓶頸鏈路滿吞吐。

隨著業(yè)務發(fā)放速度的不斷加快，以及引入了VM、容器等虛擬化技術(shù)，網(wǎng)絡流量的不確定性增加。而當前運維手段有限，仍然依靠傳統(tǒng)網(wǎng)管和命令行方式進行查看、監(jiān)控，分鐘級的網(wǎng)絡監(jiān)控已經(jīng)無法滿足業(yè)務秒級體驗保障的要求，往往被動感知故障。故障發(fā)生后，定位仍主要依賴專家經(jīng)驗，利用多種輔助工具，逐段定界、逐流分析、抓包定位，效率十分低下。

為了解決上述故障收斂慢的問題，提出了一種基于網(wǎng)絡設備數(shù)據(jù)面的鏈路故障快速自愈技術(shù)，稱為DPFF（Data Plane Fast Failover）。該技術(shù)基于轉(zhuǎn)發(fā)芯片的硬件可編程能力構(gòu)建。DPFF從傳統(tǒng)的基于控制面軟件協(xié)議的收斂方式演進到基于數(shù)據(jù)面硬件極速感知故障和快速換路的收斂方式，并且基于數(shù)據(jù)面硬件實現(xiàn)遠程通告和快速換路，可達到亞毫秒級（<1ms）的收斂速度，將對業(yè)務性能的影響降至最低。該技術(shù)為高性能數(shù)據(jù)庫、存儲以及超算等關鍵應用提供了極致的高可靠性保證和穩(wěn)定性體驗。

實驗室采用4臺華為交換機組成2級CLOS網(wǎng)絡（其中2臺交換機作為接入層交換機，每臺下掛>2臺服務器，2臺交換機作為匯聚交換機），利用vdbench 測試套件，客戶端服務器與存儲陣列建立兩個連接，每連接8個qp，并發(fā)訪問8個SSD磁盤。通過拔光纖模擬鏈路故障。256KB message size，16 threads，write IO , 觀察鏈路故障發(fā)送后的IOPS指標。

測試結(jié)論：DPFF方案下鏈路故障對IOPS性能幾乎沒有影響，而OSPF協(xié)議收斂方案下IOPS出現(xiàn)多秒跌零情況。

利用Benchmarksql測試套件進行在線事務處理模型的測試，又稱TPC-C測試。統(tǒng)計每百毫秒周期內(nèi)完成的在線事務的數(shù)量，通過查看該數(shù)量值的變化測試收斂性能對業(yè)務性能的影響。模擬鏈路故障，重復測試4次， 觀察在線交易事務受影響情況。

測試結(jié)論：DPFF收斂方案比傳統(tǒng)的OSPF收斂方案在鏈路故障下，每100ms周期內(nèi)完成交易事務數(shù)量下降減少60%~80%。

計算集群網(wǎng)絡傳統(tǒng)采用CLOS架構(gòu)，以業(yè)界常見的64口盒式交換機為例，3級CLOS架構(gòu)，最大可支持6.5萬服務器接口，不滿足10E級計算集群規(guī)模訴求。如果增加網(wǎng)絡層數(shù)則會帶來網(wǎng)絡跳數(shù)增加，通信時延不滿足業(yè)務需求。

業(yè)界針對該問題開展了多樣的架構(gòu)研究和新拓撲的設計。直連拓撲在超大規(guī)模組網(wǎng)場景下，因為網(wǎng)絡直徑短，具備低成本、端到端通信跳數(shù)少的特點。以64口盒式交換機構(gòu)建10萬個節(jié)點超大規(guī)模集群為例，傳統(tǒng)的CLOS架構(gòu)需要部署4層組網(wǎng)，端到端通信最大需要跨7跳交換機。使用無阻塞直連拓撲組網(wǎng)，端到端交換機轉(zhuǎn)發(fā)跳數(shù)最少只3跳，交換機臺數(shù)(整體投資)下降40%。

采用12臺GPU服務器，每臺服務器2塊GPU卡，型號Tesla v100s；2塊CX6-Dx網(wǎng)卡，網(wǎng)卡是100G單端口接入。OSU MPI Benchmark測試AllReduce集合通信操作，DF相對FT組網(wǎng)，任務完成時間最高提升39.47%，總體提升21.63%。

OSU MPI Benchmark測試Alltoall集合通信操作， DF相對FT組網(wǎng)，任務完成時間最高提升56.53%，總體提升49.71%。

隨著高性能網(wǎng)絡的全以太化發(fā)展，超融合以太網(wǎng)絡同時承載計算、存儲、管理和虛擬化等多種業(yè)務流量。為了追求更極致的性能，不同業(yè)務流量之間，極易出現(xiàn)互相干擾現(xiàn)象，競爭網(wǎng)絡側(cè)有限的端口轉(zhuǎn)發(fā)資源。

為了解決這個難題，提出超融合智能無損網(wǎng)絡方案，將業(yè)務級SLA智能保障技術(shù)引入到交換機中，用iLoss-less智能無損算法代替專家經(jīng)驗，對網(wǎng)絡流量的變化進行基于隊列級捕獲和預測，實現(xiàn)細粒度動態(tài)差異化優(yōu)化。結(jié)合不同業(yè)務的流量變化情況以及業(yè)務特征，實現(xiàn)不同業(yè)務流量差異化動態(tài)優(yōu)化保障。

根據(jù)實驗室測試，采用3臺華為交換機組成2級Spine-Leaf組網(wǎng)，每臺接入層交換機下掛16臺100GE服務器，Spine與每個Leaf之間采用4個400G互聯(lián)(1:1收斂)。在計算和存儲benchmark流量混跑的測試環(huán)境下，智能無損算法相比于傳統(tǒng)算法配置，在保持存儲持平前提下，能夠有效降低計算任務的總體完成時間，在測試場景中實現(xiàn)最高20%以上的計算時延降低。

審核編輯：湯梓紅