什么是ECN？

顯式擁塞通知（ECN）是計(jì)算機(jī)網(wǎng)絡(luò)中的一種機(jī)制，它允許發(fā)送設(shè)備明確地通知接收設(shè)備網(wǎng)絡(luò)擁塞，而不是依賴于傳統(tǒng)的“丟包”方法。在傳統(tǒng)的TCP/IP網(wǎng)絡(luò)中，當(dāng)路由器或交換機(jī)出現(xiàn)擁塞時(shí)，它會(huì)丟棄數(shù)據(jù)包以防止進(jìn)一步的數(shù)據(jù)包丟失，這是有損的。

ECN通過(guò)引入一種新的數(shù)據(jù)包標(biāo)記類型來(lái)解決這些問(wèn)題，這種標(biāo)記稱為 “CE” （經(jīng)歷擁塞），它在不丟棄數(shù)據(jù)包的情況下通知發(fā)送方網(wǎng)絡(luò)擁塞。ECN允許設(shè)備做出智能化的決策，以減少它們的流量速率來(lái)緩解擁塞。在這種情況下，端側(cè)擁塞控制協(xié)議，比如DCQCN將被用來(lái)減少流量速率以進(jìn)行擁塞控制。

ECN如何工作？

ECN標(biāo)記機(jī)制的工作原理是基于出口隊(duì)列利用率來(lái)使用標(biāo)記概率線。當(dāng)隊(duì)列使用率低于最小閾值（Kmin）時(shí)，不標(biāo)記任何數(shù)據(jù)包。對(duì)于Kmin和Kmax之間的隊(duì)列使用率，應(yīng)用概率P來(lái)標(biāo)記數(shù)據(jù)包。

sonic-mgmt/docs/ECN-test-plan.md at master · sonic-net/sonic-mgmt

SONiC無(wú)損隊(duì)列？

交換機(jī)隊(duì)列（如圖1）是存儲(chǔ)等待被交換機(jī)轉(zhuǎn)發(fā)數(shù)據(jù)包的緩沖區(qū)。它就像一個(gè)臨時(shí)存儲(chǔ)區(qū)域，數(shù)據(jù)包在這里暫時(shí)存儲(chǔ)，然后被傳輸?shù)剿鼈兊淖罱K目的地。

圖1、端口隊(duì)列

“SONiC默認(rèn)有兩個(gè)無(wú)損優(yōu)先級(jí)：3和4。需要注意的是，只有無(wú)損優(yōu)先級(jí)才能對(duì)PFC幀做出反應(yīng)或生成PFC幀。換句話說(shuō)，PFC幀不應(yīng)該對(duì)有損優(yōu)先級(jí)的流量有任何影響。DSCP 3和4的數(shù)據(jù)包分別映射到優(yōu)先級(jí)3和4。”

sonic-mgmt/docs/testplan/PFC-test-plan.md at master · sonic-net/sonic-mgmt

本例中，我們不采用優(yōu)先級(jí)流控制（PFC）來(lái)管理?yè)砣?，只是遵循SONiC無(wú)損隊(duì)列的指導(dǎo)原則。

把AI負(fù)載的DSCP映射到隊(duì)列中，需要如下的步驟：

映射DSCP-TC → 綁定接口DSCP-TC配置 → 映射TC-queue → 綁定接口TC-queue配置。

?把DSCP映射Traffic Class（TC）（圖2）。

圖2、DSCP映射到Traffic Class

?你可以通過(guò)config命令（需要sudo）創(chuàng)建多個(gè)dscp-tc的配置（圖3）。

圖3、創(chuàng)建dscp-tc配置

?為接口綁定dscp-tc配置，如下命令，其中AZURE是創(chuàng)建的profile的名稱，Ethernet144是綁定的端口

config interface qos dscp-tc bind Ethernet144 AZURE

?映射Traffic Class到隊(duì)列

圖4、TC與隊(duì)列映射配置

?為接口綁定tc-queue配置，如下命令

config interface qos tc-queue bind Ethernet144 AZURE

隊(duì)列的緩存配置

交換機(jī)上的入口和出口緩沖區(qū)在轉(zhuǎn)發(fā)過(guò)程中都扮演著關(guān)鍵角色。具體來(lái)說(shuō)，入口緩沖區(qū)有助于觸發(fā)PFC的決策過(guò)程，而出口緩沖區(qū)則在決定何時(shí)用ECN-CE標(biāo)記數(shù)據(jù)包方面起著至關(guān)重要的作用。

圖5、入口及出口緩沖區(qū)

同時(shí)，你還需要為接口配置緩沖區(qū)大小。如下命令，其中egress_lossless_profile 為緩沖區(qū)配置的名稱。

config interface buffer bind queue Ethernet144 3 egress_lossless_profile

ECN水線調(diào)優(yōu)

通過(guò)SONiC ECN設(shè)置，您可以配置多達(dá)三個(gè)不同的[min, max, P]集，這些配置集通過(guò)一個(gè)包含綠色、黃色和紅色后綴來(lái)設(shè)置。在本例中，我們也將利用這個(gè)特性來(lái)探索其潛在益處。

我們將添加一個(gè)新的WRED配置文件‘test’，并首先配置紅色集。

config wred add test --mode ecn

config wred update --ecn-gmin 20000000 --ecn-gmax 26000000 --ecn-gmark 80 --no-ecn-yellow --no-ecn-red --mode ecn test

圖6、第一次嘗試水線

將ECN配置與接口綁定

config interface wred bind queue Ethernet144 3 test

結(jié)合Keysight AI工作負(fù)載模擬和DCQCN特性，我們可以估計(jì)總線帶寬利用率大約為20.77 GB/s，這相當(dāng)于理想帶寬利用率的約42%。被標(biāo)記為ECN-CE的數(shù)據(jù)包數(shù)量較多，這表明流量速率控制介入較晚，導(dǎo)致緩沖區(qū)使用率升高，相應(yīng)地，標(biāo)記概率也較高。

圖7、第一次嘗試集合通信基準(zhǔn)測(cè)試

為了主動(dòng)管理?yè)砣覀兛梢試L試設(shè)置較低的ECN最小和最大閾值，以便更早地觸發(fā)擁塞控制機(jī)制。

config wred update --ecn-gmin 10000000 --ecn-gmax 20000000 --ecn-gmark 80 --no-ecn-yellow --no-ecn-red --mode ecn test

圖8、第二次嘗試水線

在進(jìn)行了這些調(diào)整之后，我們成功地實(shí)現(xiàn)了大約53%的優(yōu)化總線帶寬利用率，同時(shí)在模擬過(guò)程中顯著減少了接收到的ECN-CE數(shù)據(jù)包。

圖9、第二次嘗試集合通信基準(zhǔn)測(cè)試

在嘗試調(diào)整Kmin和Kmax設(shè)置后，我們發(fā)現(xiàn)逐步調(diào)整并不能始終如一地實(shí)現(xiàn)最佳總線帶寬利用率。因此，我們引入了額外的黃色集配置來(lái)進(jìn)一步優(yōu)化性能。

config wred update --ecn-gmin 20000000 --ecn-gmax 30000000 --ecn-gmark 80 --ecn-ymin 2000000 --ecn-ymax 20000000 --ecn-ymark 20 --no-ecn-red --mode ecn test

圖10、第三次嘗試水線

最終我們通過(guò)引入黃色配置集達(dá)到了96%的優(yōu)化總線帶寬利用率，使用少量的ECN-CE數(shù)據(jù)包來(lái)控制擁塞，成功的達(dá)到了調(diào)優(yōu)目標(biāo)。

圖11、第三次嘗試集合通信基準(zhǔn)測(cè)試

總結(jié)

優(yōu)化AI工作負(fù)載的ECN閾值需要精巧的平衡：在確保工作負(fù)載期間沒(méi)有數(shù)據(jù)包丟失的同時(shí)，最小化ECN-CE標(biāo)記。隨著緩沖區(qū)消耗的增加，它可能導(dǎo)致接口上的轉(zhuǎn)發(fā)延遲變長(zhǎng)，最終影響作業(yè)完成時(shí)間。為了克服這一挑戰(zhàn)，早期介入和降低標(biāo)記概率至關(guān)重要。此外，將優(yōu)先級(jí)流控制（PFC）作為補(bǔ)充解決方案可以進(jìn)一步增強(qiáng)擁塞管理并優(yōu)化整體系統(tǒng)性能。

關(guān)于是德科技

是德科技（NYSE：KEYS）啟迪并賦能創(chuàng)新者，助力他們將改變世界的技術(shù)帶入生活。作為一家標(biāo)準(zhǔn)普爾 500 指數(shù)公司，我們提供先進(jìn)的設(shè)計(jì)、仿真和測(cè)試解決方案，旨在幫助工程師在整個(gè)產(chǎn)品生命周期中更快地完成開(kāi)發(fā)和部署，同時(shí)控制好風(fēng)險(xiǎn)。我們的客戶遍及全球通信、工業(yè)自動(dòng)化、航空航天與國(guó)防、汽車、半導(dǎo)體和通用電子等市場(chǎng)。我們與客戶攜手，加速創(chuàng)新，創(chuàng)造一個(gè)安全互聯(lián)的世界。