摘要

2022年11月9日-10日，第十屆數(shù)據(jù)中心標(biāo)準(zhǔn)峰會(huì)在北京隆重召開(kāi)，峰會(huì)以“匯聚雙碳科技 夯實(shí)數(shù)據(jù)之基”為主題，康普北亞區(qū)技術(shù)總監(jiān)吳健在本次峰會(huì)上以《尋找數(shù)據(jù)中心網(wǎng)絡(luò)發(fā)展的確定性》為題發(fā)表演講，現(xiàn)將精彩內(nèi)容整理如下，供數(shù)據(jù)中心廣大從業(yè)者學(xué)習(xí)交流。

以下為演講實(shí)錄

今天的世界有很多的不確定性因素，“在不確定性中找到確定性”尤為重要。對(duì)于網(wǎng)絡(luò)來(lái)說(shuō)，各種技術(shù)流派都在發(fā)展，迭代更新日新月異，我們總在思考如何在發(fā)展中找到確定性的因素。

高密度與節(jié)能

第一個(gè)確定性就是“高密度”。不同的從業(yè)者對(duì)高密度的理解可能不一樣，有人認(rèn)為是配電的密度，也可能是制冷的密度，可能是空間密度，也可能是網(wǎng)絡(luò)接口的密度。對(duì)于網(wǎng)絡(luò)來(lái)說(shuō)，“高密度”更多地體現(xiàn)著高速率和高性能。

以太網(wǎng)的發(fā)展

IEEE組織每年都會(huì)更新以太網(wǎng)發(fā)展的線(xiàn)路圖，我們已經(jīng)走過(guò)了一個(gè)時(shí)代，那就就是10G到100G的時(shí)代；那么接下來(lái)，我們會(huì)進(jìn)入一個(gè)新的時(shí)代，我們需要思考100G之后的時(shí)代是什么技術(shù)路線(xiàn)？100G之后的確定性是什么？100G之后發(fā)展的決定性因素又是什么？ 放眼200G、400G、800G、1.6T等各種前瞻性技術(shù)，100G之后最具有確定性和生命力的應(yīng)該是400G?？v觀(guān)線(xiàn)路圖我們?nèi)匀荒苷业揭粋€(gè)參數(shù)、一個(gè)因素、或一個(gè)確定性，那就是：四倍速迭代。有了25G單通道能力，于是就有了100G的網(wǎng)絡(luò)；有了100G的單通道，于是就有了400G的網(wǎng)絡(luò)；有了200G的應(yīng)用，也很容易達(dá)到800G網(wǎng)絡(luò)；當(dāng)400G成熟時(shí)，必然會(huì)成型 1.6T的網(wǎng)絡(luò)，這就是確定性。以太網(wǎng)已經(jīng)不再延續(xù)過(guò)去1M，100M，1000M，10G這樣的10倍速迭代。

交換機(jī)的發(fā)展

從最近四代網(wǎng)絡(luò)交換機(jī)的技術(shù)發(fā)展來(lái)看，基本上印證了高密度的趨勢(shì)。隨著數(shù)據(jù)交換密度越來(lái)越高，芯片集成度也越來(lái)越高。例如25.6T交換機(jī)需要14納米的芯片支持，到51.2T需要7納米的技術(shù)。在網(wǎng)絡(luò)技術(shù)發(fā)展過(guò)程中，有一個(gè)非常重要的決定性因素，實(shí)現(xiàn)高效率地?cái)?shù)據(jù)交換，必須不斷地基于單通道疊加復(fù)用，交換機(jī)內(nèi)借助于電氣通道的復(fù)用，交換機(jī)外借助于光纖通道的堆疊，才能達(dá)到高速率。這就是搭建高速網(wǎng)絡(luò)架構(gòu)地底層邏輯。 所以確定性因素是什么？要達(dá)到更高速的數(shù)據(jù)交換，必須要有更高速的單通道能力。通俗地說(shuō)，服務(wù)器速率決定著網(wǎng)絡(luò)速率的迭代或疊加需求，而單通道速率則是由光電芯片決定的。光電轉(zhuǎn)換的通道速率，由芯片制成技術(shù)決定，進(jìn)而最終形成高密度交換機(jī)的成果。

大家的個(gè)人經(jīng)驗(yàn)是，服務(wù)器作為計(jì)算單元與交換機(jī)路由器等網(wǎng)絡(luò)傳輸設(shè)備來(lái)比較，前者更耗能。隨著網(wǎng)絡(luò)速率的迭代，事實(shí)是否如此？我們來(lái)看一下數(shù)據(jù)分析，從2010年到2022年，這12年中帶寬增長(zhǎng)了80倍；這是從交換機(jī)的升級(jí)過(guò)程來(lái)計(jì)算的，比如從640G交換容量發(fā)展到今天的51.2T交換容量，速率提高了80倍，能耗提升了22倍。這時(shí)我們看到一個(gè)好消息，也看到一個(gè)壞消息：好消息是密度提高，能效提高了，更節(jié)能了；壞消息是單一設(shè)備能耗的絕對(duì)值提升了，基礎(chǔ)設(shè)施面臨挑戰(zhàn)。

從能耗的細(xì)分組成來(lái)看，總能耗提升了22倍，而與光電器件相關(guān)的能耗卻提升了26倍之多；實(shí)驗(yàn)數(shù)據(jù)顯示，隨著速率提高，耗能貢獻(xiàn)最大的不是CPU，不是GPU，而是光電轉(zhuǎn)換器件，是光通訊器件。所以通訊能耗增長(zhǎng)速率遠(yuǎn)遠(yuǎn)大于計(jì)算處理器的能耗，意味著當(dāng)網(wǎng)絡(luò)向高速邁進(jìn)時(shí)，光通訊技術(shù)，以及光電芯片的技術(shù)發(fā)展決定著整個(gè)網(wǎng)絡(luò)的能耗。這就是我要給大家的一個(gè)提示：重視網(wǎng)絡(luò)設(shè)備的能耗。當(dāng)然，這里的通訊是指廣義的通信，包含了IT設(shè)備內(nèi)部的數(shù)據(jù)交換和IT設(shè)備外部的傳輸。

從長(zhǎng)期的技術(shù)演進(jìn)看，ASIC的耗能不再占據(jù)IT設(shè)備耗能的主導(dǎo)地位，此類(lèi)現(xiàn)象只在IT界存在嗎？ 如果把人的大腦與數(shù)據(jù)社會(huì)的數(shù)據(jù)中心做類(lèi)比，人腦是人體耗能最高的單一器官，大約耗掉人體20%的能量。這里面大概有800億到1000億個(gè)神經(jīng)元，這些神經(jīng)元主要負(fù)責(zé)計(jì)算，仿佛是信息社會(huì)的服務(wù)器，那么神經(jīng)系統(tǒng)的組成部分中，那個(gè)部分是最耗能的呢？科學(xué)研究表明是軸突和樹(shù)突。軸突可以理解為單模光纖完成遠(yuǎn)端連接，樹(shù)突可以理解為多模光纖完成近端連接，它們一起來(lái)完成人腦計(jì)算的溝通和通訊。實(shí)驗(yàn)數(shù)據(jù)顯示神經(jīng)元間的通訊耗能竟然是計(jì)算耗能的35倍， 我們的大量能量不是用在計(jì)算上，而是用在通訊上，用在溝通上，用在連接上！或許超出了各位的傳統(tǒng)認(rèn)知。 正如數(shù)據(jù)中心作為一個(gè)高耗能的場(chǎng)地，其帶動(dòng)和代表著信息社會(huì)這個(gè)“人體”的智慧程度，同時(shí)我們必須重視另一個(gè)趨勢(shì)：能量不僅僅用于計(jì)算上，而是更多地用在連接上。隨著高性能網(wǎng)絡(luò)的發(fā)展，未來(lái)數(shù)據(jù)中心網(wǎng)絡(luò)通訊的耗能有可能大幅度增加。這是對(duì)基礎(chǔ)設(shè)施的挑戰(zhàn)之一。

“高密度”是確定的，如果有了高密度的交換機(jī)，新的架構(gòu)就可以?huà)仐壓芏嗟托阅艿慕粨Q機(jī)，被少量高密度高性能的交換機(jī)所取代，從而達(dá)到低延時(shí)，高可用性，節(jié)能，節(jié)省總成本的目的。這就是我提到的第一個(gè)確定性-高密度。

網(wǎng)絡(luò)架構(gòu)的優(yōu)化

再來(lái)看第二個(gè)確定性，網(wǎng)絡(luò)架構(gòu)的演進(jìn)。很多年前，數(shù)據(jù)中心網(wǎng)路在“東西流量”大于“南北流量”的業(yè)務(wù)模型驅(qū)動(dòng)下，從傳統(tǒng)三層架構(gòu)在向（Leaf-Spine）扁平架構(gòu)推演。而所謂Leaf-Spine是邏輯上的兩層架構(gòu)，并非真正的兩層架構(gòu)，因?yàn)樵贚eaf-Spine交換機(jī)互聯(lián)之下，通常會(huì)下掛一個(gè)TOR交換機(jī)。如果一組服務(wù)器群要連入到Leaf-Spine云中去，它至少跳轉(zhuǎn)了三級(jí)設(shè)備區(qū)域：由TOR交換機(jī)，到Leaf交換機(jī)，最后到Spine交換機(jī)。而此時(shí)，盡管大容量的交換效率提升了很多，東西流量的可靠性和一致性提升很多，但是依然沒(méi)有跳出三層交換的構(gòu)架模型。過(guò)去，TOR交換機(jī)在數(shù)據(jù)中心中起到有效的服務(wù)器接入作用，在高性能高密度數(shù)據(jù)中心中完成收斂、轉(zhuǎn)發(fā)、匯聚等作用， 功不可沒(méi)。直到顛覆性的技術(shù)出現(xiàn)，該架構(gòu)將面臨挑戰(zhàn)。

我們需要顛覆性的技術(shù)就是VSFF，便于中文表述，在這里我把它稱(chēng)作“微雙工”。它是一種新型連接器，適用于高密度的連接，也是一種網(wǎng)絡(luò)收斂策略，借助于微雙工可以把高速接口分成兩個(gè)或四個(gè)低速接口，就是“一對(duì)二”或“一對(duì)四”的連接關(guān)系。四倍速率的確定性因素再次出現(xiàn)。同時(shí)，微雙工的出現(xiàn)，為“去除TOR”帶來(lái)了一個(gè)契機(jī)。 眾所周知，LC是一種非常普遍的雙工連接器，而微雙工比LC尺寸還要小，配合接口高密度的趨勢(shì)，更加微小靈活的連接器應(yīng)運(yùn)而生，目前國(guó)內(nèi)外有很多連接器廠(chǎng)商正在提供自有專(zhuān)利的VSFF接口。如你所知，MPO也是一種高密度接口，那么為何還需要微雙工呢？這里還有一個(gè)驅(qū)動(dòng)因素，那就是靈活性。用一根MPO-LC扇形分支纜，可以形成一對(duì)多的分支連接關(guān)系，比如MPO12分為6組LC雙工，但是在MPO側(cè)則是固定的，無(wú)法快速拆分與聚合。高密度和靈活性是IT技術(shù)發(fā)展的兩個(gè)必要因素和重要因素。

到了400G/800G時(shí)代，微雙工出現(xiàn)后，可以在Leaf/Spine網(wǎng)絡(luò)架構(gòu)中去除TOR置頂交換機(jī)。隨著單通道100G的成熟，服務(wù)器接口速率可能提升到100G，這時(shí)TOR交換機(jī)夾在100G服務(wù)器和400Gleaf交換機(jī)之間，只會(huì)制約網(wǎng)絡(luò)速率和增加網(wǎng)絡(luò)延時(shí)，因此必須去除TOR這一層有源設(shè)備。如果不這樣優(yōu)化架構(gòu)，TOR這種過(guò)去的“法寶” 將成為今后的桎梏，它帶來(lái)了更多的能耗、更多轉(zhuǎn)發(fā)跳轉(zhuǎn)和更大的延時(shí)。400G以后的網(wǎng)絡(luò)用物理層的收斂替代數(shù)據(jù)鏈路層的收斂，使得成本更低、能耗更低、密度更高、延時(shí)更低。

去除TOR置頂交換機(jī)，作為一個(gè)長(zhǎng)期目標(biāo)是確定的。這個(gè)確定性在布線(xiàn)系統(tǒng)的設(shè)計(jì)層面來(lái)看將帶來(lái)一個(gè)更有利的確定性姿態(tài)，那就是列中或列頭的布線(xiàn)模式將更有生命力和普適性。通過(guò)高速光纖系統(tǒng)來(lái)對(duì)服務(wù)器群的高速接口收斂接入Leaf/Spine矩陣中，讓網(wǎng)絡(luò)架構(gòu)極簡(jiǎn)，讓網(wǎng)絡(luò)極可靠。這是大勢(shì)所趨，這就是我今天提到的第二個(gè)確定性--提高物理層的收斂能力。

光纖的節(jié)能選擇

第三個(gè)確定性就是光纖的合理選擇。網(wǎng)絡(luò)系統(tǒng)的提速，其實(shí)和社會(huì)交通運(yùn)輸路網(wǎng)的提速模型如出一轍。三個(gè)維度而已：1）提高車(chē)速；2）提高車(chē)的容量容積；3）提供更多的車(chē)道。 PAM4編解碼相當(dāng)于“車(chē)”的容量定義；波特率相當(dāng)于車(chē)輛的最高時(shí)速；光纖通道的并行使用，支持傳輸能力達(dá)到2倍、4倍、8倍、16倍的帶寬提升。車(chē)已確定，車(chē)速也確定，大幅度提高容量的方式只剩下一個(gè)：建立更多的通道。光纖系統(tǒng)可以建立更多的物理通道（光纖），也可以建立更多的邏輯通道（光波），從而有了單模和多模的選擇問(wèn)題，以及微型連接器的選擇問(wèn)題。 在企業(yè)數(shù)據(jù)中心中，單模和多模光纖系統(tǒng)誰(shuí)占比更多呢？

各位是否可以從上圖找到一些確定性的因素？我們至少可以看到兩點(diǎn)：一，多模仍然占據(jù)主導(dǎo)地位；二，并行技術(shù)的增長(zhǎng)趨勢(shì)更為明顯。也就是MPO形態(tài)的多模和單模預(yù)端接系統(tǒng)都會(huì)快速增長(zhǎng)。多芯或多波長(zhǎng)并行技術(shù)的發(fā)展，就是因?yàn)樾枰⒏嗟耐ǖ?，從而快速達(dá)到400G/800G的應(yīng)用。

多模光纖已經(jīng)在數(shù)據(jù)中心中被廣泛使用。多模有很多優(yōu)勢(shì)，例如成本更低、能耗更低、易于維護(hù)等等，所以多模仍然在高速數(shù)據(jù)中心有用武之地。盡管所有的連接任務(wù)單模系統(tǒng)都可以勝任，但是在數(shù)據(jù)中心里面，考慮到從IT側(cè)節(jié)能考慮，IT設(shè)備本身的節(jié)能會(huì)對(duì)整個(gè)機(jī)房的總體節(jié)能有非常大的貢獻(xiàn)，多模的收發(fā)器件和多模的光器件對(duì)節(jié)能貢獻(xiàn)非常顯著。要節(jié)能，多模必是首選。

要考慮節(jié)能，必須要重視多模。在應(yīng)用標(biāo)準(zhǔn)里，無(wú)論400G還是800G，仍然保留著非常多的多模光纖選項(xiàng)。例如400GBAE-SR8， 400GBASE-SR4.2， 800GBASE-SR8等等。

到了800G時(shí)代多模是否會(huì)退出市場(chǎng)？事實(shí)上在800G的市場(chǎng)里，多模仍然在努力，比如800GBASE-VR8和800GBASE-SR8都是基于8發(fā)8收，借助MPO16的多模光纖技術(shù)線(xiàn)路。前者是50米的應(yīng)用場(chǎng)景，后者是面向100米的應(yīng)用場(chǎng)景。 單模光纖和多模光纖自從光通訊誕生以來(lái)就成為彼此成就的兄弟。在數(shù)據(jù)中心里，也是攜手前行。多模系統(tǒng)的優(yōu)勢(shì)是節(jié)能，成本低，缺點(diǎn)是距離太短；單模系統(tǒng)應(yīng)用距離非常自由，但缺點(diǎn)是成本高，耗能太高，連接器要求進(jìn)一步提高。 在兩套技術(shù)系統(tǒng)發(fā)展過(guò)程中，二者也在互相借鑒，互相學(xué)習(xí)。單模和多模是如何互相學(xué)習(xí)呢？ 第一，我們剛剛提到，提高“車(chē)”的容量，需要優(yōu)化編解碼方式，比如PAM-4比NRZ的信息容量高，但是PAM4對(duì)于插入損耗IL和回波損耗RL非常敏感，這就需要在網(wǎng)絡(luò)傳輸中盡量?jī)?yōu)化回波損耗這一參數(shù)。在RL這方面單模過(guò)去做得非常不錯(cuò)，這就是APC端面連接器的廣泛采用。

但是多模能否也在400G之后，向單模學(xué)習(xí)，進(jìn)一步優(yōu)化傳輸能力，避免回波噪聲所帶來(lái)的影響？答案是確定的，多模在學(xué)習(xí)單模，我們創(chuàng)造一種APC斜面研磨面的多模系統(tǒng)來(lái)減少回波噪聲的影響，從而可以更好地支持信號(hào)完整性，達(dá)到更高的帶寬。

單模之所以在通訊行業(yè)做到長(zhǎng)距離，高帶寬的應(yīng)用，激光器和WDM波分復(fù)用技術(shù)功不可沒(méi)。那么多模是否可以學(xué)習(xí)借鑒單模的這種波分復(fù)用模式呢，答案是肯定的。光纖科學(xué)家們多年前就已經(jīng)建立了短波分復(fù)用的標(biāo)準(zhǔn)SWDM，攜手OM5寬帶多模光纖，實(shí)現(xiàn)4倍帶寬，同時(shí)進(jìn)一步延展應(yīng)用距離。這就是OM5誕生的背景，從而使多模在數(shù)據(jù)中心領(lǐng)域有持久的生命力。OM5的核心問(wèn)題不僅在于距離，也不僅在于850nm波長(zhǎng)的表現(xiàn)，還在于850nm之外稍長(zhǎng)波長(zhǎng)的表現(xiàn)，并不是每個(gè)廠(chǎng)商的產(chǎn)品都能達(dá)到理想模式帶寬。

多模和單模都有自己的用武之地，尤其多模在節(jié)能方面的表現(xiàn)更好，這里面提到兩個(gè)400G應(yīng)用在多模方面的標(biāo)準(zhǔn)：400GBASE-SR8和400GBASE-SR4.2，前者消耗更多的光纖，后者推薦配合OM5達(dá)到短波分復(fù)用的優(yōu)勢(shì)。 在單模應(yīng)用方面，值得注意的是兩個(gè)標(biāo)準(zhǔn)：400G DR4和400G FR4; 其中400G DR4充分反映了單模也吸收了多模的優(yōu)勢(shì)，功率降低，距離縮短。所以數(shù)據(jù)中心行業(yè)特別看好400G DR4的發(fā)展，而且500米可以覆蓋數(shù)據(jù)中心內(nèi)部絕大部場(chǎng)景的應(yīng)用距離。400G DR4是一個(gè)好例子，敞開(kāi)胸懷，吸收對(duì)方優(yōu)點(diǎn)，擁抱新技術(shù)，可以讓你的數(shù)據(jù)中心更節(jié)能。

不論是單模系統(tǒng)還是多模系統(tǒng)，要做出正確的選擇，必須從設(shè)備成本，布線(xiàn)成本和運(yùn)維成本三個(gè)維度綜合分析。從400G的三款單模和多模網(wǎng)絡(luò)總成本看，上圖展示了全球頭部互聯(lián)網(wǎng)公司采用三種技術(shù)的成本對(duì)比，很明顯400G SR8作為多模的代表技術(shù)，具有做好的成本優(yōu)勢(shì)；對(duì)比于企業(yè)網(wǎng)數(shù)據(jù)中心采用三種技術(shù)的成本對(duì)比，趨勢(shì)沒(méi)有變，400G SR8地位也沒(méi)有變，依照FR4、DR4和SR8的次序逐步降低。多模的成本優(yōu)勢(shì)和節(jié)能優(yōu)勢(shì)是確定的。

以不變應(yīng)萬(wàn)變

尋找確定性?？灯战?jīng)過(guò)15年以上，與數(shù)據(jù)中心設(shè)計(jì)建設(shè)者和使用者的溝通，一直在聽(tīng)取客戶(hù)的反饋，嘗試建立一套適應(yīng)性更強(qiáng)，包容性更強(qiáng)，更易于維護(hù)的解決方案。什么樣的光纖方案能把所有的技術(shù)，所有的不確定性，融合到一個(gè)統(tǒng)一的平臺(tái)里呢？

比如把所有的MPO8/MPO12/MPO16/MPO24等技術(shù)融入進(jìn)去，把所有的連接器技術(shù)融入進(jìn)去，把智能化融入進(jìn)去，綠色環(huán)保的理念融入進(jìn)去，形成一個(gè)統(tǒng)一的解決方案。它就是PROPEL。PROPEL是驅(qū)動(dòng)力的意思，驅(qū)動(dòng)數(shù)據(jù)中心進(jìn)入400G之后的新時(shí)代。

以太網(wǎng)速率的提高帶來(lái)了技術(shù)的多樣性和需求的多樣性。讓PROPEL滿(mǎn)足多樣性的需求，它有多種不同的模塊選擇，并在一個(gè)統(tǒng)一平臺(tái)里任意組合，滿(mǎn)足高密度，高性能，智能化，易于維護(hù)，易于升級(jí)的特性。

如果用一句話(huà)概括，今天所講的所有確定性因素，都是為了確定一個(gè)綠色節(jié)能數(shù)據(jù)中心的發(fā)展方向。高密度是為了綠色節(jié)能；去TOR架構(gòu)是為了綠色節(jié)能；充分利用多模光纖是為了綠色節(jié)能；建立統(tǒng)一融合的平臺(tái)也是為了綠色節(jié)能。所以綠色節(jié)能就是我們確定的追求，謝謝各位！

審核編輯 ：李倩