?

??CXL在大型數(shù)據(jù)中心內(nèi)越來越受歡迎，作為提高不同計算元素（如內(nèi)存和加速器）利用率的一種方式，同時最大限度地減少對額外服務器機架的需求。但該標準的擴展和修改速度如此之快，以至于很難跟上所有的變化，每一個變化都需要在越來越多的異構(gòu)且通常是定制的設計中進行驗證和確認。

Compute Express Link?(CXL)的核心是一種用于內(nèi)存、處理器和加速器的高速緩存一致性互連協(xié)議，它可以使靈活的架構(gòu)更有效地處理不同的工作負載類型和大小。反過來，這將有助于減輕數(shù)據(jù)中心的壓力，以更少的資源做更多的事情，考慮到需要處理的數(shù)據(jù)量激增，這似乎是一個巨大的挑戰(zhàn)。

過去，典型的解決方案是針對任何容量問題投入更多的計算資源。但隨著摩爾定律的放緩，以及為服務器機架供電和冷卻所需的功率持續(xù)增加，系統(tǒng)公司一直在尋找替代方法。隨著電網(wǎng)達到極限和社會對可持續(xù)性的需求增加，這一點變得更加重要。

CXL 主要由 Intel 開發(fā)，基于 PCIe 標準，在這些相互沖突的動態(tài)中提供了一個有吸引力的提議。優(yōu)化數(shù)據(jù)中心使用內(nèi)存的方式可以提高性能，同時還可以降低堆棧復雜性和系統(tǒng)成本。具體來說，CXL 允許 CPU 和連接設備上的內(nèi)存之間的低延遲連接和內(nèi)存一致性，從而使這些區(qū)域中的數(shù)據(jù)保持一致。

這對于大容量工作負載尤其重要，例如 AI 訓練，其中更多的數(shù)據(jù)通常等同于更高的準確性，以及日益電動化的車輛、智能工廠、藥物發(fā)現(xiàn)和氣象圖等所需的大規(guī)模模擬，僅舉幾例一些。

CXL 聯(lián)盟由創(chuàng)始成員谷歌、微軟、HPE、戴爾易安信、思科、Meta 和華為于 2019 年成立，當年推出了基于 PCIe 5.0 的第一版規(guī)范。此后，AMD、NVIDIA、三星、Arm、瑞薩、IBM、Keysight、Synopsys、Marvell等以各種身份加入，Gen-Z技術(shù)和OpenCAPI技術(shù)相繼加入。8月，Specification 3.0被引入，具有兩倍的帶寬，支持多級切換，以及內(nèi)存共享的一致性改進。

就標準而言，這個標準進展得非?？臁ｈb于財力雄厚的公司對 CXL 的支持日益高漲，這一標準似乎很可能會普及。但其快速發(fā)展也讓 IP 開發(fā)人員難以快速從一個版本的標準轉(zhuǎn)向下一個版本。

前景被看好

“我們應該在未來幾年真正看到它的起飛，”?Cadence?的 PCIe、CXL 和接口 IP 產(chǎn)品營銷組總監(jiān)Arif Khan 說。他指出，根據(jù)一些內(nèi)存制造商的預測，到 2030 年，基于 CXL 的應用程序的潛在市場總額預計將達到 200 億美元。

其他人也同樣樂觀?！坝写罅靠蛻粼谒麄兊南乱淮?SoC、加速器、SmartNIC 和GPU 以及內(nèi)存擴展設備中采用 CXL，” Synopsys PCI Express 控制器 IP 技術(shù)營銷經(jīng)理 Richard Solomon 說。

“幾乎每個人都在構(gòu)建具有 CXL 功能的服務器，” Keysight Technologies高級規(guī)劃和營銷經(jīng)理 Brig Asay 說。“JEDEC 等標準已與 CXL 達成協(xié)議，在標準之間開展工作并確?？刹僮餍?。CXL 還獲得了來自 Gen-Z 和Open CAPI 的資產(chǎn)，它們提供與 CXL 類似的功能，但CXL 具有強大的后勁?！?/p>

盡管如此，無論標準進展得有多快，廣泛采用都需要時間。盡管共享資源具有吸引力，但數(shù)據(jù)中心在采用任何新技術(shù)時都比較保守。任何故障都可能導致數(shù)百萬美元的停機時間。

“雖然 CXL 令人興奮，但該技術(shù)仍處于早期階段，”?Arm基礎(chǔ)設施業(yè)務線產(chǎn)品管理高級總監(jiān) Jeff Defilippi 說?！耙獙崿F(xiàn)擴散，這些解決方案在進行生產(chǎn)部署之前需要與 OEM 和云服務提供商一起進行嚴格的功能和性能驗證過程?！?/p>

Synopsys 高級產(chǎn)品營銷經(jīng)理 Varun Agrawal 觀察到，在過去三年中，無數(shù)內(nèi)存和服務器 SoC 公司都表示支持 CXL。但將完全支持 CXL 拓撲和帶寬的產(chǎn)品推向市場是一個較慢的過程?！霸絹碓蕉嗟脑O計現(xiàn)在選擇通過 cxl.io 為其 PCIe 數(shù)據(jù)路徑采用 CXL，以期擴展到其他類型的設備。就產(chǎn)品推出而言，CXL 在數(shù)據(jù)中心的擴散一直很緩慢，原因之一是缺乏驗證和驗證基礎(chǔ)設施?！?/p>

Agrawal 指出，用戶社區(qū)越來越多地將 CXL 交易處理器、虛擬模型和主機解決方案、在線速度適配器和接口卡硬件解決方案作為他們的首要要求，同時計劃他們的驗證/驗證?！癈XL 為希望同時啟動硬件-軟件驗證、軟件啟動和合規(guī)性以實現(xiàn)其上市時間目標的公司提供了軟件優(yōu)先方法的范例。”

系統(tǒng)級驗證也是一項要求。“根據(jù)支持的特性，驗證可以跨越資源共享、池化和擴展等內(nèi)存特性；主機和設備之間的一致性；安全和路由；熱移除和添加；具有不同虛擬層次結(jié)構(gòu)的多個域；和互連性能——尤其是 .cache 和 .mem 的延遲，”Agrawal 解釋道。

流行屬性

那么，盡管存在這些差距，為什么仍采用 CXL？Synopsys 的 Solomon 表示，CXL 最初的重點是緩存一致性，業(yè)界對其非對稱一致性協(xié)議很感興趣。直到后來，重點才轉(zhuǎn)移到解決傳統(tǒng)內(nèi)存附件和 DRAM 接口的局限性上。

“現(xiàn)在你有了這種緩存方法和這種內(nèi)存連接，它們中的每一種都以不同的方式將 CXL 推向數(shù)據(jù)中心，”他解釋道?！皩τ?a target="_blank">人工智能和機器學習，SmartNIC、數(shù)據(jù)處理單元、服務器附加設備專注于智能處理服務器中的數(shù)據(jù)，而不是主機 CPU。這些人真的對高速緩存一致性互連很感興趣。對于超大規(guī)模器，CXL 在處理器和內(nèi)存之間創(chuàng)建了一個分離，允許在需要不同數(shù)量的易失性和非易失性內(nèi)存的作業(yè)之間更有效地分配資源?！?/p>

此外，低延遲、跨互連的一致性以及能夠支持數(shù)據(jù)中心應用程序的內(nèi)存分層需求使 CXL 具有吸引力，”Agrawal 說。“由于它使用現(xiàn)有的 PCIe PHY 層，互操作性有助于推動早期采用并延長產(chǎn)品生命周期?！?/p>

這使得 CXL 成為數(shù)據(jù)中心應用的理想選擇?！癈XL 為內(nèi)存訪問 CPU 提供緩存一致性，”Keysight 的 Asay 說?！八€支持內(nèi)存資源池，這是理想的，因為它提高了數(shù)據(jù)中心 DRAM 的整體利用率。”

雖然 CXL 有多個用例，但 Arm 的 Defilippi 表示，云提供商對跨一組節(jié)點共享內(nèi)存容量并增加關(guān)鍵應用程序的 GB/vCPU 的能力非常樂觀。“對于云供應商來說，在他們所有的系統(tǒng)中大量配置 DRAM 成本過高。但通過訪問 CXL 附加的 DRAM 池，他們現(xiàn)在可以采用僅具有 2GB/vCPU 的系統(tǒng)并分配額外的 DRAM 容量，使這些系統(tǒng)更適合廣泛的工作負載。對于已經(jīng)高度配置的系統(tǒng)（即8GB/vCPU），額外的 CXL 附加內(nèi)存現(xiàn)在可以使它們適合需要大量內(nèi)存占用的應用程序，例如某些 ERP 系統(tǒng)，這些系統(tǒng)目前可能無法在云中運行。在此示例中，CXL 成為將額外工作負載遷移到云的網(wǎng)關(guān)?！?/p>

2020 年 11 月發(fā)布的CXL 2.0 引入了具有多個邏輯設備的內(nèi)存池，Cadence 的 Khan 表示這是對規(guī)范的關(guān)鍵改進?！斑@種池功能允許跨多個系統(tǒng)共享資源，包括系統(tǒng)內(nèi)存。雖然 CXL 是為加速器設計的，但它也支持內(nèi)存接口。分層配置還可以支持異構(gòu)內(nèi)存——封裝上的高帶寬內(nèi)存、連接到處理器的快速 DDR5 以及 CXL 模塊上的較慢內(nèi)存。內(nèi)存是數(shù)據(jù)中心的一項重要成本項目，而池化是管理系統(tǒng)的有效方式。”

圖 1：CXL 2.0 引入了具有單個和多個邏輯設備的內(nèi)存池 ?

CXL 和定制

去年推出的 CXL 3.0 更進了一步，通過多級交換實現(xiàn)類似結(jié)構(gòu)的實現(xiàn)?！斑@允許實施全局結(jié)構(gòu)連接內(nèi)存，將內(nèi)存池與處理單元分開，”Khan 說。“內(nèi)存池也可以是異構(gòu)的，具有各種類型的內(nèi)存。在未來，我們可以設想一個葉/主干架構(gòu)，其中包含用于 NIC、CPU、內(nèi)存和加速器的葉子，以及一個圍繞 CXL 3.0 構(gòu)建的互連主干交換機系統(tǒng)。”

?圖 2：CXL 3.0 提供類似結(jié)構(gòu)的多級交換實現(xiàn) ?

這與數(shù)據(jù)中心相關(guān)，因為在 AI/HPC 世界中沒有通用的系統(tǒng)架構(gòu)。

Khan 解釋說，今天的服務器提供了這些應用程序可能需要的合理超集，經(jīng)常導致利用率不足和能源浪費?！爱悩?gòu)應用程序需要非常獨特的解決方案來優(yōu)化實施。HPC/AI/ML 的常見應用程序工作負載各有不同的系統(tǒng)需求。分解系統(tǒng)的愿景是構(gòu)建大型資源庫：內(nèi)存、GPU、計算和存儲資源，以根據(jù)需要構(gòu)建靈活、可組合的架構(gòu)。換句話說，CXL 通過啟用這些功能為分解和可組合的系統(tǒng)鋪平了道路?！?/p>

CXL 的內(nèi)存范例還為新的自定義 CXL 設備打開了大門，例如池內(nèi)存控制器。

“另一個新興用例是異構(gòu)計算，利用 CXL 設備內(nèi)的緩存一致性在主機 CPU 和 CXL 連接設備之間共享內(nèi)存。這里的編程模型仍在制定中，但目標是能夠在主機和加速器之間共享更大的數(shù)據(jù)集，這對于 ML 訓練等事情非常有吸引力。對于開發(fā)中的大量定制 AI 芯片和 GPU/NPU，這可能是一個有吸引力的選擇，”Defilippi 說。

當談到數(shù)據(jù)中心定制芯片設計中的 CXL 時，Keysight 的 Asay 指出，如果這些設計需要緩存一致性或訪問某些共享內(nèi)存資源，則這些設計必須確保與 CXL 規(guī)范的互操作性?！耙环N常見的定制芯片設計是 SMART NIC，其中 CXL 作為一種傳輸數(shù)據(jù)的技術(shù)已經(jīng)變得非常普遍。”

安全性也很重要，Synopsys 的 Agrawal 認為交易和系統(tǒng)級別的安全功能可能會推動數(shù)據(jù)敏感應用程序的定制設計，因為多家公司都在 CXL 上開發(fā)自己的應用程序級接口以優(yōu)化其設計。

結(jié)論

在與數(shù)據(jù)中心和 HPC 相關(guān)的更廣泛的內(nèi)存生態(tài)系統(tǒng)中還有其他定制可能性，包括結(jié)合開源標準來創(chuàng)建新產(chǎn)品。

Blueshift Memory 是一家總部位于英國的芯片初創(chuàng)公司，其背后是一種名為 Cambridge Architecture 的替代內(nèi)存架構(gòu)。該公司正在使用 RISC-V 和 CXL 來部署 is 技術(shù)。該公司首席執(zhí)行官兼首席技術(shù)官 Peter Marosan 表示，使用這些開放標準使公司在制造商購買現(xiàn)成 CPU 方面節(jié)省了 1000 萬美元的潛在支出，并“為我們和我們的整個團隊打開了市場大門?！?/p>

至于即將發(fā)生的事情，Synopsys 高級產(chǎn)品營銷經(jīng)理 Gary Ruggles 表示，他開始看到汽車行業(yè)對 CXL 2.0 和 CXL 3.0 的第一批詢價?！爱斈悻F(xiàn)在看汽車時，它們就像漫游的超級計算機。這些人看到的與我們在數(shù)據(jù)中心看到的完全一樣，這不足為奇?！?/p>

編輯：黃飛

?