"

結(jié)合京東科技 '雙碳' 的技術(shù)發(fā)展方向，京東在數(shù)據(jù)中心領(lǐng)域的持續(xù)創(chuàng)新，與英特爾合作，打造 '綠色' 算力技術(shù)。將整機(jī)柜供電的總線電壓提高到 54V，有效降低了電源全鏈路損耗，改善了數(shù)據(jù)中心能效。結(jié)合在氣流優(yōu)化、液冷散熱等方面的技術(shù)改進(jìn)，以及第四代英特爾 至強(qiáng) 可擴(kuò)展處理器帶來的更高能耗比，我們推出了綠色的高密度算力整機(jī)柜方案，打造了可持續(xù)的數(shù)據(jù)中心典范。我們也和英特爾將技術(shù)成果標(biāo)準(zhǔn)化，幫助更多企業(yè)構(gòu)建綠色的高密度算力基礎(chǔ)設(shè)施。

——陳國峰

京東科技京東云事業(yè)部

硬件架構(gòu)負(fù)責(zé)人

"

//概 述 //

在綠色可持續(xù)發(fā)展成為社會(huì)共識(shí)的今天，推進(jìn)數(shù)據(jù)中心的節(jié)能減排已經(jīng)成為重要趨勢(shì)。作為中國大規(guī)模云數(shù)據(jù)中心的重要運(yùn)營者，京東與英特爾在綠色數(shù)據(jù)中心發(fā)展方面已經(jīng)開展了深度合作，包括采用第四代英特爾 至強(qiáng) 可擴(kuò)展處理器提升性能/能耗比，采用模塊化服務(wù)器設(shè)計(jì)實(shí)現(xiàn)更加高效的散熱設(shè)計(jì)，發(fā)布了從數(shù)據(jù)中心級(jí)到微處理器級(jí)的冷板液冷整體解決方案等，有效地提升了數(shù)據(jù)中心的整體能效，降低數(shù)據(jù)中心碳排放量。

在供電方面，京東還推出了大功率高利用率整機(jī)柜液冷服務(wù)器設(shè)計(jì)，該服務(wù)器搭載了第四代英特爾 至強(qiáng) 可擴(kuò)展處理器，通過將整機(jī)柜供電的總線電壓從 12V 提高到 54V，降低整機(jī)柜服務(wù)器內(nèi)部的連接阻抗和導(dǎo)電阻抗，從而大幅降低了電源輸出端到終端設(shè)備的全鏈路傳輸損耗，達(dá)到了提高數(shù)據(jù)中心用電效率、改善總體擁有成本 (TCO) 和降低碳排放的目的。

//背景：打造高密度、綠色節(jié)能的數(shù)據(jù)中心成為重要趨勢(shì) //

數(shù)據(jù)中心規(guī)?？焖贁U(kuò)大帶來的能耗問題在全世界都倍受關(guān)注，提升數(shù)據(jù)中心能效，推動(dòng)綠色數(shù)據(jù)中心建設(shè)已成為數(shù)據(jù)中心未來可持續(xù)發(fā)展的必然趨勢(shì)。對(duì)于京東而言，隨著業(yè)務(wù)的持續(xù)快速發(fā)展，人工智能 (AI)、云原生、計(jì)算機(jī)視覺等技術(shù)得到了快速應(yīng)用，對(duì)于計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等基礎(chǔ)資源的需求出現(xiàn)了爆發(fā)式增長。為滿足這些需求，京東加大了在數(shù)據(jù)中心方面的投資，這在支撐業(yè)務(wù)快速增長的同時(shí)，也帶來了不容小視的能耗問題。

為了滿足日益增長的算力需求，同時(shí)降低能耗，京東希望能夠解決以下挑戰(zhàn)，從而持續(xù)改善機(jī)架式服務(wù)器的空間利用率與功率密度：

12V 總線電壓設(shè)計(jì)的損耗較高：在過去幾代機(jī)架式服務(wù)器中，12V 供電是服務(wù)器電源最常見的中間總線電壓設(shè)計(jì)。然而，由于電纜、連接器和 PCB 中存在的不可避免的損耗，該總線電壓設(shè)計(jì)會(huì)降低傳輸至負(fù)載的功率，從而嚴(yán)重影響系統(tǒng)功效。特別是在新一代服務(wù)器的功率已經(jīng)遠(yuǎn)超前代產(chǎn)品的背景下，12V 的總線電壓對(duì)于供電效率的制約已經(jīng)愈發(fā)明顯。 功率瓶頸導(dǎo)致機(jī)柜空間浪費(fèi)：隨著多種部件功耗提升，機(jī)柜總功率顯著增加，既有的供電系統(tǒng)難以滿足如此高功率的供電需求，導(dǎo)致數(shù)據(jù)中心必須減少機(jī)柜的服務(wù)器部署數(shù)量，以應(yīng)對(duì)功率方面的限制，這導(dǎo)致了約三分之二的空間閑置。 傳統(tǒng)冷卻方式的效率不足：傳統(tǒng)數(shù)據(jù)中心多采用空氣作為冷卻介質(zhì)，這種方式較為成熟且應(yīng)用廣泛，但是缺陷也相當(dāng)明顯：當(dāng)數(shù)據(jù)中心部署了高密度的服務(wù)器時(shí)，由于房間水平的空氣循環(huán)，傳統(tǒng)的空氣冷卻系統(tǒng)無法在垂直機(jī)架陣列的 IT 設(shè)備入口處提供均勻溫度的空氣；此外，空氣冷卻系統(tǒng)效率相對(duì)較低，特別是在機(jī)架中的高密度服務(wù)器運(yùn)行時(shí)，滿足散熱需求的空氣冷卻系統(tǒng)的總功率常會(huì)達(dá)到 100kW 以上，這在經(jīng)濟(jì)性、供電、噪音等方面都會(huì)帶來巨大的困擾。 提升服務(wù)器的算力能效比：多樣化的應(yīng)用負(fù)載意味著數(shù)據(jù)中心需要提供多元化算力，以支持上層應(yīng)用使用更優(yōu)架構(gòu)完成每項(xiàng)任務(wù)。只有提升服務(wù)器的算力能效比，并更加靈活地調(diào)用服務(wù)器的算力資源，才能有助于降低特定任務(wù)的能耗。 //解決方案：京東云綠色數(shù)據(jù)中心高密度算力方案 //

京東云綠色數(shù)據(jù)中心高密度服務(wù)器的典型模塊如圖 1 所示，由標(biāo)準(zhǔn)電源、前 IO 模組、液冷模組、內(nèi)置 PCIe 模組、風(fēng)扇模組、電源轉(zhuǎn)換模組、后 IO 模組等構(gòu)成。

圖 1. 京東云綠色數(shù)據(jù)中心高密度服務(wù)器的模塊化設(shè)計(jì)

與集中式電源架構(gòu)中的 12V 總線電壓設(shè)計(jì)相比，54V 總線電壓通過減少機(jī)架中的傳導(dǎo)損耗，能夠在更高的機(jī)架功率下提供更好的整體機(jī)架效率。特別是當(dāng)機(jī)架功率密度增加時(shí)，54V 供電的優(yōu)勢(shì)在機(jī)架總功率效率上更加明顯。

京東云綠色數(shù)據(jù)中心高密度算力方案采用了天樞機(jī)架式機(jī)柜，該機(jī)柜支持兩種電源模式，即中央模式和分布式模式，中央電源模式為 54V 高功率支持模式。兩條電源線提供給電源架，輸出功率為 54V。54V 電源通過機(jī)架式機(jī)柜后面垂直放置的電源母線提供給每個(gè)服務(wù)器節(jié)點(diǎn)。圖 2 顯示了天樞機(jī)架式機(jī)柜的電源架布局，即 12 個(gè)電源單元 (PSU) 插入電源模塊，這些 PSU 的 54V 輸出并聯(lián)連接，并通過垂直銅母線提供給每個(gè)服務(wù)器節(jié)點(diǎn)。與母線相連的服務(wù)器內(nèi)部設(shè)計(jì)有 54V 至 12V 電源轉(zhuǎn)換模塊，可將 54V 電源轉(zhuǎn)換為 12V 電源，用于主板。

圖 2. 天樞機(jī)架式機(jī)柜電源架布局

京東采用的 54V 電源 PSU 為鈦金牌高效率電源模塊，能夠通過高能源轉(zhuǎn)換效率節(jié)省能源。此外，京東 54V 轉(zhuǎn) 12V 電源模組采用成熟 54V VR 方案，多組并聯(lián)，最大功率達(dá) 2100W，實(shí)現(xiàn)了可插拔、高效率、高功率密度。

京東還部署了從數(shù)據(jù)中心級(jí)到微處理器級(jí)的冷板液冷整體解決方案，在冷卻液分配單元 (CDU)、工作液、歧管、服務(wù)器等方面進(jìn)行了針對(duì)性的創(chuàng)新設(shè)計(jì)。該方案組建冷卻液回路，利用 CDU 分配冷卻液。在通過冷板收集計(jì)算節(jié)點(diǎn)的熱量后，冷卻液不斷流向另一個(gè)冷的 CPU，并通過另一個(gè)連接器離開服務(wù)器冷板管道，實(shí)現(xiàn)液冷計(jì)算節(jié)點(diǎn)的液冷循環(huán)。

圖 3. 京東服務(wù)器冷板液冷方案

為了進(jìn)一步提高數(shù)據(jù)中心在計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)層面的基礎(chǔ)資源供給能力，推動(dòng)數(shù)據(jù)中心節(jié)能減排，京東云綠色數(shù)據(jù)中心高密度算力方案采用了第四代英特爾 至強(qiáng) 可擴(kuò)展處理器。第四代英特爾 至強(qiáng) 可擴(kuò)展處理器通過創(chuàng)新架構(gòu)增加了每個(gè)時(shí)鐘周期的指令，每個(gè)插槽多達(dá) 56 個(gè)核心，支持 8 通道 DDR5 內(nèi)存，有效提升了內(nèi)存帶寬與速度，并通過 PCIe 5.0（80 個(gè)通道）實(shí)現(xiàn)了更高的 PCIe 帶寬提升。除了釋放第四代英特爾 至強(qiáng) 可擴(kuò)展處理器的基礎(chǔ)算力優(yōu)勢(shì)之外，京東還靈活應(yīng)用處理器集成的英特爾 IAA、英特爾 AMX、英特爾 DSA、英特爾 QAT 等高級(jí)硬件能力，提升數(shù)據(jù)中心面向多種負(fù)載的能效。

//收益：顯著改善供電效率，助力節(jié)能減排 //

得益于更加高效的供電、冷卻設(shè)計(jì)，京東云綠色數(shù)據(jù)中心高密度算力方案在節(jié)能減排方面實(shí)現(xiàn)了如下收益：

銅排效率改善 3.8%，銅排損耗減少 770W¹

京東機(jī)柜最大負(fù)載測(cè)試數(shù)據(jù)顯示，相較于 12V 總線電壓設(shè)計(jì)相比，采用 54V 總線電壓的整機(jī)柜銅排效率從 96% 提升到 99.86%，最大損耗從 800 W 降低到約 30 W，損耗大幅降低² 。

54V 轉(zhuǎn) 12V 模組效率達(dá)到 97.7%³

服務(wù)器兼容 54V 集中供電的整機(jī)柜和 12V 的 CRPS 供電的服務(wù)器，54V 轉(zhuǎn) 12V 模組效率達(dá)到 97.7%。

節(jié)省數(shù)據(jù)中心 TCO

新的 54V 機(jī)架部署將增加資本成本，但投資的增加將通過每年節(jié)省的電能來補(bǔ)償，按 21KW 機(jī)架功率計(jì)算，每年可節(jié)約用電 8500 千瓦時(shí)，節(jié)約用電成本約 6000 元；按部署 500 個(gè)機(jī)架計(jì)算，在 5 年的生命周期內(nèi)，可節(jié)省高達(dá) 1500 萬元的電力⁴ 。

降低碳排放

該方案單個(gè)機(jī)柜每年可減少多達(dá) 87 噸的二氧化碳排放。部署 500 個(gè)機(jī)柜，在 5 年的生命周期內(nèi)，總共可以減少 21750 噸二氧化碳排放⁵ 。除此之外，天樞機(jī)架支持與液冷兼容，如今京東數(shù)據(jù)中心的液冷機(jī)架解決方案已實(shí)現(xiàn) 1.1 的 PUE。同時(shí)，與傳統(tǒng)機(jī)架相比，全機(jī)柜液冷在服務(wù)器部署中節(jié)省了大量運(yùn)輸。據(jù)估計(jì)，如果機(jī)架以全柜交付的方式交付，1000 個(gè)服務(wù)器節(jié)點(diǎn)的二氧化碳排放量可以減少 5.3 噸⁶ 。

//展 望 //

在現(xiàn)代化的高密度數(shù)據(jù)中心，整體功耗的不斷提升為散熱效率、節(jié)能減排、以及運(yùn)營成本帶來了極大挑戰(zhàn)，這也加重了企業(yè)尋找創(chuàng)新的數(shù)據(jù)中心供電、冷卻解決方案的壓力。通過在整機(jī)柜中采用 54V 總線電壓設(shè)計(jì)，以及全機(jī)柜液冷方案，京東能夠顯著降低服務(wù)器供電損耗，提升電源鏈路效率，降低碳排放，助力打造高性能、高密度、可持續(xù)的綠色數(shù)據(jù)中心。

除了供電、冷卻方面的節(jié)能減排措施之外，第四代英特爾 至強(qiáng) 可擴(kuò)展處理器等新一代硬件將有助于提升性能密度與能效，助力降低服務(wù)器在多種負(fù)載下的能效。展望未來，英特爾正在與京東等業(yè)界上下游生態(tài)伙伴合作，圍繞電源設(shè)計(jì)、冷卻技術(shù)等構(gòu)建行業(yè)標(biāo)準(zhǔn)，降低實(shí)施成本，結(jié)合中國市場(chǎng)特點(diǎn)，以助力提升能效、降低 PUE，進(jìn)而推動(dòng)先進(jìn)綠色數(shù)據(jù)中心建設(shè)，實(shí)現(xiàn)綠色節(jié)能發(fā)展。

實(shí)際性能受使用情況、配置和其他因素的差異影響。更多信息請(qǐng)見 www.Intel.com/PerformanceIndex

性能測(cè)試結(jié)果基于配置信息中顯示的日期進(jìn)行測(cè)試，且可能并未反映所有公開可用的安全更新。詳情請(qǐng)參閱配置信息披露。沒有任何產(chǎn)品或組件是絕對(duì)安全的。

具體成本和結(jié)果可能不同。

英特爾技術(shù)可能需要啟用硬件、軟件或激活服務(wù)。

英特爾未做出任何明示和默示的保證，包括但不限于，關(guān)于適銷性、適合特定目的及不侵權(quán)的默示保證，以及在履約過程、交易過程或貿(mào)易慣例中引起的任何保證。

英特爾并不控制或?qū)徲?jì)第三方數(shù)據(jù)。請(qǐng)您審查該內(nèi)容，咨詢其他來源，并確認(rèn)提及數(shù)據(jù)是否準(zhǔn)確。