PART01

摘要

隨著IT芯片功率密度日益增加，行業(yè)對能效的持續(xù)關(guān)注以及惡劣的邊緣計算環(huán)境等新IT應(yīng)用的出現(xiàn)，都在推動對液冷技術(shù)的興趣和部署。在本白皮書中，我們將介紹液冷的基本原理，探討其與傳統(tǒng)風(fēng)冷相比的優(yōu)勢，并詳述冷板式液冷和浸沒式液冷的五大方法。為了幫助指導(dǎo)針對特定需求選擇適當(dāng)?shù)囊豪浞椒?，我們將解釋必須考慮的關(guān)鍵特性。

PART02

簡介

IT設(shè)備技術(shù)的變化一直是基礎(chǔ)設(shè)施中制冷解決方案研發(fā)的主要驅(qū)動力。盡管液冷已在大型主機(jī)和高性能計算（HPC）中部署多年，但當(dāng)今對云、物聯(lián)網(wǎng)、人工智能和邊緣應(yīng)用的需求再次引發(fā)IT技術(shù)的變化，這迫使人們重新審視液冷及新技術(shù)的研發(fā)。對數(shù)據(jù)中心能效和可持續(xù)性的關(guān)注日益增加，也使數(shù)據(jù)中心行業(yè)所面臨的壓力不斷增加，要求其開發(fā)和采用液冷系統(tǒng)等高效的制冷基礎(chǔ)設(shè)施。

數(shù)據(jù)中心所有者和設(shè)計人員經(jīng)常對液冷的一些基本問題存在疑惑，比如：

?為什么液冷在傳熱方面優(yōu)于風(fēng)冷？

?液冷解決方案包括哪些類型？

?每種液冷方法的優(yōu)缺點是什么？

?應(yīng)該依據(jù)哪些標(biāo)準(zhǔn)在不同的液冷技術(shù)之間做出選擇？

這里，我們將解答上述問題，并提供如何選擇適合您應(yīng)用的液冷方法的相關(guān)指導(dǎo)。

風(fēng)冷VS液冷

IT設(shè)備散熱的主要方法是將氣流流經(jīng)設(shè)備機(jī)箱。對于常規(guī)的服務(wù)器，70%-80%的熱量由CPU產(chǎn)生，其余熱量則來自外圍設(shè)備，例如內(nèi)存、電源、機(jī)械硬盤、固態(tài)硬盤（SSD）等。隨著圖形處理器（GPU）的使用日益增加，IT機(jī)箱內(nèi)部產(chǎn)生的熱量也在進(jìn)一步增加。一塊GPU芯片的功率可以超過400瓦，和英特爾最新一代的至強(qiáng)處理器這樣的多核CPU的400瓦功率基本持平。

在同樣單位體積下，液體吸收熱量的能力更高。因此液冷技術(shù)能夠更高效地散熱，以及讓芯片能夠更高效地工作（例如，提升時鐘頻率）。此外，熱量可以通過干冷器，或者通過冷卻塔（在溫度較高的環(huán)境中）散發(fā)到大氣中。有時，熱量可以轉(zhuǎn)移到其他地方（例如區(qū)域供熱）循環(huán)利用。我們在附錄中提供了水和空氣之間傳熱能力的詳細(xì)比較。

PART03

液冷方法

液冷對于數(shù)據(jù)中心應(yīng)用來說并非新鮮事物。液冷的最初使用可以追溯到上世紀(jì)60年代，當(dāng)時在IBM大型主機(jī)中用于解決固態(tài)設(shè)備的散熱難題，這些固態(tài)設(shè)備包裝緊湊且容許的工作溫度較低。不過，在上世紀(jì)90年代初，隨著互補(bǔ)金屬氧化物半導(dǎo)體（CMOS）技術(shù)的出現(xiàn)，取代了雙極型半導(dǎo)體技術(shù)，功耗也隨之降低。結(jié)果，氣流對流冷卻再次成為IT設(shè)備默認(rèn)的制冷方式。

目前，氣流對流冷卻在數(shù)據(jù)中心中仍占主導(dǎo)地位，但是液冷在電競游戲、區(qū)塊鏈挖礦和高性能計算（HPC）應(yīng)用等需要采用更高算力的特殊服務(wù)器的場合中，得到了更廣泛的采用。液冷尚未在整個數(shù)據(jù)中心行業(yè)得到更廣泛的采用，主要原因在于通過增加邏輯核心數(shù)量來保持合理的功率極限，已能夠滿足計算需求。此外，數(shù)據(jù)中心行業(yè)普遍較為保守，新技術(shù)和架構(gòu)的普及緩慢。

液冷主要分為兩類：芯片級液冷（有時稱為導(dǎo)熱或冷板）和浸沒式液冷。如圖1所示（橙色框），這兩個類別共包含五種主要的液冷方法。在本節(jié)中，我們將詳述每種方法。

圖1-液冷分類

芯片級液冷–單相

芯片級液冷是在服務(wù)器內(nèi)部通過芯片頂部的冷板將冷卻液直接流經(jīng)溫度較高的服務(wù)器芯片（CPU或GPU）。IT設(shè)備的電子元器件不會與冷卻液直接物理接觸（參見圖2）。部分設(shè)計還會為內(nèi)存模塊也安裝散熱冷板。使用這種方法的時候，仍然需要采用風(fēng)扇提供穿過服務(wù)器的氣流，以帶走剩余的熱量。這意味著傳統(tǒng)的風(fēng)冷基礎(chǔ)設(shè)施可以減少，但仍然需要。

圖2 芯片級液冷示意圖–單相

可以使用水或絕緣液作為流經(jīng)冷板的冷卻液。如果使用水，出現(xiàn)泄漏時有宕機(jī)風(fēng)險，但是諸如防漏系統(tǒng)（LPS）之類的解決方案可將水回路保持在微真空狀態(tài)，以降低IT設(shè)備內(nèi)的泄漏風(fēng)險。

安裝在機(jī)柜背面的分液器將流體配送至IT設(shè)備，類似于機(jī)架式PDU供電。服務(wù)器和分液器之間的接口通常是通過防泄漏和防滴漏接頭實現(xiàn)，以確保裝置的清潔和安全。單相意味著流體在散熱時不會改變其形態(tài)。對于芯片級液冷，主要使用單形態(tài)的水基冷卻劑，但某些設(shè)計使用人工絕緣液。

芯片級液冷–兩相

此方法類似于上述方法，不同之處在于流體會有兩種形態(tài)，也就是說流體在散熱時會從一種形態(tài)變?yōu)榱硪环N形態(tài)，例如從液態(tài)變?yōu)闅鈶B(tài)，從而帶走熱量。在散熱方面，兩相優(yōu)于單相，但需要額外的系統(tǒng)控制用于確保正常運(yùn)行。對于兩相芯片級液冷，會使用人工絕緣液。這有助于消除IT設(shè)備進(jìn)水的風(fēng)險。絕緣液蒸氣可以輸送到室外的冷凝器，也可以將其熱量排到樓宇水回路中。圖3為此方法的圖解。

圖3芯片背板液冷–兩相示意圖

浸沒式液冷–IT機(jī)箱–單相

采用浸沒式液冷時，冷卻液與IT電子元器件直接物理接觸。服務(wù)器完全或部分浸入絕緣冷卻液中，使其覆蓋主板和元器件，以確保所有熱源的熱量都被轉(zhuǎn)移。此方法使用單相絕緣液。借助浸沒式液冷，服務(wù)器內(nèi)可以無需使用任何風(fēng)扇，并將所有電子設(shè)備置于受外部溫度影響較慢，而且不受濕度和污染物影響的環(huán)境中。由于無需使用風(fēng)扇，因此這種冷卻方式可實現(xiàn)近乎無噪音運(yùn)行。

圖4為IT機(jī)箱單相浸沒式液冷方法。服務(wù)器封裝于密封機(jī)箱中，可作為普通機(jī)架式IT設(shè)備或獨(dú)立設(shè)備。電子元器件由絕緣液進(jìn)行冷卻，可通過傳導(dǎo)和自然對流被動降溫，或者通過服務(wù)器內(nèi)的循環(huán)泵（強(qiáng)制對流）降溫，或兩者結(jié)合使用。換熱器和泵可置于服務(wù)器內(nèi)部，也可以安裝在側(cè)面，在這里，熱量將從絕緣液傳遞到水回路。

圖4浸沒式液冷–IT機(jī)箱–單相示意圖

浸沒式液冷–水池–單相

使用水池方法（也稱為開放式水箱）時，IT設(shè)備完全浸沒在流體中。在傳統(tǒng)的IT機(jī)柜中，服務(wù)器從機(jī)柜的底部到頂部水平堆疊。但是，這種方法使用的是水池，因此就像將傳統(tǒng)服務(wù)器機(jī)架橫放一樣。浸沒在水池中的服務(wù)器是通過垂直方式進(jìn)行插拔，而不像普通機(jī)架是水平方式插拔。圖5所示為此方法的示意圖（橙色箭頭顯示將服務(wù)器在水池中插拔的方向）。這種方法多數(shù)采用集中式供電，同時向水池內(nèi)的所有服務(wù)器供電。使用泵或自然對流，通過換熱器將絕緣液中的熱量傳遞至水回路。此方法通常使用油基絕緣液作為流體。注意，換熱器可以安裝在水池的內(nèi)部或外部。

圖5浸沒式液冷示例–水槽–單相示意圖

浸沒式液冷–水池–兩相

和單相水池方法一樣，將IT設(shè)備完全浸沒在流體中。這種方法的不同之處在于采用兩相絕緣液冷卻劑。這也意味著流體在散熱時會從一種形態(tài)變?yōu)榱硪环N形態(tài)，例如從液態(tài)變?yōu)闅鈶B(tài)，從而帶走熱量。圖6為這種體系結(jié)構(gòu)的圖解。由于需要相變，因此必須為人工合成流體。

圖6 浸沒式液冷示例–水槽–兩相示意圖

PART04

需要考慮的11個特性

了解五種主要液冷方法的優(yōu)缺點，可以幫助數(shù)據(jù)中心業(yè)主為其數(shù)據(jù)中心選擇合適的解決方案。在本節(jié)中，我們將詳述在針對特定業(yè)務(wù)需求確定最佳液冷方法時需考慮的11個重要特性。

1.投資成本

在評估液冷時，必須考慮整體設(shè)施和IT系統(tǒng)的成本。如果是新建的設(shè)施，可以針對液冷進(jìn)行優(yōu)化，并利用溫水并通過流體冷卻器直接散熱，與風(fēng)冷相比，則可以節(jié)省投資成本。如果想要在已有的風(fēng)冷設(shè)施中部署液冷IT設(shè)備，改造成本可能更高。但是，在數(shù)據(jù)中心擁有擱淺的供電和空間容量時（當(dāng)制冷系統(tǒng)達(dá)到100%負(fù)載但UPS負(fù)載遠(yuǎn)低于100%且空間利用率也低于100%時，就存在擱淺的電源容量和可被利用的空間。），液冷可以充分利用這些被擱淺的供電和空間。

?芯片級液冷：50%-80%IT設(shè)備的熱量可通過液冷捕獲。將水引入每個機(jī)柜并將其分配到每個服務(wù)器會使成本增加，但這部分成本可以通過減少傳統(tǒng)冷水機(jī)組、精密空調(diào)及變壓器和開關(guān)柜等輔助供電系統(tǒng)設(shè)備的使用而得到抵消。

?浸沒式：超過95%的熱量通過液體散熱，從而有助于大幅減少傳統(tǒng)制冷系統(tǒng)的使用。IT設(shè)備會因為使用流體，特別是人工合成的流體而導(dǎo)致成本增加，因此，必須根據(jù)部署的浸沒式技術(shù)來了解這一權(quán)衡方案。

2.能源成本

與風(fēng)冷相比，液冷一直都以可提供卓越能效而著稱。超大規(guī)模數(shù)據(jù)中心運(yùn)營人員已經(jīng)能夠讓風(fēng)冷數(shù)據(jù)中心獲得出色的電源使用效率（PUE），但通常是在良好的氣候條件及水資源豐富的情況下才能做到這一點。液冷的另一個考慮因素是降低IT風(fēng)扇能耗。這可以節(jié)省4%-15%的能耗，但有可能會使PUE更差，但總電費(fèi)會減少。與芯片級液冷相比，浸沒式液冷略有優(yōu)勢，因為后者無需使用任何IT設(shè)備風(fēng)扇。此外，采用浸沒式液冷時，所需要的風(fēng)冷將減少，因此精密空調(diào)的風(fēng)扇也減少。液冷可以利用45°C/113°F的水進(jìn)行冷卻，在眾多氣候條件下，一年中的大部分時間都可以使用無需壓縮機(jī)的制冷方式。對于通常使用風(fēng)冷DX系統(tǒng)的邊緣應(yīng)用，液冷的節(jié)能效果更為顯著。

3.可維護(hù)性

風(fēng)冷系統(tǒng)的應(yīng)用已有數(shù)十載，因此數(shù)據(jù)中心運(yùn)營人員對此系統(tǒng)極其熟悉，但是液冷對于大多數(shù)運(yùn)營人員而言仍是新事物。盡管設(shè)施人員可以從減少電源和制冷設(shè)備維修和維護(hù)中受益，但是IT人員必須實施新的流程來對IT設(shè)備進(jìn)行維護(hù)。

?芯片級液冷：它與風(fēng)冷服務(wù)器類似，因為大多數(shù)組件都能以相同方式進(jìn)行維護(hù)。讓這些組件易于維護(hù)的關(guān)鍵是采用防滴漏連接器，以確保服務(wù)器能夠像傳統(tǒng)的風(fēng)冷服務(wù)器一樣從機(jī)柜中抽出進(jìn)行維護(hù)。

?浸沒式液冷：這需要新的流程，有時需要新的設(shè)備。采用油槽時處理難度較高，原因在于拆卸和維護(hù)IT設(shè)備時很難清除上面的油。人工合成液體的處理難度小于油，但由于液體成本較高，因此必須注意確保液體清潔并盡可能減少損失/蒸發(fā)。

基于機(jī)箱的浸沒式冷卻解決方案旨在以熟悉的外形尺寸和服務(wù)流程（如與標(biāo)準(zhǔn)風(fēng)冷技術(shù)配合使用的尺寸和流程）來提供液冷。當(dāng)液體仍在機(jī)箱中時，也可以完成簡單的維護(hù)任務(wù)。主要維護(hù)工作需要抽空液體。本白皮書的主要關(guān)注點是關(guān)于IT設(shè)備的部署、操作和維護(hù)的簡易程度。注意，由于浸沒式液冷為IT組件提供更溫和的環(huán)境，因此使用此方法可以提高IT設(shè)備的可靠性。

4.機(jī)柜功率密度/可壓縮性

風(fēng)冷可以支持機(jī)柜平均功率密度達(dá)到20kW/機(jī)柜以上，但要實現(xiàn)這樣的水平需要大量的人工和成本支出。芯片級液冷和浸沒式液冷均可輕松處理20kW/機(jī)柜的密度，并且有能力支持超過100kW/機(jī)柜的密度。浸沒式液冷可以實現(xiàn)更高的密度，因為不需要考慮IT設(shè)備內(nèi)部空氣流動的問題。

芯片級液冷和浸沒式液冷均可提供優(yōu)于風(fēng)冷的顯著可壓縮性效果。芯片級液冷和基于機(jī)箱的浸沒式液冷能夠采用與傳統(tǒng)的機(jī)柜相同的垂直服務(wù)器安裝形式。

5.耗水量

許多風(fēng)冷數(shù)據(jù)中心依靠配有冷卻塔的蒸發(fā)冷卻系統(tǒng)來實現(xiàn)低PUE。但這會消耗大量的水。在世界許多地方，這已經(jīng)成為問題。由于液冷可以使用溫度為45°C/113°F甚至更高溫度的溫水，因此可以消除或大幅減少蒸發(fā)冷卻，同時仍能達(dá)到較高的效率。由于浸沒式液冷相比芯片級液冷可以帶走更多的熱量，因此該方法能夠讓數(shù)據(jù)中心大幅減少耗水量。

6.惡劣的環(huán)境

浸沒式液冷不需要任何氣流，且與外部環(huán)境隔離，它幾乎可部署于任何地點。與風(fēng)冷相比，這是一個優(yōu)勢，而且有可能推動在環(huán)境惡劣邊緣地點中使用浸沒式液冷IT設(shè)備。

7.風(fēng)扇噪音/空氣流動

任何在運(yùn)行中的數(shù)據(jù)中心內(nèi)工作的人員都對IT設(shè)備和精密空調(diào)的噪音不陌生。對于部分IT應(yīng)用（如有人使用的辦公室或無塵室），維持安靜的環(huán)境和避免空氣流動都是非常重要的因素。芯片級液冷僅需要少量氣流，從而大幅降低IT設(shè)備和精密空調(diào)風(fēng)扇的轉(zhuǎn)速，進(jìn)而降低噪音。浸沒式液冷無需風(fēng)扇，因此，除了用于絕緣液的循環(huán)泵，即可在室內(nèi)實現(xiàn)近乎無噪音運(yùn)行。

8.機(jī)房布局

由于浸沒式液冷不需要?dú)饬髁鹘?jīng)IT設(shè)備，因此它為數(shù)據(jù)中心白區(qū)以及邊緣區(qū)域帶來更大的靈活性。不再需要布置冷熱通道?？刹捎帽硨Ρ硻C(jī)柜行布局。這樣可以將IT設(shè)備置于風(fēng)冷可能無法使用的位置。這在空間有限的設(shè)施中可能是一個較大的優(yōu)勢。

由于芯片級液冷IT設(shè)備仍然需要使用風(fēng)扇，因此仍需要采用傳統(tǒng)布局。此外，任何使用機(jī)箱形式的外觀特征，可以輕松與現(xiàn)有數(shù)據(jù)中心布局相匹配，這在某些情況下可能是一個優(yōu)勢。

9.改造IT設(shè)備的能力

從制造角度來看，對生產(chǎn)液冷服務(wù)器感興趣的IT制造商需承擔(dān)不同程度的設(shè)計工作。芯片級液冷是對現(xiàn)有風(fēng)冷服務(wù)器改造為液冷的理想之選。需要對IT設(shè)備進(jìn)行小幅改動。此舉能夠讓現(xiàn)有的供應(yīng)鏈幾乎保持不變，僅需增加冷板和管路即可。而另一方面，浸沒式液冷服務(wù)器需要從頭開始設(shè)計，要執(zhí)行時間更長的產(chǎn)品開發(fā)項目。盡管如此，這種方法為IT設(shè)備設(shè)計人員提供了更大的自由度，因為它們不受風(fēng)冷組件的限制。從現(xiàn)場改造的角度來看，浸沒式液冷需要為IT設(shè)備配備水槽或新的機(jī)箱，因此改造成本更高。如果將基于機(jī)箱的浸沒式制冷技術(shù)引入現(xiàn)有的數(shù)據(jù)中心，則可以非常輕松地與芯片級液冷及風(fēng)冷系統(tǒng)配合運(yùn)行。浸沒式液冷IT設(shè)備尚不適合許多配置。

10.可擴(kuò)展性

芯片級液冷和基于IT機(jī)箱的浸沒式液冷均能夠以較小的增量實現(xiàn)擴(kuò)展?；谒鄣慕]式液冷需要部署整體水池和流體，盡管IT設(shè)備可以在水槽內(nèi)逐步部署。另一個需要考慮的因素是了解整體設(shè)計中的單點故障。

11.流體的權(quán)衡

在液冷方法中使用的流體類型是確定其部署適用性時需要考慮的重要因素。這些是直接冷卻IT設(shè)備熱量的流體。三大類別如下：

?水基

?烴基油（絕緣液）

?人工合成流體（絕緣液）

這三種流體的特征各不相同，包括傳熱性能、成本、安全、材料兼容性、使用壽命、可維護(hù)性和可持續(xù)性。表1提供了哪些流體適合本白皮書所述的5種液冷方法。

表1與液冷架構(gòu)相互兼容的流體

材料兼容性：在任何使用水的系統(tǒng)中，減少腐蝕并保持水質(zhì)是非常重要的考慮因素。某些材料不兼容，可能導(dǎo)致早期故障。目前冷凝水系統(tǒng)已經(jīng)經(jīng)過數(shù)十年的設(shè)計和運(yùn)行，已經(jīng)成為眾所周知的散熱系統(tǒng)。對于芯片級液冷，過濾非常重要，因為許多冷板都是采用毛細(xì)管道，如果水質(zhì)較差容易產(chǎn)生堵塞。對于浸沒式液冷，與IT組件的兼容性至關(guān)重要。主板上紙標(biāo)簽脫落，以及增塑劑從電纜中滲出一直是某些油和人工合成流體存在的問題。

成本：對于絕緣液，油的成本遠(yuǎn)較比人工合成流體低廉。所需的絕緣液體積因技術(shù)提供商而異。

使用壽命：與人工合成流體相比，油的使用壽命往往更短。流體的更換頻率將對總體擁有成本產(chǎn)生影響。

安全：閃點、著火點、自燃點和毒性是重要的考慮因素，尤其是在考慮設(shè)施的投保性時。例如，礦物油易燃，需要安全預(yù)防措施以防止起火。

環(huán)境：臭氧消耗潛能值（ODP）和全球變暖潛能值（GWP）是需要考慮的兩大因素。這些數(shù)值不能孤立來看，而是隨著使用方法和氣化的速率會影響向環(huán)境的釋放。密閉式vs.開放式系統(tǒng)、可回收性等均起到一定作用。

PART05

結(jié)論

盡管當(dāng)下的數(shù)據(jù)中心和邊緣環(huán)境仍以風(fēng)冷為主，但我們看到對采用液冷的興趣和價值正日益增加。云、物聯(lián)網(wǎng)、人工智能和邊緣技術(shù)的應(yīng)用正推動芯片和機(jī)柜功率密度的不斷提升。行業(yè)也持續(xù)關(guān)注能效和成本。對于許多應(yīng)用而言，液冷是最佳的制冷解決方案。芯片級液冷和浸沒式液冷是液冷的兩大類別，與風(fēng)冷相比，它們對數(shù)據(jù)中心所有者而言更具優(yōu)勢。在本白皮書中，我們解釋了這些方法之間的差異。

對于改造機(jī)房，基于機(jī)柜的解決方案（例如芯片級液冷和基于機(jī)箱浸沒式液冷）提供最簡單的改造。對于新建機(jī)房以及處于惡劣環(huán)境中的機(jī)房，浸沒式液冷是更優(yōu)的解決方案，因為它可以帶走所有熱量，并將IT設(shè)備與周圍空氣隔離。

如若讓液冷在數(shù)據(jù)中心行業(yè)得到更廣泛的應(yīng)用，還需要進(jìn)一步的努力，但是我們相信，未來幾年這項技術(shù)將在數(shù)據(jù)中心和邊緣應(yīng)用中占有一席之地。

PART06

附錄

與諸如水之類的液體相比，空氣的導(dǎo)熱能力遠(yuǎn)遠(yuǎn)不如液體。實際上，在非對流環(huán)境中，空氣是良好的隔熱體。水有著更高的密度和每單位體積的熱容量。表A1提供了空氣和水之間的熱導(dǎo)率和熱容量的比較，結(jié)果顯示水的熱導(dǎo)率是空氣的23倍以上，并且其可以吸收的熱量遠(yuǎn)遠(yuǎn)大于空氣，按單位體積計算約為3,243倍。

表A1 空氣和水之間的比較

非純水具有導(dǎo)電性，因此不能用于直接冷卻IT組件。相反，采用絕緣液（例如礦物油和人工合成的絕緣液冷卻劑），可以與運(yùn)行中的電氣組件直接接觸，從而發(fā)揮其卓越的散熱能力。一個已經(jīng)使用多年的例子，就是變壓器中使用的油，可以有效地將內(nèi)部線圈和機(jī)芯的熱量傳遞到外殼。

審核編輯 ：李倩