隨著云計(jì)算、大數(shù)據(jù)、人工智能等技術(shù)的發(fā)展和應(yīng)用，“東數(shù)西算”政策的落地以及數(shù)據(jù)中心規(guī)模不斷擴(kuò)大，數(shù)據(jù)中心總體耗能不斷增加。傳統(tǒng)的散熱方式已不能滿足當(dāng)前高密度數(shù)據(jù)中心的發(fā)展需求。液冷技術(shù)的出現(xiàn)，改善了傳統(tǒng)的散熱形式，并憑借高可靠、低能耗等優(yōu)勢(shì)，逐步被應(yīng)用于數(shù)據(jù)中心。

1 數(shù)據(jù)中心的發(fā)展階段

自20世紀(jì)60年代以來(lái)，數(shù)據(jù)中心發(fā)展分為三個(gè)階段:

一、早期階段

1996年，美國(guó) Exodus 公司(專門從事機(jī)房設(shè)施建設(shè)和帶寬服務(wù))首次提出 “IDC”。

二、第二階段

隨著時(shí)間的推移，數(shù)據(jù)中心托管服務(wù)開(kāi)始精細(xì)化，從完全的服務(wù)器托管到網(wǎng)站托管，出現(xiàn)虛擬托管服務(wù)。

三、云計(jì)算階段

通過(guò)虛擬化技術(shù)和容器技術(shù)，徹底實(shí)現(xiàn)數(shù)據(jù)中心服務(wù)器計(jì)算能力資源的池化。所有的CPU、內(nèi)存、硬盤等資源都由更強(qiáng)大的虛擬化軟件管理，然后分發(fā)給用戶。

2 數(shù)據(jù)中心的組成結(jié)構(gòu)

從硬件類型上來(lái)說(shuō)，數(shù)據(jù)中心和我們以前看到的內(nèi)部機(jī)房差不多，只是規(guī)格、檔次、管理水平更高一點(diǎn)。

如今，隨著國(guó)家政策變化，國(guó)產(chǎn) CPU 崛起占據(jù)越來(lái)越多的份額。國(guó)產(chǎn) CPU 采用 ARM 架構(gòu)，性價(jià)比更高，成本更低。

總體來(lái)說(shuō)，數(shù)據(jù)中心的硬件分為兩類，即主設(shè)備和支撐設(shè)備。

一、主設(shè)備

數(shù)據(jù)中心最基本的主要設(shè)備是服務(wù)器。和臺(tái)式電腦一樣，包含CPU、內(nèi)存、主板、硬盤、顯卡(GPU)、電源等。

藍(lán)海大腦服務(wù)器

服務(wù)器機(jī)架

一個(gè)常見(jiàn)標(biāo)準(zhǔn)機(jī)架，高度尺寸通常是 42U。1U等于4.445cm，機(jī)架寬度有600mm或800mm。機(jī)架深度有很多種，如有600mm、800mm、900mm、1000mm、1200mm等。一般來(lái)說(shuō)，IT設(shè)備(服務(wù)器)機(jī)架較深(1100mm或1200mm)，通信設(shè)備較淺(600mm)。

IT設(shè)備和通信設(shè)備的機(jī)架深度對(duì)比

機(jī)架中的IT設(shè)備除服務(wù)器之外，還有磁盤陣列等專業(yè)存儲(chǔ)設(shè)備。隨著大數(shù)據(jù)的發(fā)展，人類產(chǎn)生的數(shù)據(jù)量每年都在快速增加，增加了對(duì)存儲(chǔ)設(shè)備數(shù)量和性能的要求。

眾所周知，主流的電腦存儲(chǔ)硬盤分為HDD和SSD。HDD是傳統(tǒng)的機(jī)械硬盤，而SSD是逐漸普及的固態(tài)硬盤。SSD屬于半導(dǎo)體內(nèi)存，由于存儲(chǔ)速度快體積小，所以很受歡迎。但價(jià)格較為昂貴。對(duì)于數(shù)據(jù)中心來(lái)說(shuō)，HDD仍是性價(jià)比的主流選擇。目前SSD主要用于高端客戶和高性能業(yè)務(wù)。

說(shuō)到交換機(jī)，我們不得不提到一個(gè)名詞 —— 架頂式。TOR 交換機(jī)是數(shù)據(jù)中心領(lǐng)域常用術(shù)語(yǔ)。顧名思義，就是機(jī)架頂部的交換機(jī)。這種交換機(jī)是數(shù)據(jù)中心最底層的網(wǎng)絡(luò)交換設(shè)備，負(fù)責(zé)連接這個(gè)機(jī)架中的服務(wù)器和上層的交換機(jī)。

TOR 交換機(jī)的位置

實(shí)際上，機(jī)架交換機(jī)并非一定放在機(jī)架頂部?？梢晕挥跈C(jī)架的頂部，也可以位于機(jī)架的中部或底部(一般放在最上面，因?yàn)橛欣趦?nèi)部布線)。

機(jī)架再往上是一排機(jī)架和 n 排機(jī)架。將這些機(jī)架與服務(wù)器連接起來(lái)需要數(shù)據(jù)中心的網(wǎng)絡(luò)技術(shù)(最流行的數(shù)據(jù)中心組網(wǎng)架構(gòu)是葉脊網(wǎng)絡(luò)(Spine-Leaf))。

如今，為了高帶寬傳輸數(shù)據(jù)，數(shù)據(jù)中心廣泛使用光纖替代網(wǎng)線。所以光纖、光模塊和光通信設(shè)備 (OTN等) 成為數(shù)據(jù)中心的重要組成部分。

現(xiàn)在流行分布式部署，數(shù)據(jù)中心之間的數(shù)據(jù)流量很大，對(duì)帶寬要求很高。

光通信骨干網(wǎng)設(shè)備

二、配套設(shè)備

底層配套設(shè)備設(shè)施分為多種類型，主要包括供配電系統(tǒng)和冷卻系統(tǒng)，消防系統(tǒng)、監(jiān)控系統(tǒng)和建筑管理系統(tǒng)。

供配電系統(tǒng)

電源是數(shù)據(jù)中心正常運(yùn)行的基礎(chǔ)。數(shù)據(jù)中心配電設(shè)備的主要功能是電能的開(kāi)/關(guān)、控制和保護(hù)。主要配電設(shè)備是配電柜。數(shù)據(jù)中心配電柜分為中壓配電柜和低壓配電柜。

除配電柜，為保證緊急情況下的正常供電，數(shù)據(jù)中心還會(huì)配備大量的UPS(不間斷電源)甚至柴油發(fā)電機(jī)組。數(shù)據(jù)中心一般會(huì)提供 48V 直流電和 220V 交流電(通過(guò) AC-DC 轉(zhuǎn)換和 DC-AC 逆變轉(zhuǎn)換)。直流現(xiàn)在正成為更多數(shù)據(jù)中心(如Google)的選擇，因?yàn)橹绷鲹p耗更小，電能利用率更高，符合高計(jì)算能力數(shù)據(jù)中心高能耗的發(fā)展趨勢(shì)。

冷卻系統(tǒng)

目前數(shù)據(jù)中心制冷主要包括兩種方式：風(fēng)冷和液冷。

風(fēng)冷

風(fēng)冷一般采用風(fēng)冷空調(diào)系統(tǒng)。和家用空調(diào)一樣，數(shù)據(jù)中心風(fēng)冷空調(diào)也分為室內(nèi)機(jī)和室外機(jī)。相對(duì)來(lái)說(shuō)，技術(shù)成熟，結(jié)構(gòu)簡(jiǎn)單，容易維護(hù)。

液冷

液冷，利用液體作為制冷劑降溫散熱。液體的導(dǎo)熱系數(shù)是空氣的25倍。相同體積下，液體帶走的熱量是空氣的近3000倍。從噪音上來(lái)看，在相同的散熱水平下，液冷的噪音比風(fēng)冷低 20-35 分貝。從能耗來(lái)看，液冷比風(fēng)冷省30%-50%。目前液冷技術(shù)被業(yè)界普遍看好，但仍處于探索階段。總的來(lái)說(shuō)，液冷的市場(chǎng)前景非常廣闊，據(jù)統(tǒng)計(jì)市場(chǎng)規(guī)模超過(guò)千億。

藍(lán)海大腦液冷散熱技術(shù)

關(guān)于制冷散熱值得一提的是，機(jī)柜池級(jí)、排級(jí)、機(jī)柜級(jí)等近端制冷方式正在興起，成為新建數(shù)據(jù)中心的主流選擇。傳統(tǒng)制冷是房間級(jí)，整個(gè)機(jī)房都是空調(diào)制冷。這種方式冷卻路徑太長(zhǎng)，效率太低，無(wú)法滿足大功率設(shè)備的散熱要求，能耗也很高。機(jī)柜池級(jí)、排級(jí)、機(jī)柜級(jí)是以一個(gè)機(jī)柜池、一排柜或單個(gè)機(jī)柜為中心進(jìn)行散熱設(shè)計(jì)。

機(jī)柜排級(jí)散熱，以一排機(jī)柜為對(duì)象進(jìn)行風(fēng)道設(shè)計(jì)。氣流路徑明顯縮短，散熱效率高。除配電和散熱制冷之外，數(shù)據(jù)中心還有一些和管理運(yùn)維有關(guān)的設(shè)備設(shè)施，例如動(dòng)環(huán)監(jiān)控系統(tǒng)、樓宇自動(dòng)控制系統(tǒng)、消防系統(tǒng)等。

3 數(shù)據(jù)中心液冷技術(shù)發(fā)展分析

數(shù)據(jù)中心在信息社會(huì)和數(shù)字經(jīng)濟(jì)發(fā)展中扮演著重要角色，提供計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)能力、支撐社交、視頻、網(wǎng)購(gòu)等應(yīng)用的正常進(jìn)行。如圖所示，數(shù)據(jù)中心能耗結(jié)構(gòu)中冷卻系統(tǒng)能耗占據(jù)高達(dá)40%，成為數(shù)據(jù)中心進(jìn)行能效優(yōu)化的重要因素。

隨著國(guó)家對(duì)新基建的重視，數(shù)據(jù)中心迎來(lái)新的發(fā)展浪潮，伴隨著數(shù)字化社會(huì)的發(fā)展，數(shù)據(jù)中心也將會(huì)承擔(dān)越來(lái)越重要的角色，推動(dòng)數(shù)據(jù)處理、存儲(chǔ)、傳輸?shù)认嚓P(guān)設(shè)備的建設(shè)與發(fā)展。

在發(fā)展方面，液冷技術(shù)在航天等領(lǐng)域內(nèi)具有很長(zhǎng)的應(yīng)用歷史，而在數(shù)據(jù)中心行業(yè)中發(fā)展較為緩慢。有專家提出液冷結(jié)合風(fēng)冷技術(shù)的雙通道系統(tǒng)，且測(cè)試實(shí)驗(yàn) PUE 結(jié)果達(dá)1.1 到1.2 之間;基于多個(gè)城市的液冷散熱樣本數(shù)據(jù)進(jìn)行分析，構(gòu)建不同城市數(shù)據(jù)中心制冷散熱系統(tǒng)的能耗計(jì)算模型，有效降低數(shù)據(jù)中心系統(tǒng)的能耗值。結(jié)合數(shù)據(jù)中心節(jié)能分析基礎(chǔ)上，采用熱回收技術(shù)，在降低數(shù)據(jù)中心能耗的同時(shí)，提升熱回收效益。在國(guó)外，也有大量的研究人員對(duì)降低數(shù)據(jù)中心的損耗進(jìn)行大量的研究，產(chǎn)生了較多的應(yīng)用案例，如IBM 公司的 SuperMUC 充分應(yīng)用液冷技術(shù)的制冷優(yōu)勢(shì)，大幅度降低了數(shù)據(jù)中心的損耗率。

針對(duì)數(shù)據(jù)中心液冷技術(shù)在不同行業(yè)的技術(shù)應(yīng)用發(fā)展，下面主要從浸沒(méi)式、冷板式、噴淋式三種液冷技術(shù)的發(fā)展進(jìn)行分析，并將三種液冷技術(shù)的特點(diǎn)進(jìn)行系統(tǒng)的對(duì)比，總結(jié)出液冷技術(shù)的不同特點(diǎn)以及適用應(yīng)用場(chǎng)景類型，為數(shù)據(jù)中心液冷技術(shù)的場(chǎng)景應(yīng)用及技術(shù)發(fā)展提供參考。

液冷技術(shù)分析

液冷技術(shù)是電子設(shè)備進(jìn)行散熱的技術(shù)，主要區(qū)別于目前常用的風(fēng)冷技術(shù)。當(dāng)前液冷技術(shù)包括浸沒(méi)式、冷板式、噴淋式等類型。

一、浸沒(méi)式液冷技術(shù)

浸沒(méi)式液冷技術(shù)通過(guò)浸沒(méi)發(fā)熱器件，使得器件與液體直接接觸，進(jìn)而進(jìn)行熱交換。根據(jù)介質(zhì)是否存在相變化分為單相浸沒(méi)和相變浸沒(méi)兩種類型。

浸沒(méi)式液冷技術(shù)主要由冷卻液、腔體結(jié)構(gòu)、換熱模塊及相關(guān)的連接管道等設(shè)施構(gòu)成。其中，冷卻液為數(shù)據(jù)中心的換熱介質(zhì)，具有高絕緣、低黏度以及超強(qiáng)兼容特性，是浸沒(méi)式液冷技術(shù)的主要媒介。主板芯片等發(fā)熱器件表面散熱性能在很大程度上影響介質(zhì)沸騰的換熱強(qiáng)度，若芯片表面光滑，則液體在換熱面上傳熱系數(shù)較高，從而提高熱量的散發(fā)速率。市場(chǎng)上常采用安裝散熱罩的方式，增大芯片的散熱面積，從而提高數(shù)據(jù)中心的散熱性能，降低損耗率。冷卻模塊是浸沒(méi)式液冷技術(shù)的主要散熱模塊，包含液氣換熱器、循環(huán)泵等多個(gè)配件設(shè)施。冷卻模塊的部署方式可以影響冷卻液的冷凝換熱效率，改變浸沒(méi)式系統(tǒng)的冷卻極限，從而降低數(shù)據(jù)中心的散熱效率，其模塊大多適用于高性能、高熱流的計(jì)算場(chǎng)景，如中科曙光 E 級(jí)超算設(shè)備，完全擺脫風(fēng)冷散熱的制約，去除風(fēng)冷式散熱器，配置 512 個(gè)計(jì)算節(jié)點(diǎn)，系統(tǒng)峰值功耗為 249 kW，PUE 達(dá) 1.04，有效解決高密度計(jì)算產(chǎn)生的制冷散熱問(wèn)題。

二、冷板式液冷分析

冷板式液冷系統(tǒng)主要由換熱冷板、熱交換單元和循環(huán)管路、冷源等部件構(gòu)成。冷板式液冷將熱量傳遞給循環(huán)管道中的冷卻液體，通過(guò)液體本身的制冷特性將服務(wù)器產(chǎn)生的熱量帶走，提高冷板的冷卻效率，大幅度降低數(shù)據(jù)中心的能耗。

換熱冷板通過(guò)空氣、水或其他冷卻介質(zhì)在通道中的強(qiáng)迫對(duì)流，帶走服務(wù)器中的耗熱能量，可有效降低數(shù)據(jù)中心的 PUE 值。冷板材質(zhì)一般由高導(dǎo)熱系數(shù)的材料構(gòu)成，使得冷板表面接近等溫，帶走大量的集中熱量。并且冷板的應(yīng)用減少冷卻介質(zhì)對(duì)電子元器件的污染，提高數(shù)據(jù)中心設(shè)施的使用壽命。冷量分配單元主要為豎直和水平兩種形式，通過(guò)豎直和水平分液?jiǎn)卧獙⒌蜏乩鋮s液均勻的分配給每一個(gè)分液?jiǎn)卧?，防止芯片熱量無(wú)法有效散出，減少因節(jié)點(diǎn)溫度升高而發(fā)生的隱患，提高系統(tǒng)的計(jì)算能力。循環(huán)管路是連接換熱冷板、熱交換單元以及其他相關(guān)器件的重要部件，一般分為直連式和環(huán)路式兩種類型，大多根據(jù)數(shù)據(jù)中心建設(shè)的不同需求，選擇合適的管路進(jìn)行連接。冷源作為帶走數(shù)據(jù)中心產(chǎn)生熱量的最終出口，是冷卻系統(tǒng)的主要組成部分。大多采用室外冷卻設(shè)備提供的低溫冷卻水在熱交換單元中充當(dāng)冷源。冷源與升溫后的冷卻液進(jìn)行間接接觸，通過(guò)帶走冷卻液的熱量進(jìn)行降溫，使冷卻液以低溫狀態(tài)進(jìn)入芯片模塊，進(jìn)而進(jìn)入散熱循環(huán)。因此，冷源的選擇合理與否，將會(huì)直接影響整個(gè)系統(tǒng)的使用效率及運(yùn)行的經(jīng)濟(jì)性問(wèn)題，如阿里巴巴千島湖數(shù)據(jù)中心利用周邊環(huán)境的自然資源，采用湖水自然冷卻系統(tǒng)等技術(shù)，使PUE 達(dá)1.28，有效節(jié)省數(shù)據(jù)中心的建設(shè)成本。

三、噴淋式液冷分析

噴淋式液冷一般不需要對(duì)數(shù)據(jù)中心的基礎(chǔ)設(shè)施進(jìn)行大幅度地改動(dòng)，只需在噴淋模塊調(diào)整噴淋頭，實(shí)現(xiàn)噴淋設(shè)備與服務(wù)器的精準(zhǔn)對(duì)應(yīng)。與傳統(tǒng)風(fēng)冷服務(wù)器相比，其可以有效降低器件所產(chǎn)生的熱量，從而控制數(shù)據(jù)中心運(yùn)行的溫度。噴淋式液冷服務(wù)器是整個(gè)噴淋系統(tǒng)的主要內(nèi)部器件，憑借其高性能、低能耗、高可靠運(yùn)行的特點(diǎn)，可以有效降低數(shù)據(jù)中心能耗。當(dāng)前，先進(jìn)的噴淋式液冷服務(wù)器大多采用芯片級(jí)噴淋液冷技術(shù)，通過(guò)冷卻液帶走部件產(chǎn)生的熱量，冷卻液的溫度提升后，隨即進(jìn)入冷卻系統(tǒng)的換熱裝置進(jìn)行換熱。

四、液冷技術(shù)對(duì)比

對(duì)冷板式、浸沒(méi)式、噴淋式液冷技術(shù)進(jìn)行比對(duì)，具體情況如表所示。由表可以看出，冷板式液冷技術(shù)在可維護(hù)性、空間利用率、兼容性方面具有較強(qiáng)的應(yīng)用優(yōu)勢(shì);但在成本方面，由于其單獨(dú)定制冷板裝置的原因，導(dǎo)致技術(shù)應(yīng)用的成本相對(duì)較高。而噴淋式液冷技術(shù)則通過(guò)改造舊式的服務(wù)器和機(jī)柜的形式，大幅度減少了數(shù)據(jù)中心基礎(chǔ)設(shè)施的建設(shè)成本。浸沒(méi)式技術(shù)與其他兩種技術(shù)相比，雖然器件的可維護(hù)性和兼容性較差，但空間利用率與可循環(huán)方面具有較好的表現(xiàn)，降低數(shù)據(jù)中心的能耗。

液冷產(chǎn)業(yè)發(fā)展分析

一、行業(yè)應(yīng)用問(wèn)題分析

液冷技術(shù)在數(shù)據(jù)中心行業(yè)的散熱方面具有顯著的優(yōu)勢(shì)，但在數(shù)據(jù)中心行業(yè)大規(guī)模應(yīng)用，仍需提高技術(shù)的創(chuàng)新性和適用性，需要解決以下行業(yè)發(fā)展問(wèn)題。

1、液冷適用性

每一種新興技術(shù)的應(yīng)用，都需要廠商進(jìn)行長(zhǎng)期的實(shí)驗(yàn)，才能保證技術(shù)穩(wěn)定性。并且在大批量應(yīng)用之前需進(jìn)行小規(guī)模的定點(diǎn)實(shí)驗(yàn)，提高液冷的實(shí)用性。當(dāng)前，液冷技術(shù)應(yīng)當(dāng)進(jìn)一步加強(qiáng)小規(guī)模的定點(diǎn)實(shí)驗(yàn)，并努力批量應(yīng)用于數(shù)據(jù)中心行業(yè)中。

2、液冷架構(gòu)重構(gòu)性

液冷方式的部署環(huán)境與傳統(tǒng)的機(jī)房有較大的差異，而且部署架構(gòu)也需要重新構(gòu)建。因此，采用液冷技術(shù)不但面臨高額的部署費(fèi)用，而且也增加運(yùn)維人員的時(shí)間成本，大幅度升高了數(shù)據(jù)中心的運(yùn)維成本，因此，需要進(jìn)一步在架構(gòu)、運(yùn)維等方面進(jìn)行優(yōu)化。

3、液冷設(shè)計(jì)規(guī)范性

液冷在數(shù)據(jù)中心的建設(shè)和測(cè)試過(guò)程中缺乏成熟的行業(yè)規(guī)范，大部分企業(yè)均根據(jù)自身的需求特點(diǎn)進(jìn)行研發(fā)，未達(dá)成業(yè)界的統(tǒng)一標(biāo)準(zhǔn)。若未進(jìn)行標(biāo)準(zhǔn)化統(tǒng)一管理，會(huì)導(dǎo)致液冷技術(shù)不規(guī)范發(fā)展，一旦產(chǎn)生破壞性故障，會(huì)徹底打擊液冷技術(shù)的發(fā)展。同時(shí)，非標(biāo)產(chǎn)品也不利于成本和應(yīng)用，因此必須加快標(biāo)準(zhǔn)化進(jìn)程。

二、行業(yè)發(fā)展建議

液冷技術(shù)在數(shù)據(jù)中心行業(yè)的應(yīng)用中，需要逐步成熟的發(fā)展過(guò)程，必須依托廠商、用戶及行業(yè)組織的推進(jìn)，才能在未來(lái)的發(fā)展中獲得大幅度提升，具體建議如下。

1、完善液冷技術(shù)材料的通用性，降低建設(shè)成本。

如冷板式液冷技術(shù)中，冷板的要求規(guī)格較多，導(dǎo)致冷板式技術(shù)的成本較高。若對(duì)液冷應(yīng)用的原材料和配件進(jìn)行深入研究，降低制造液冷原材料和配件的成本，將會(huì)大幅度提升液冷數(shù)據(jù)中心的發(fā)展速度。

2、提高液冷技術(shù)的運(yùn)維效率。

液冷技術(shù)的運(yùn)維與傳統(tǒng)風(fēng)冷技術(shù)的運(yùn)維方式相差較大，從而加劇運(yùn)維人員的工作成本。因此，需要生產(chǎn)配件的各個(gè)廠商及設(shè)備商提供安裝、調(diào)試和運(yùn)維的規(guī)范說(shuō)明。通過(guò)標(biāo)準(zhǔn)化的流程，不但保障其應(yīng)用的穩(wěn)定性，而且大幅度提升運(yùn)維人員的工作效率。

3、加強(qiáng)液冷技術(shù)驗(yàn)證力度，確保技術(shù)可靠運(yùn)行。

液冷技術(shù)的可靠性實(shí)施，需要依托于設(shè)備商、服務(wù)商、用戶等企業(yè)。從節(jié)能性、可靠性和適用性等方面，推進(jìn)液冷技術(shù)示范試點(diǎn)的運(yùn)行，并在加強(qiáng)驗(yàn)證的基礎(chǔ)上，在數(shù)據(jù)中心行業(yè)進(jìn)行大批量的推廣。

4 藍(lán)海大腦液冷解決方案

藍(lán)海大腦液冷技術(shù)通過(guò)液體作為熱量傳輸媒介，達(dá)到降低設(shè)備溫度的目的。液體直接導(dǎo)向熱源帶走熱量，不需要像風(fēng)冷一樣間接通過(guò)空氣制冷。對(duì)于密度高、規(guī)模大、散熱需求高的數(shù)據(jù)中心優(yōu)勢(shì)明顯。

液冷數(shù)據(jù)中心解決方案

對(duì)于需要最大性能、密度和效率的大型系統(tǒng)的客戶，超級(jí)計(jì)算機(jī)提供液冷機(jī)柜，支持緊湊刀片配置中所有組件的直接液冷。

架構(gòu)包含許多支持高瓦數(shù) CPU 和 GPU(超過(guò)500W)的創(chuàng)新功能，極大地減少互連布線需求，降低操作成本。液冷式基礎(chǔ)設(shè)施還帶來(lái)更緊湊的系統(tǒng)結(jié)構(gòu)，減少使用昂貴的光互連電纜。

此外，其基礎(chǔ)設(shè)施經(jīng)過(guò)精心設(shè)計(jì)，支持多處理器體系結(jié)構(gòu)和加速器選項(xiàng)，至少在未來(lái)十年內(nèi)與下一代CPU、GPU和互連技術(shù)保持向前兼容。

機(jī)柜架構(gòu)

液冷機(jī)柜的計(jì)算和交換機(jī)基本構(gòu)件包括：

服務(wù)器機(jī)柜：一臺(tái)機(jī)柜可容納8臺(tái)機(jī)箱，最多支持64個(gè)計(jì)算刀片和512個(gè)處理器。

計(jì)算刀片：刀片是機(jī)箱中的模塊，包括CPU、結(jié)構(gòu)連接、印刷電路板，以及冷卻和電源組件。預(yù)裝四個(gè)雙插座節(jié)點(diǎn)。從機(jī)柜前部插入機(jī)箱。

交換機(jī)機(jī)箱：可容納8臺(tái)交換機(jī)箱，最多支持64個(gè)交換機(jī)。從機(jī)柜后部插入機(jī)箱。

交換機(jī)刀片：包含光纖交換機(jī)，電路板，用于連接計(jì)算刀片和冷卻所需的所有組件和電源。

每個(gè)機(jī)柜包含8個(gè)服務(wù)器機(jī)箱和8個(gè)交換機(jī)機(jī)箱，直接從交換機(jī)連到刀片上，無(wú)需布線。交換機(jī)和交換機(jī)端口都是直接液冷冷卻。刀片垂直放置，交換機(jī)水平放置，交換機(jī)可以直接與刀片相連接。

預(yù)裝的液冷計(jì)算刀片配備四臺(tái)雙處理器服務(wù)器。所有組件均采用直接液體冷卻方式。機(jī)柜未配置風(fēng)扇。

網(wǎng)路

64 口交換機(jī)，提供 12.8 Tb/s 帶寬

每個(gè)交換機(jī)機(jī)箱最多支持8個(gè)交換機(jī)刀片，每個(gè)計(jì)算刀片最多支持8個(gè)光纖連接

每個(gè)機(jī)箱2個(gè)交換機(jī)，用于向32個(gè)計(jì)算節(jié)點(diǎn)(8個(gè)計(jì)算刀片)單點(diǎn)連接 (每個(gè)節(jié)點(diǎn)一個(gè)網(wǎng)絡(luò)連接)

每個(gè)機(jī)柜有16個(gè)交換機(jī)，用于向256個(gè)計(jì)算節(jié)點(diǎn)(64個(gè)計(jì)算刀片)單點(diǎn)連接 (每個(gè)節(jié)點(diǎn)一個(gè)網(wǎng)絡(luò)連接)

任何端點(diǎn)間，最多3次連接

電源

液冷機(jī)柜可支持高達(dá)300千瓦的功率。

冷卻

機(jī)柜和所有組件冷卻由貫穿整個(gè)計(jì)算設(shè)施的循環(huán)液體完成。冷卻分配單元(CDU)通過(guò)數(shù)據(jù)中心的熱交換器冷卻液體將熱水排出。

整個(gè)冷卻回路是一個(gè)源自CDU的閉環(huán)。一個(gè)CDU最多可以支持四個(gè)液冷機(jī)柜。CDU將冷卻液保持在一定溫度，并通過(guò)熱傳遞機(jī)制將熱量轉(zhuǎn)移到數(shù)據(jù)中心的水里。

液體冷卻通過(guò)一系列流管到達(dá)液冷柜中的各個(gè)刀片和部件，這些流管將冷卻液從主管道分配到各個(gè)刀片和交換機(jī)，然后將熱的液體回流管道。機(jī)柜前面配備計(jì)算刀片的冷卻管，后面配備交換機(jī)的冷卻管。計(jì)算刀片和交換機(jī)刀片之間的連接快速且無(wú)滴漏，可在不關(guān)閉整個(gè)系統(tǒng)的情況下卸下刀片服務(wù)器進(jìn)行維護(hù)。冷板直接去除CPU中的熱量。當(dāng)NIC夾層卡位于CPU上方時(shí)，由CPU冷板冷卻。液冷超級(jí)計(jì)算機(jī)的功率和冷卻預(yù)算大大小于風(fēng)冷裝置。

5 如何構(gòu)建數(shù)據(jù)中心?

在介紹建設(shè)過(guò)程之前，我們先了解一下數(shù)據(jù)中心的服務(wù)提供商。

數(shù)據(jù)中心服務(wù)提供商

雖說(shuō)數(shù)據(jù)中心是基礎(chǔ)設(shè)施，但不是完全屬于國(guó)有。也可以是民營(yíng)，由私企建設(shè)和運(yùn)營(yíng)。但根據(jù)國(guó)家法律法規(guī)，必須持有互聯(lián)網(wǎng)數(shù)據(jù)中心經(jīng)營(yíng)許可證，才能提供數(shù)據(jù)中心服務(wù)。一般來(lái)說(shuō)，數(shù)據(jù)中心服務(wù)商分為三類公司。

一、電信運(yùn)營(yíng)商，如中國(guó)移動(dòng)、中國(guó)電信、中國(guó)聯(lián)通。

大型國(guó)企，資金雄厚，人才雄厚，資源豐富，基建經(jīng)驗(yàn)豐富，是國(guó)內(nèi)數(shù)據(jù)中心市場(chǎng)的主導(dǎo)力量。以中國(guó)電信為例，作為國(guó)內(nèi)最大的IDC服務(wù)商，他們擁有794個(gè)數(shù)據(jù)中心，50多萬(wàn)個(gè)機(jī)架，數(shù)量最多，分布最廣。

二、云計(jì)算服務(wù)商，如阿里、騰訊、華為等。

提供商本身就開(kāi)展云計(jì)算業(yè)務(wù)，所以自建或合建大量的數(shù)據(jù)中心。在數(shù)據(jù)中心的建設(shè)和運(yùn)營(yíng)方面非常專業(yè)，技術(shù)實(shí)力較強(qiáng)。以阿里為例，在全球25個(gè)地區(qū)部署上百個(gè)云數(shù)據(jù)中心，在張北、河源、南通、烏蘭察布、杭州等地?fù)碛卸鄠€(gè)超級(jí)數(shù)據(jù)中心，投資數(shù)千億。

三、專業(yè)從事數(shù)據(jù)中心的第三方服務(wù)商，如萬(wàn)國(guó)數(shù)據(jù)、世紀(jì)互聯(lián)、光環(huán)新網(wǎng)、寶信軟件、中金數(shù)據(jù)、奧飛數(shù)據(jù)、數(shù)據(jù)港等。

通過(guò)建設(shè)數(shù)據(jù)中心或者租用運(yùn)營(yíng)商的數(shù)據(jù)中心，為客戶提供服務(wù)，不受單一電信運(yùn)營(yíng)商的網(wǎng)絡(luò)和地域限制，可以提供相對(duì)均衡的網(wǎng)絡(luò)出口。同時(shí)，服務(wù)更加靈活，善于根據(jù)客戶的需求提供定制服務(wù)。

根據(jù)銷售方式不同，第三方數(shù)據(jù)中心又分為零售型數(shù)據(jù)中心和批發(fā)型數(shù)據(jù)中心。零售型數(shù)據(jù)中心面向中小型互聯(lián)網(wǎng)公司、一般企業(yè)等客戶，提供相對(duì)標(biāo)準(zhǔn)化的服務(wù)器托管服務(wù)和網(wǎng)絡(luò)帶寬服務(wù)。批發(fā)數(shù)據(jù)中心，面向大型互聯(lián)網(wǎng)公司、云計(jì)算廠商或電信運(yùn)營(yíng)商，提供定制服務(wù)，一般以模塊為最小出租單位。

數(shù)據(jù)中心的建設(shè)

數(shù)據(jù)中心的建設(shè)是一個(gè)專業(yè)性較強(qiáng)的項(xiàng)目，需要較強(qiáng)的資源整合能力。按照時(shí)間順序，數(shù)據(jù)中心建設(shè)不可避免地包括以下一系列專業(yè)項(xiàng)目:

選址

土地、電力、水、能源評(píng)估、環(huán)境評(píng)估等

可行性研究

項(xiàng)目立項(xiàng)

方案設(shè)計(jì)和施工圖設(shè)計(jì)

工程施工總包招標(biāo)采購(gòu)、以及監(jiān)理招標(biāo)采購(gòu)

專業(yè)分包的包界劃分、工程分包商采購(gòu)、主要設(shè)備采購(gòu)

土建

機(jī)電安裝

設(shè)備調(diào)試

驗(yàn)收交付

在數(shù)據(jù)中心選址階段，每個(gè)數(shù)據(jù)中心服務(wù)商都會(huì)根據(jù)自身需求和外部條件 (溫度、地質(zhì)、自然災(zāi)害、電力資源、能耗指標(biāo)) 對(duì)數(shù)據(jù)中心選址進(jìn)行規(guī)劃。

數(shù)據(jù)中心的設(shè)計(jì)非常復(fù)雜，需要考慮的因素很多，也會(huì)使用到大量的專業(yè)設(shè)計(jì)工具。

數(shù)據(jù)中心的規(guī)劃思路

該設(shè)計(jì)不僅包括樓宇和園區(qū)的總體概念設(shè)計(jì)，還包括數(shù)據(jù)中心各子系統(tǒng)的詳細(xì)設(shè)計(jì)。需要輸出每個(gè)細(xì)節(jié)的設(shè)計(jì)方案和施工圖，方便后續(xù)施工。設(shè)計(jì)完成后，進(jìn)入真正的施工階段。施工流程就不一一介紹了。無(wú)非是土建施工、配套設(shè)備設(shè)施安裝、主體設(shè)備設(shè)施安裝調(diào)試等。

建設(shè)過(guò)程中的每一個(gè)細(xì)節(jié)，國(guó)家都有相應(yīng)的標(biāo)準(zhǔn)來(lái)規(guī)范和約束。正規(guī)施工單位基本都能滿足要求。

幾項(xiàng)常見(jiàn)施工的步驟

6 總結(jié)

數(shù)據(jù)中心是數(shù)字時(shí)代重要的信息化實(shí)施是算力重要載體，直接決定國(guó)家的數(shù)字競(jìng)爭(zhēng)力。在“東數(shù)西算”戰(zhàn)略的推動(dòng)下，國(guó)內(nèi)數(shù)據(jù)中心將迎來(lái)又一波發(fā)展熱潮。據(jù)統(tǒng)計(jì)，2022年中國(guó)數(shù)據(jù)中心業(yè)務(wù)市場(chǎng)規(guī)模將達(dá)到3200.5億元，年復(fù)合增長(zhǎng)率為27.0%。2025年，國(guó)內(nèi)數(shù)據(jù)中心IT投資規(guī)模預(yù)計(jì)將達(dá)到7070.9億元。除了數(shù)量的快速增加，數(shù)據(jù)中心正在向綠色和智能方向發(fā)展，積極引入AI人工智能，提高能效，降低運(yùn)營(yíng)復(fù)雜度。未來(lái)數(shù)據(jù)中心是否會(huì)有新的形態(tài)變化，我們拭目以待。

藍(lán)海大腦液冷服務(wù)器是面向數(shù)字中心建設(shè)的一站式服務(wù)器，具有超強(qiáng)算力密度、高能效比、高網(wǎng)絡(luò)帶寬、易擴(kuò)展、易管理等優(yōu)點(diǎn)，滿足企業(yè)機(jī)房部署、大規(guī)模數(shù)據(jù)中心集群部署和人工智能計(jì)算集群部署。

審核編輯：湯梓紅