文藝復(fù)興三杰之一的米開朗基羅，被稱為“天才建筑師”。其實(shí)他一生留下的建筑并不多，僅僅有美第奇禮拜堂、卡比多廣場(chǎng)、圣彼得大教堂穹頂?shù)攘攘葞鬃５组_朗基羅卻憑借對(duì)建筑層次與結(jié)構(gòu)的精妙把握，影響了此后數(shù)百年的建筑風(fēng)格。很多人認(rèn)為，米氏特別擅長(zhǎng)在立體的空間與繁雜的結(jié)構(gòu)中，尋求建筑的最大確定性。得益于此，像圣彼得大教堂穹頂這樣原本被認(rèn)為不可能的作品才最終問世——探尋確定性，也就此成為建筑設(shè)計(jì)師的目標(biāo)之一。

在今天，數(shù)字化和云化正在容納一切。每天，不計(jì)其數(shù)的硬件連接云端，軟件完成云上開發(fā)、迭代。這讓云端變成了一個(gè)空前復(fù)雜的賽博空間，同時(shí)也產(chǎn)生了海量的不確定性。但是，這種不確定性又是必須被治愈和解決的。根據(jù)GIV預(yù)測(cè)，至2025年，全球企業(yè)云技術(shù)使用率將達(dá)到100%。全面云化的不可逆趨勢(shì)下，企業(yè)必須確保自身數(shù)字化、智能化過程中的安全、穩(wěn)定與可靠。

誰來再為全球企業(yè)尋得云時(shí)代的確定性呢？答案是運(yùn)維團(tuán)隊(duì)。

過去，我們普遍認(rèn)為運(yùn)維應(yīng)該是消防員，哪里著火撲滅哪里；但在云時(shí)代的浩瀚業(yè)務(wù)與海量數(shù)據(jù)面前，這種模式顯然杯水車薪。于是，SRE應(yīng)運(yùn)而生，云服務(wù)商和企業(yè)用戶開始追尋確定性的運(yùn)維價(jià)值。運(yùn)維人需要成為“云上的建筑師”，去設(shè)計(jì)可靠的建筑結(jié)構(gòu)，去預(yù)知建筑可能面臨的種種風(fēng)險(xiǎn)，去構(gòu)建安全與穩(wěn)定的結(jié)構(gòu)閉環(huán)。

在這樣的背景下，華為云SRE團(tuán)隊(duì)，是國(guó)內(nèi)成長(zhǎng)最快、發(fā)展最好的SRE團(tuán)隊(duì)之一。他們不僅肩負(fù)起了華為云業(yè)務(wù)體系的運(yùn)維確定性，同時(shí)還為行業(yè)帶來了充沛的溢出價(jià)值。

今天，我們走進(jìn)華為云SRE，去了解一個(gè)運(yùn)維人從消防員變成建筑師的故事，一個(gè)如何成為“云上的米開朗基羅”的故事。

圖紙之下：不確定性疊加的云紀(jì)元

SRE，即Site Reliability Engineering，站點(diǎn)可用性工程師。這個(gè)概念起源于2003年，主要針對(duì)傳統(tǒng)IT運(yùn)維中人工為主的操作模式，希望以整體設(shè)計(jì)、自動(dòng)化工具取而代之。簡(jiǎn)單來說，SRE的核心就是用軟件而非人工，來解決運(yùn)維與安全問題。

當(dāng)時(shí)代的鐘擺悄悄回蕩，SRE的價(jià)值愈發(fā)凸顯了出來。因?yàn)樵诓唤?jīng)然中，我們已經(jīng)來到了一個(gè)不確定性疊加的云紀(jì)元。

一個(gè)全云化的業(yè)務(wù)與服務(wù)系統(tǒng)，究竟會(huì)面臨多少安全問題？可能誰也無法給出精準(zhǔn)答案。網(wǎng)絡(luò)異常、軟件故障、流量洪峰、硬件老化、機(jī)房斷電，都可能帶來一次運(yùn)維問題。甚至一次技術(shù)人員的崗位調(diào)換，都可能造成意想不到的考驗(yàn)。

而伴隨著云原生的落地，云上承載的軟件開發(fā)與業(yè)務(wù)上新更加頻繁。增加新的業(yè)務(wù)模塊，也將考驗(yàn)現(xiàn)網(wǎng)的穩(wěn)定性與可靠性。隨著云上軟件開發(fā)與業(yè)務(wù)迭代成為常態(tài)，運(yùn)維效率會(huì)成為考驗(yàn)運(yùn)維團(tuán)隊(duì)與運(yùn)維能力的最大難題。

另一個(gè)云時(shí)代的不確定性，來自云計(jì)算網(wǎng)絡(luò)急速發(fā)展。隨著現(xiàn)網(wǎng)規(guī)模的不斷壯大，云服務(wù)體系連接的計(jì)算節(jié)點(diǎn)、用戶節(jié)點(diǎn)都在不斷增多，同時(shí)參加運(yùn)維的人員規(guī)模也在不斷增加。這種網(wǎng)絡(luò)規(guī)模擴(kuò)張，讓運(yùn)維不確定性呈現(xiàn)出幾何級(jí)增長(zhǎng)。傳統(tǒng)意義上“頭疼醫(yī)頭，腳疼醫(yī)腳”的運(yùn)維模式，將難以抵御網(wǎng)絡(luò)規(guī)模的海量沖擊。

這種情況下，就需要有一種工程性的方法，可以在承認(rèn)這種不確定性的前提下，依舊能夠保障云服務(wù)體系的穩(wěn)定可靠。比如說，讓運(yùn)維能力參與到前端設(shè)計(jì)中來；強(qiáng)化運(yùn)行中的動(dòng)態(tài)風(fēng)險(xiǎn)治理；建設(shè)高可用，可用容納故障與風(fēng)險(xiǎn)的業(yè)務(wù)架構(gòu)——這些方法的統(tǒng)合，就是SRE。

或許可以這樣理解，SRE就像是在充滿不確定性的云時(shí)代，畫上一張確定性的建筑圖紙。它不是具體解決哪個(gè)運(yùn)維安全問題，而是帶來宏觀的安全與可靠。

華為云SRE，就是看到了這種必然趨勢(shì)，同時(shí)積極進(jìn)行了嘗試與探索。

建筑師的眼與手：先一步成長(zhǎng)的華為云SRE

未來，云計(jì)算將會(huì)像水、電一樣觸手可及，隨取隨得。這個(gè)結(jié)論可以推導(dǎo)出一個(gè)必然：云計(jì)算體系，必須像電網(wǎng)、水網(wǎng)一樣安全可靠。如今，我們?cè)僖膊粫?huì)常備蠟燭，預(yù)防停電。這背后的努力，是電網(wǎng)進(jìn)行了大量運(yùn)維工作來保障高可用——云計(jì)算也將如此。

在華為云的眼中，這個(gè)結(jié)論清晰可見。于是華為云自成立的那一天起，就成立了SRE團(tuán)隊(duì)。SRE負(fù)責(zé)維護(hù)華為云的整體質(zhì)量，看護(hù)整個(gè)云計(jì)算網(wǎng)絡(luò)的安全與穩(wěn)定運(yùn)行。

（在新華社智庫(kù)《中國(guó)云計(jì)算創(chuàng)新活力報(bào)告》中，華為云斬獲安全可靠能力排名第一）

如今，華為云SRE這位建筑師，已經(jīng)用雙手畫出了一張宏偉的“確定性”建筑圖紙。在全球范圍內(nèi)，支撐著華為云在全球170多個(gè)國(guó)家和地區(qū)，超過240個(gè)云服務(wù)、370萬開發(fā)者和海量企業(yè)業(yè)務(wù)，以及百萬級(jí)別的節(jié)點(diǎn)實(shí)例。這樣龐大的業(yè)務(wù)藍(lán)圖，都需要SRE團(tuán)隊(duì)統(tǒng)一參與開發(fā)與部署規(guī)范，確保上線運(yùn)維安全。

在這個(gè)過程中，華為云SRE的“看家法寶”，就是構(gòu)筑了華為云的高可用架構(gòu)，讓云服務(wù)在產(chǎn)品開發(fā)的前端就具備高可靠、高可用特性。整體而言，高可用結(jié)構(gòu)在應(yīng)對(duì)故障時(shí)可分為三個(gè)維度考量：首先是軟件具有確定性的失效率，確保不會(huì)頻繁發(fā)生故障，將軟件問題控制在一定范圍之內(nèi)；其次是給出確定性的恢復(fù)時(shí)長(zhǎng)，明確可以在怎樣的時(shí)間之內(nèi)進(jìn)行業(yè)務(wù)恢復(fù)；接下來是構(gòu)筑確定性的爆炸半徑，確保單點(diǎn)的故障擴(kuò)散范圍有限，只影響到很小的范圍，而不影響整體業(yè)務(wù)。

在這樣的架構(gòu)下，最終華為云SRE實(shí)現(xiàn)了將可靠性、可恢復(fù)性、影響范圍控制的特性全面融入，真正面向萬千企業(yè)提供安全、可靠、高質(zhì)量的服務(wù)承諾。從實(shí)際結(jié)果來看，在近幾年華為云業(yè)務(wù)高速發(fā)展的同時(shí)，其出現(xiàn)的故障概率與故障烈度顯著低于全球主流云廠商?；蛟S可以說，華為云SRE的運(yùn)維能力做到了與公司業(yè)務(wù)規(guī)模一同成長(zhǎng)，甚至先一步成長(zhǎng)。

米開朗基羅的“溢出”效應(yīng)：讓千萬企業(yè)從SRE中受益

我們知道，數(shù)字化技術(shù)會(huì)在發(fā)展到一定程度時(shí)，出現(xiàn)明顯的“溢出”效應(yīng)。比如說數(shù)字化價(jià)值賦能，就從虛擬經(jīng)濟(jì)溢出到實(shí)體經(jīng)濟(jì)，帶來了“數(shù)實(shí)融合”的發(fā)展契機(jī)。

對(duì)于華為云SRE“建筑師”們而言，其也在云上運(yùn)維的探索上展現(xiàn)出了明顯的“溢出”效應(yīng)。

華為云SRE的基礎(chǔ)價(jià)值，就是通過確保華為云服務(wù)與網(wǎng)絡(luò)的穩(wěn)定，帶給客戶更好、更優(yōu)質(zhì)的云體驗(yàn)，尤其是在Devops 的場(chǎng)景下，保障了華為云用戶敏捷創(chuàng)新、快速迭代的開發(fā)模式。讓用戶不僅能夠上云，還可以有質(zhì)量地用云、有保障地用好云。

再向前走一步，華為云SRE通過服務(wù)客戶與無數(shù)應(yīng)用的經(jīng)驗(yàn)總結(jié)，提出了“確定性運(yùn)維”的發(fā)展方向與方法論，繼而梳理出適用于云上業(yè)務(wù)的“確定性運(yùn)維”能力體系和成熟度模型，供千行百業(yè)的企業(yè)進(jìn)行參考。

這一業(yè)界獨(dú)有“確定性運(yùn)維”能力體系成熟度模型包含：第一級(jí)基本運(yùn)維，即基礎(chǔ)運(yùn)維的能力構(gòu)建，以此確保業(yè)務(wù)基本生存；第二級(jí)標(biāo)準(zhǔn)化運(yùn)維，其能夠?qū)⑦\(yùn)維帶到更加規(guī)律、規(guī)范的發(fā)展階段，確保業(yè)務(wù)的穩(wěn)定可靠；第三級(jí)SRE轉(zhuǎn)型，意味著運(yùn)維團(tuán)隊(duì)開始從“消防員”轉(zhuǎn)型為“建筑師”，開始勾勒整體的確定性運(yùn)維藍(lán)圖；在第四級(jí)，企業(yè)獲得SRE帶來的初步確定性，而到第五級(jí)企業(yè)將獲得高度確定性。

在可見的未來，大部分企業(yè)都會(huì)上云，每一家企業(yè)都需要開發(fā)、運(yùn)營(yíng)軟件的時(shí)代里，確定性運(yùn)維可以說是一種剛性需求。即使每家企業(yè)的業(yè)務(wù)訴求與業(yè)務(wù)種類不同，但對(duì)穩(wěn)定可靠的追求其實(shí)是高度統(tǒng)一的。

面向這一趨勢(shì)，華為云SRE的一系列自我成長(zhǎng)，都可以變成賦能萬千企業(yè)的成熟價(jià)值。比如，通過智能運(yùn)維工具提升組織的效率和可靠性；通過全質(zhì)量管理的流程理念，形成組織人員管理的可控性；運(yùn)維團(tuán)隊(duì)變成設(shè)計(jì)師，參與前端標(biāo)準(zhǔn)設(shè)計(jì)，構(gòu)筑高可用架構(gòu)。

這些由華為云SRE綜合和探索出的技術(shù)與方法，或許是每一家企業(yè)的決策者、管理者，都應(yīng)該看到的現(xiàn)實(shí)價(jià)值。

在全云化紀(jì)元，每家企業(yè)都需要運(yùn)維能力的提升，那或許每家企業(yè)也都可以成為“云上的米開朗基羅”。SRE的核心文化，依舊需要各界攜手去探索和發(fā)揚(yáng)。但就像運(yùn)維所需的確定性那樣，SRE探索對(duì)每家企業(yè)的未來價(jià)值來說，也是充滿確定性的。

審核編輯黃宇