摘要：?在剛剛落幕的重慶云棲上，阿里云高級(jí)技術(shù)專家仔晟為現(xiàn)場(chǎng)觀眾帶來(lái)議題《百T級(jí)CDN智能流量調(diào)度系統(tǒng)的實(shí)戰(zhàn)分享》，重點(diǎn)介紹了在世界杯直播業(yè)務(wù)場(chǎng)景之下，阿里云CDN的產(chǎn)品架構(gòu)、技術(shù)方案與客戶實(shí)踐。

在剛剛落幕的重慶云棲上，阿里云高級(jí)技術(shù)專家曾福華為現(xiàn)場(chǎng)觀眾帶來(lái)議題《百T級(jí)CDN智能流量調(diào)度系統(tǒng)的實(shí)戰(zhàn)分享》，重點(diǎn)介紹了在世界杯直播業(yè)務(wù)場(chǎng)景之下，阿里云CDN的產(chǎn)品架構(gòu)、技術(shù)方案與客戶實(shí)踐。

曾福華老師的分享從CDN系統(tǒng)相關(guān)介紹、智能調(diào)度產(chǎn)品、世界杯場(chǎng)景優(yōu)化三個(gè)方面展開。

CDN系統(tǒng)相關(guān)介紹

在最開始，曾福華老師講到，阿里云CDN正式商業(yè)化是在2014年3月份，到了2015年2月份，CDN智能調(diào)度正式上線。經(jīng)過(guò)這么多年的商業(yè)化，支持?jǐn)?shù)次阿里集團(tuán)雙11，外部的春晚洪峰流量，以及今年的世界杯，阿里云CDN如今已經(jīng)具備規(guī)?；?、自動(dòng)化、智能化、PaaS化這幾大特點(diǎn)?！鞍⒗镌艭DN帶寬儲(chǔ)備120T+，在全球擁有1500多個(gè)節(jié)點(diǎn)，服務(wù)30多萬(wàn)客戶。如此龐大的資源與業(yè)務(wù)體系，其實(shí)內(nèi)部只有2名運(yùn)維，全部依賴著智能化、自動(dòng)化的調(diào)度系統(tǒng)來(lái)完成?！?/p>

下圖為CDN系統(tǒng)架構(gòu)，與大部分提供CDN服務(wù)的廠商大致相同，分為緩存系統(tǒng)，調(diào)度系統(tǒng)和支撐系統(tǒng)。但是阿里云CDN與其他廠商主要區(qū)別在于所有的軟件基本都是自研的和阿里深度參與的開源項(xiàng)目，比如LVS和Tengine。

智能調(diào)度產(chǎn)品

CDN智能調(diào)度主要有三個(gè)核心組件：

第一個(gè)是資源規(guī)劃，這是給每個(gè)業(yè)務(wù)分配節(jié)點(diǎn)的環(huán)節(jié)，在傳統(tǒng)廠商更多是人工去解決的，在阿里云只有2個(gè)運(yùn)維在做調(diào)度相關(guān)工作，具體各個(gè)業(yè)務(wù)跑在哪里節(jié)點(diǎn)上是由智能調(diào)度系統(tǒng)解決。今天我們已經(jīng)做到，15%業(yè)務(wù)彈性自動(dòng)化兼容，節(jié)點(diǎn)水位能夠平穩(wěn)跑到80%。

第二個(gè)是精準(zhǔn)控流，阿里云基于全球LDNS進(jìn)行畫像和基于分鐘級(jí)別日志精準(zhǔn)分析基礎(chǔ)上的流量預(yù)測(cè)，流控系統(tǒng)的策略帶寬和實(shí)際帶寬可以控制偏差在5%以內(nèi)。

第三個(gè)是調(diào)度執(zhí)行器，首先是調(diào)度策略是秒級(jí)生效，另外一個(gè)特點(diǎn)所有調(diào)度執(zhí)行器都是雙異構(gòu)并行方案，如同飛機(jī)引擎一樣，即使一個(gè)引擎壞了，另一個(gè)引擎也可以馬上啟動(dòng)，保障業(yè)務(wù)穩(wěn)定性。

資源規(guī)劃

智能化資源規(guī)劃是云CDN和傳統(tǒng)CDN最大的差別所在，資源規(guī)劃是一個(gè)多目標(biāo)的運(yùn)籌優(yōu)化問題，第一是如何解決資源合理分配的問題；第二是自動(dòng)化確保業(yè)務(wù)快速接入，資源規(guī)劃每天進(jìn)行對(duì)應(yīng)的調(diào)整保障大客戶接入做到天級(jí)別；第三是要賦予業(yè)務(wù)必要的彈性，應(yīng)對(duì)客戶業(yè)務(wù)的流量上漲；第四點(diǎn)是流控自由度，資源規(guī)劃是一個(gè)離線程序，要給實(shí)時(shí)調(diào)度提供的調(diào)度自由度；第五點(diǎn)是全網(wǎng)1500個(gè)節(jié)點(diǎn)里做負(fù)載均衡，所有節(jié)點(diǎn)的流量和負(fù)載趨勢(shì)趨同，水位齊漲，智能化資源規(guī)劃保障有限資源承接更多的業(yè)務(wù)。

第六點(diǎn)是追求規(guī)模優(yōu)勢(shì)下的成本最優(yōu)；除了這些點(diǎn)之外，資源規(guī)劃還需要考慮業(yè)務(wù)特點(diǎn)做CPU，存儲(chǔ)等傾向性選擇, 同時(shí)需要保障運(yùn)維資源管理的易用性。

曾福華老師現(xiàn)場(chǎng)用一張圖來(lái)詳細(xì)進(jìn)行闡述，這個(gè)格子是CDN的節(jié)點(diǎn)，一個(gè)格子里面有四個(gè)小格子，他有不同的分組，還有幾條黑線幾個(gè)節(jié)點(diǎn)連接起來(lái)了，哪些業(yè)務(wù)應(yīng)該在哪些節(jié)點(diǎn)、分組上去跑。而實(shí)際線上是30萬(wàn)以上的業(yè)務(wù)和1500以上的節(jié)點(diǎn)之間的組合，復(fù)雜程度非常高，為了簡(jiǎn)化示意圖的左邊是兩個(gè)直播、點(diǎn)播的調(diào)度域，中間是四個(gè)節(jié)點(diǎn)，這四個(gè)節(jié)點(diǎn)里面，分別都有一些機(jī)器分組。然后左邊的調(diào)度域在各個(gè)區(qū)域的業(yè)務(wù)流量需要分配到中間各個(gè)節(jié)點(diǎn)、分組上，我們期望所有的節(jié)點(diǎn)水位均衡，盡量處于大致同一個(gè)水位上。

精準(zhǔn)控流

如何實(shí)時(shí)的進(jìn)行精準(zhǔn)控流，任何CDN廠商都要面臨這個(gè)問題，是CDN最基礎(chǔ)的核心能力。下圖左邊是節(jié)點(diǎn)的列表，右邊是業(yè)務(wù)的列表，這個(gè)節(jié)點(diǎn)列表和業(yè)務(wù)列表的對(duì)應(yīng)關(guān)系是經(jīng)過(guò)資源規(guī)劃系統(tǒng)大致離線算出來(lái)，哪些業(yè)務(wù)當(dāng)前時(shí)刻跑在哪些節(jié)點(diǎn)上，這是實(shí)時(shí)精準(zhǔn)流控來(lái)決定的，從圖看上去像網(wǎng)絡(luò)流一樣，但實(shí)際上用網(wǎng)絡(luò)流的辦法解決精準(zhǔn)問題有一些局限性。

曾福華老師現(xiàn)場(chǎng)也與觀眾一同重新認(rèn)識(shí)了運(yùn)營(yíng)商的LDNS, 剖析了通過(guò)LDNS調(diào)度無(wú)法做到按任意比例的流量分?jǐn)偟蕉鄠€(gè)節(jié)點(diǎn)的具體原因。

談到調(diào)度，曾福華老師現(xiàn)場(chǎng)做了一個(gè)比喻，一個(gè)裝了很多冰塊和水的杯子，如果我們要把杯子里面的狹小空間全部用上，我們先要把冰塊放進(jìn)去，再倒液態(tài)水。前文剛剛講到的DNS的協(xié)議限制，類似冰塊。其他別的調(diào)度形式，比如IP調(diào)度，可以做好請(qǐng)求級(jí)別的調(diào)度，也就是支持任意比例的負(fù)載均衡，就像液態(tài)水一樣。

所以，在智能調(diào)度的場(chǎng)景里，也需要把“固體”和“液體”結(jié)合起來(lái)考慮，才能做到所有的節(jié)點(diǎn)、水位的精準(zhǔn)控制。

另外通過(guò)實(shí)踐，阿里云CDN的智能調(diào)度可以精準(zhǔn)預(yù)測(cè)流量，在10分鐘內(nèi)的預(yù)測(cè)的精準(zhǔn)度到98%，一小時(shí)的精準(zhǔn)度95%以上。 綜上幾個(gè)方面的特性，CDN流控的精準(zhǔn)度大致能控制在5%左右。

世界杯場(chǎng)景下的調(diào)度優(yōu)化

接下來(lái)分享世界杯場(chǎng)景下CDN調(diào)度的優(yōu)化，今年俄羅斯世界杯應(yīng)該是有史以來(lái)最大規(guī)模在線觀看的體育賽事了，而阿里云CDN今年承載國(guó)內(nèi)世界杯網(wǎng)絡(luò)直播70%+流量。整個(gè)護(hù)航過(guò)程中，我們面臨了幾大挑戰(zhàn)：
第一個(gè)挑戰(zhàn)是優(yōu)酷拿到的轉(zhuǎn)播權(quán)是5月底到6月初，6月中旬就要開賽直播，前期籌備時(shí)間非常短，而新資源在陸續(xù)交付，對(duì)我們的挑戰(zhàn)還是挺大的。

面對(duì)這個(gè)挑戰(zhàn)，我們有以下幾點(diǎn)優(yōu)勢(shì)：

一、規(guī)?；蚕碣Y源池，最充分使用空閑資源
與傳統(tǒng)CDN廠商不同的是，阿里云所有的資源池是在一起共享的，離線資源規(guī)劃程序每天運(yùn)算，用來(lái)保證空閑資源的充分使用，在資源緊張時(shí)盡量把所有空閑資源都使用上，如果像傳統(tǒng)CDN廠商把硬件資源隔離開分到不同業(yè)務(wù)上，當(dāng)這么巨大業(yè)務(wù)短期內(nèi)要上來(lái)的時(shí)候是沒有辦法完成空閑資源的集中使用的。

二、天級(jí)離線資源規(guī)劃，確保業(yè)務(wù)能快速接入
離線規(guī)劃可以按天級(jí)別，這樣業(yè)務(wù)接起來(lái)會(huì)比較快，每天可以預(yù)估第二天的峰值量，這樣只要我們預(yù)測(cè)偏差不大的情況下，可以確保第二天平穩(wěn)的跑下來(lái)。

三、時(shí)級(jí)資源局部調(diào)整，資源層動(dòng)態(tài)水位均衡
如果對(duì)于流量的預(yù)測(cè)偏差導(dǎo)致流控?zé)o法合理分配的問題，采用小時(shí)級(jí)別的局部的資源調(diào)整，來(lái)保證整體資源的動(dòng)態(tài)平衡。

四、高效流量仿真平臺(tái)，資源規(guī)劃結(jié)果可驗(yàn)證
不管是天級(jí)別的資源規(guī)劃，還是小時(shí)級(jí)別的資源規(guī)劃，都可以通過(guò)仿真系統(tǒng)，確認(rèn)每一次調(diào)整的效果，也可以針對(duì)仿真系統(tǒng)的結(jié)果不斷迭代到我們需要的結(jié)果。

第二個(gè)挑戰(zhàn)，在碼率瞬間變大比較大的情況下，常規(guī)的流量預(yù)測(cè)算法失算了，進(jìn)而會(huì)干擾流控程序, 這個(gè)問題我們是怎么解的？阿里云使用了一個(gè)黑科技——AI預(yù)測(cè)+智能鎖定，大致思路是預(yù)測(cè)的不是10分鐘后的業(yè)務(wù)量，而是預(yù)測(cè)這場(chǎng)比賽的峰值業(yè)務(wù)量是多少。

上圖畫了很多格子，最左邊的格子開賽前的時(shí)間，世界杯還沒開始的時(shí)候，我們會(huì)根據(jù)峰值預(yù)測(cè)量鎖定一定比例的帶寬空間，這樣這部分帶寬空間不會(huì)被別的業(yè)務(wù)量搶占導(dǎo)致世界杯的卡頓。當(dāng)每場(chǎng)次的比賽開播后一段時(shí)間，流量上漲非?？欤@個(gè)鎖定量基本上保證了前面流量攀升比較劇烈的20分鐘的節(jié)點(diǎn)帶寬是充足的，可以給世界杯提供流暢的帶寬保障。等到比賽過(guò)了20分鐘以后，就是整個(gè)流量流量上漲變平緩了許多，接下來(lái)我們始終保證世界杯當(dāng)時(shí)的業(yè)務(wù)量，或者說(shuō)這場(chǎng)比賽達(dá)到的最高峰值和整個(gè)鎖定量之間保留一定的差距，如上圖中黃色區(qū)域代表的鎖定量，通過(guò)這種方式我們解決了世界杯賽事的一個(gè)流暢保障問題。

第三個(gè)挑戰(zhàn)就是阿里云有1500多個(gè)節(jié)點(diǎn)，面對(duì)世界杯業(yè)務(wù)幾個(gè)域名特大業(yè)務(wù)流量，如何做到節(jié)點(diǎn)不跑超跑低兩極分化，整體水位比較一直狀態(tài)？

解法是HTTPDNS跟DNS調(diào)度要組合起來(lái)做調(diào)度，在世界杯的業(yè)務(wù)場(chǎng)景中就是很好應(yīng)用了這個(gè)組合。在下圖我們可以看到，比如通過(guò)優(yōu)酷各端兼容HTTPDNS，那么流控就像控制水流，和不兼容HTTPDNS的WEB端DNS調(diào)度組合，我們就做到了比較好的節(jié)點(diǎn)水位精準(zhǔn)控流。

以上就是2018俄羅斯世界杯期間，百T級(jí)別CDN智能流量調(diào)度系統(tǒng)的一些實(shí)戰(zhàn)經(jīng)驗(yàn)分享。

原文鏈接

本文為云棲社區(qū)原創(chuàng)內(nèi)容，未經(jīng)允許不得轉(zhuǎn)載。