作者：京東零售 京東零售

一、大數(shù)據(jù)雙流建設(shè)

1.1 數(shù)據(jù)雙流

大數(shù)據(jù)時(shí)代，越來越多的業(yè)務(wù)依賴實(shí)時(shí)數(shù)據(jù)用于決策，比如促銷調(diào)整，點(diǎn)擊率預(yù)估、廣告分傭等。為了保障業(yè)務(wù)的順利開展，也為了保證整體大數(shù)據(jù)鏈路的高可用性，越來越多的0級(jí)系統(tǒng)建設(shè)雙流，以保證日常及大促期間數(shù)據(jù)流的穩(wěn)定性。建設(shè)核心數(shù)據(jù)鏈路雙機(jī)房，雙流雙活。同時(shí)雙流建設(shè)需要整條鏈路上的所有環(huán)節(jié)雙機(jī)房部署，占用了雙倍的物理資源；整個(gè)建設(shè)過程要協(xié)同上下游各環(huán)節(jié)（數(shù)據(jù)生產(chǎn)方、數(shù)倉加工方、中間處理節(jié)點(diǎn)、業(yè)務(wù)消費(fèi)方），也會(huì)消耗大量的溝通建設(shè)成本。為了達(dá)到資源消耗和業(yè)務(wù)穩(wěn)定性的平衡，特制定雙流建設(shè)標(biāo)準(zhǔn)和實(shí)施流程以引導(dǎo)業(yè)務(wù)方合理評(píng)估雙流需求，順利開展雙流建設(shè)實(shí)施。

1.2 數(shù)據(jù)雙流的建設(shè)評(píng)估維度和標(biāo)準(zhǔn)

二、大數(shù)據(jù)雙流憋壩高保真壓測(cè)

2.1 雙流憋壩壓測(cè)

從21年大促備戰(zhàn)開始，大數(shù)據(jù)側(cè)核心數(shù)據(jù)鏈路，從單模塊單任務(wù)的壓測(cè)，轉(zhuǎn)向全鏈路憋壩壓測(cè)，把泄洪閘口上移，壓測(cè)范圍覆蓋更廣，流量和交易同時(shí)泄洪，高保真大促網(wǎng)絡(luò)峰值，資源競(jìng)爭(zhēng)場(chǎng)景，同時(shí)數(shù)據(jù)產(chǎn)品（黃金眼、商智、作戰(zhàn)指揮室大屏）會(huì)在泄洪時(shí)同時(shí)進(jìn)行讀查詢的壓測(cè)，模擬大促讀寫峰值并行的真實(shí)大促場(chǎng)景。

2.2 雙流憋壩的壓測(cè)目標(biāo)制定

(1) 壓測(cè)目標(biāo)設(shè)定，一般會(huì)參照歷史峰值和市場(chǎng)預(yù)估，給出核心交易、流量主題鏈路峰值預(yù)估，例如22年雙11的1.2倍。關(guān)鍵的數(shù)據(jù)流topic，會(huì)給出預(yù)估消費(fèi)峰值供下游參考，如下表格所示（數(shù)據(jù)涉及保密不做詳細(xì)展示）

2.3 雙流憋壩的壓測(cè)方案

（1）交易的憋壩方式，通過停止同步任務(wù)憋單 ，交易雙流架構(gòu)圖如下所示：

（2）流量的憋壩方式，流量無損憋壩壓測(cè)是通過停止采集服務(wù)寫JDQ寫集群的方式憋流，不參與壓測(cè)的業(yè)務(wù)方，可以切換到“JDQ4瀾滄江_點(diǎn)擊流新建流”（壓測(cè)期間新建JDQ寫集群），保證下游業(yè)務(wù)可以在憋流壓測(cè)期間，正常消費(fèi)流量實(shí)時(shí)數(shù)據(jù)，做到無損。

2.4 雙流憋壩壓測(cè)規(guī)范

（1）全鏈路壓測(cè)的具體憋單、憋流開始時(shí)間以及泄洪時(shí)間，每次壓測(cè)前，會(huì)提前24～48小時(shí)發(fā)出通知（郵件+工作群），通知發(fā)出后，泄洪時(shí)間不再調(diào)整

（2）全鏈路壓測(cè)會(huì)進(jìn)行集團(tuán)報(bào)備，避開重要促銷活動(dòng)，壓測(cè)要避開存儲(chǔ)（hbase、jimdb、ES）、JDQ、JRC 等自身的災(zāi)備演練，以免無效壓測(cè)

2.5 失真場(chǎng)景的高保真壓測(cè)

平時(shí)訂單中預(yù)售訂單占比過低，預(yù)售訂單 平日峰值/大促峰值=0.05%～5.9%，峰值也無法達(dá)到要求，且不能指定場(chǎng)景，例如付定金和付尾款場(chǎng)景。所以預(yù)售訂單無法在雙流憋壩壓測(cè)中實(shí)現(xiàn)高保真，所以做了大數(shù)據(jù)預(yù)售鏈路的整體改造，聯(lián)合在線軍演壓測(cè)（業(yè)務(wù)生產(chǎn)系統(tǒng)的壓測(cè)）實(shí)現(xiàn)預(yù)售鏈路的高保真壓測(cè)補(bǔ)充

落地方案：軍演負(fù)責(zé)提供預(yù)售訂單數(shù)據(jù)和付定金付尾款場(chǎng)景，大數(shù)據(jù)鏈路進(jìn)行改造兼容壓測(cè)進(jìn)行數(shù)據(jù)壓測(cè)且不污染線上數(shù)據(jù)

如下圖所示： 黃色部分為在線軍演提供數(shù)據(jù)的對(duì)應(yīng)存儲(chǔ)——影子庫表 。綠色部分為壓測(cè)新增，最上層為壓測(cè)數(shù)據(jù)源（JMQ/JDQ） ，下面是為了壓測(cè)搭建的透?jìng)鲏簻y(cè)環(huán)境以及寫影子存儲(chǔ)。黃金眼預(yù)售通用源和商智預(yù)售交易通用源對(duì)應(yīng)任務(wù)改成雙進(jìn)雙出，同時(shí)可以處理線上數(shù)據(jù)源和壓測(cè)數(shù)據(jù)源，線上數(shù)據(jù)寫入線上輸出topic和線上存儲(chǔ)。 壓測(cè)數(shù)據(jù)源的數(shù)據(jù)處理后輸出壓測(cè)數(shù)據(jù)的topic，寫入影子存儲(chǔ)。這樣線上拓?fù)洳挥秒S著每次壓測(cè)改動(dòng)，同時(shí)，下游業(yè)務(wù)方也可以靈活選擇是否參與壓測(cè)。

三、大數(shù)據(jù)憋壩壓測(cè)期間，業(yè)務(wù)方的遷移方案

3.1 雙流憋壩壓測(cè)對(duì)于業(yè)務(wù)方的影響

在大數(shù)據(jù)雙流壓測(cè)的憋流和憋單期間，憋流和憋單對(duì)應(yīng)的機(jī)房（匯天/廊坊）無實(shí)時(shí)數(shù)據(jù)下發(fā)，泄洪后恢復(fù)。不參與壓測(cè)的業(yè)務(wù)方，需要做對(duì)應(yīng)的切換。

3.2 不參與壓測(cè)的業(yè)務(wù)方的遷移方案

（1）切換集群：

A、交易不涉及，交易從源頭topic都是雙流雙活，業(yè)務(wù)可以切換消費(fèi)到不壓測(cè)機(jī)房對(duì)應(yīng)的topic即可

B、流量直接消費(fèi)點(diǎn)擊流吐出的topic，需要切換到無損壓測(cè)集群“JDQ4瀾滄江_點(diǎn)擊流新建流”。本次切換集群，支持一鍵遷移，不用重啟任務(wù)，要使用這次功能，需要升級(jí)jdq-sdk，jdq sdk版本是jdq4-clients：1.3.0-SNAPSHOT flink：1.10/1.12/1.14-1.0.9-SNAPSHOT。如果遷移過程中看不到集群“JDQ4瀾滄江_點(diǎn)擊流新建流”，可以聯(lián)系平運(yùn)維同學(xué)支持

（2）切換topic鑒權(quán)

A、交易是雙流，廊坊和匯天都有對(duì)應(yīng)的topic，不參與壓測(cè)的業(yè)務(wù)方可以申請(qǐng)，消費(fèi)非壓測(cè)機(jī)房對(duì)應(yīng)的topic即可

B、流量不是消費(fèi)采集服務(wù)直接吐出的topic，消費(fèi)的是流量實(shí)時(shí)數(shù)倉及以下鏈路的topic，也是雙流雙活，切換消費(fèi)到非壓測(cè)機(jī)房對(duì)應(yīng)的topic即可。

?

大數(shù)據(jù)雙流憋壩壓測(cè)（方案、影響、業(yè)務(wù)方遷移方案）——內(nèi)部版本（這部分對(duì)外部保密不能發(fā)布，外網(wǎng)發(fā)布的時(shí)候這部分不需要，前面就是完整版本）

一、大數(shù)據(jù)雙流憋壩簡(jiǎn)介

1.1 數(shù)據(jù)雙流

大數(shù)據(jù)時(shí)代，越來越多的業(yè)務(wù)依賴實(shí)時(shí)數(shù)據(jù)用于決策，比如促銷調(diào)整，點(diǎn)擊率預(yù)估、廣告分傭等。為了保障業(yè)務(wù)的順利開展，也為了保證整體大數(shù)據(jù)鏈路的高可用性，越來越多的0級(jí)系統(tǒng)建設(shè)雙流，以保證日常及大促期間數(shù)據(jù)流的穩(wěn)定性。建設(shè)核心數(shù)據(jù)鏈路雙機(jī)房，雙流雙活。同時(shí)雙流建設(shè)需要整條鏈路上的所有環(huán)節(jié)雙機(jī)房部署，占用了雙倍的物理資源；整個(gè)建設(shè)過程要協(xié)同上下游各環(huán)節(jié)（數(shù)據(jù)生產(chǎn)方、數(shù)倉加工方、中間處理節(jié)點(diǎn)、業(yè)務(wù)消費(fèi)方），也會(huì)消耗大量的溝通建設(shè)成本。為了達(dá)到資源消耗和業(yè)務(wù)穩(wěn)定性的平衡，特制定雙流建設(shè)標(biāo)準(zhǔn)和實(shí)施流程以引導(dǎo)業(yè)務(wù)方合理評(píng)估雙流需求，順利開展雙流建設(shè)實(shí)施，詳細(xì)參見：雙流建設(shè)評(píng)估標(biāo)準(zhǔn)?

1.2 大數(shù)據(jù)雙流憋壩壓測(cè)

從21年大促備戰(zhàn)開始，大數(shù)據(jù)側(cè)核心數(shù)據(jù)鏈路，從單模塊單任務(wù)的壓測(cè)，轉(zhuǎn)向全鏈路憋壩壓測(cè)，把泄洪閘口上移，壓測(cè)范圍覆蓋更廣，訂單和交易同時(shí)泄洪，高保真大促網(wǎng)絡(luò)峰值，資源競(jìng)爭(zhēng)場(chǎng)景，同時(shí)數(shù)據(jù)產(chǎn)品（黃金眼、商智、作戰(zhàn)指揮室大屏）會(huì)在泄洪時(shí)同時(shí)進(jìn)行讀查詢的壓測(cè)，模擬大促讀寫峰值并行的真實(shí)大促場(chǎng)景

1.3 大數(shù)據(jù)憋壩與軍演的關(guān)系

（1）軍演，是針對(duì)生產(chǎn)業(yè)務(wù)系統(tǒng)的壓測(cè)，主要涵蓋首頁、搜索、列表、商詳、活動(dòng)、購物車、結(jié)算頁、訂單、優(yōu)惠券、禮品卡、支付、網(wǎng)關(guān)、OFC、物流、售后及依賴的上游動(dòng)態(tài)系統(tǒng)。壓測(cè)所用的sku是測(cè)試sku，壓測(cè)的訂單會(huì)打sendpay140=2或者3的標(biāo)識(shí)，不會(huì)污染線上真實(shí)數(shù)據(jù)。

（2）大數(shù)據(jù)憋壩，是從停止同步任務(wù)開始，憋真實(shí)的線上流量，達(dá)到一定的量后，泄洪，所有壓測(cè)數(shù)據(jù)都是真實(shí)線上數(shù)據(jù)。

（3）大數(shù)據(jù)憋壩與軍演的關(guān)系：

A、軍演壓測(cè)數(shù)據(jù)不會(huì)影響大數(shù)據(jù)鏈路

B、大數(shù)據(jù)泄洪的時(shí)間，需要避開軍演起量的時(shí)間，否則源頭訂單源泄洪會(huì)有拖尾

C、對(duì)于預(yù)售這種平時(shí)憋單，無法達(dá)到大促場(chǎng)景和量級(jí)的特殊訂單場(chǎng)景，軍演與大數(shù)據(jù)會(huì)做聯(lián)合高保真壓測(cè)

審核編輯 黃宇