資料介紹
隨著大數(shù)據(jù)應(yīng)用的普及,高效可擴(kuò)展的數(shù)據(jù)流操作在實(shí)時(shí)分析處理中扮演著越來(lái)越重要的角色.分布式并行處理架構(gòu)是應(yīng)對(duì)大流量、低延時(shí)數(shù)據(jù)流處理任務(wù)的一種有效解決方案.然而在 Key-based 分組并行處理中,由于數(shù)據(jù)的傾斜分布及數(shù)據(jù)流本身的實(shí)時(shí)、動(dòng)態(tài)和數(shù)據(jù)規(guī)模不可預(yù)知等特性,使得數(shù)據(jù)流分布并行處理系統(tǒng)存在持續(xù)且動(dòng)態(tài)負(fù)載不均衡現(xiàn)象,這會(huì)造成系統(tǒng)時(shí)效性降低、硬件資源浪費(fèi)等問(wèn)題.現(xiàn)有的研究工作處理均衡負(fù)載有兩種方案:(1) 基于 key 粒度的遷移,使得并行處理節(jié)點(diǎn)負(fù)載達(dá)到均衡;(2) 基于元組粒度級(jí)別的拆分,采用隨機(jī)分發(fā)使系統(tǒng)均衡.前者將系統(tǒng)調(diào)整至給定的均衡容忍范圍內(nèi),類似于一維裝箱的 NP 問(wèn)題;后者對(duì) key 的拆分勢(shì)必帶來(lái)新的為維護(hù) Key-based 操作的正確性而增加的額外代價(jià),如內(nèi)存及網(wǎng)絡(luò)通信成本.綜合兩種方法,提出對(duì) key 按需拆分、盡量合并的方法,通過(guò)輕量級(jí)均衡調(diào)整算法以及保證 Key-based 操作特性的拆分方法,使系統(tǒng)既能達(dá)到后者的均衡,又能減少細(xì)粒度均衡所帶來(lái)的額外代價(jià)。

下載該資料的人也在下載
下載該資料的人還在閱讀
更多 >
- 空間文本數(shù)據(jù)流上連續(xù)查詢?cè)u(píng)估技術(shù)應(yīng)用 7次下載
- 基于分布式編碼的同步隨機(jī)梯度下降算法 2次下載
- 基于分布式數(shù)據(jù)Cache的實(shí)時(shí)動(dòng)態(tài)遷移機(jī)制 20次下載
- 基于預(yù)分區(qū)策略的分布式數(shù)據(jù)存儲(chǔ)方法 18次下載
- 分布式智能電網(wǎng)控制系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn) 2次下載
- 一種面向高性能計(jì)算的分布式對(duì)象存儲(chǔ)系統(tǒng) 0次下載
- 大數(shù)據(jù)環(huán)境下的分布式數(shù)據(jù)流處理關(guān)鍵技術(shù)探析 0次下載
- 數(shù)據(jù)流編程模型優(yōu)化 3次下載
- 分布式AP選擇策略在室內(nèi)定位中的應(yīng)用_葛柳飛 1次下載
- 含多種分布式電源的微電網(wǎng)控制策略 19次下載
- 分布式電驅(qū)動(dòng)車輛回饋制動(dòng)控制策略研究 0次下載
- 基于逆變型分布式電源控制策略的微電網(wǎng)電能質(zhì)量控制方法 17次下載
- 基于分布式數(shù)據(jù)庫(kù)系統(tǒng)的數(shù)據(jù)分配模型研究
- 一種健壯的計(jì)算安全的分布式密鑰分發(fā)方案
- 網(wǎng)絡(luò)管理系統(tǒng)分布式協(xié)作的業(yè)務(wù)流程分發(fā)機(jī)制
- Java手寫分布式鎖的實(shí)現(xiàn) 612次閱讀
- tldb提供分布式鎖使用方法 923次閱讀
- 數(shù)據(jù)庫(kù)如何實(shí)現(xiàn)分布式鎖 5124次閱讀
- 深入理解redis分布式鎖 988次閱讀
- 分布式存儲(chǔ)架構(gòu)面臨的挑戰(zhàn) 1513次閱讀
- 如何使用分布式存儲(chǔ)系統(tǒng)促進(jìn)AI模型訓(xùn)練 608次閱讀
- 鴻蒙分布式相機(jī)“踩坑”分享 1910次閱讀
- 干貨:解決分布式緩存與數(shù)據(jù)庫(kù)的雙存儲(chǔ)雙寫 2616次閱讀
- 分布式光纖傳感器原理_分布式光纖傳感器的應(yīng)用 8835次閱讀
- 分布式控制系統(tǒng)的介紹 5529次閱讀
- Redis 分布式鎖的正確實(shí)現(xiàn)方式 3615次閱讀
- 分布式存儲(chǔ)運(yùn)維系統(tǒng)構(gòu)架簡(jiǎn)析 2671次閱讀
- 淺談分布式塊存儲(chǔ)的元數(shù)據(jù)服務(wù)設(shè)計(jì) 4951次閱讀
- 深度解讀分布式存儲(chǔ)技術(shù)之分布式剪枝系統(tǒng) 1861次閱讀
- 基于GPRS和IE的分布式收費(fèi)終端功能升級(jí)策略 1314次閱讀
下載排行
本周
- 1DC電源插座圖紙
- 0.67 MB | 2次下載 | 免費(fèi)
- 2AN158 GD32VW553 Wi-Fi開發(fā)指南
- 1.51MB | 2次下載 | 免費(fèi)
- 3AN148 GD32VW553射頻硬件開發(fā)指南
- 2.07MB | 1次下載 | 免費(fèi)
- 4AN111-LTC3219用戶指南
- 84.32KB | 次下載 | 免費(fèi)
- 5AN153-用于電源系統(tǒng)管理的Linduino
- 1.38MB | 次下載 | 免費(fèi)
- 6AN-283: Σ-Δ型ADC和DAC[中文版]
- 677.86KB | 次下載 | 免費(fèi)
- 7SM2018E 支持可控硅調(diào)光線性恒流控制芯片
- 402.24 KB | 次下載 | 免費(fèi)
- 8AN-1308: 電流檢測(cè)放大器共模階躍響應(yīng)
- 545.42KB | 次下載 | 免費(fèi)
本月
- 1ADI高性能電源管理解決方案
- 2.43 MB | 450次下載 | 免費(fèi)
- 2免費(fèi)開源CC3D飛控資料(電路圖&PCB源文件、BOM、
- 5.67 MB | 138次下載 | 1 積分
- 3基于STM32單片機(jī)智能手環(huán)心率計(jì)步器體溫顯示設(shè)計(jì)
- 0.10 MB | 130次下載 | 免費(fèi)
- 4使用單片機(jī)實(shí)現(xiàn)七人表決器的程序和仿真資料免費(fèi)下載
- 2.96 MB | 44次下載 | 免費(fèi)
- 53314A函數(shù)發(fā)生器維修手冊(cè)
- 16.30 MB | 31次下載 | 免費(fèi)
- 6美的電磁爐維修手冊(cè)大全
- 1.56 MB | 24次下載 | 5 積分
- 7如何正確測(cè)試電源的紋波
- 0.36 MB | 17次下載 | 免費(fèi)
- 8感應(yīng)筆電路圖
- 0.06 MB | 10次下載 | 免費(fèi)
總榜
- 1matlab軟件下載入口
- 未知 | 935121次下載 | 10 積分
- 2開源硬件-PMP21529.1-4 開關(guān)降壓/升壓雙向直流/直流轉(zhuǎn)換器 PCB layout 設(shè)計(jì)
- 1.48MB | 420062次下載 | 10 積分
- 3Altium DXP2002下載入口
- 未知 | 233088次下載 | 10 積分
- 4電路仿真軟件multisim 10.0免費(fèi)下載
- 340992 | 191367次下載 | 10 積分
- 5十天學(xué)會(huì)AVR單片機(jī)與C語(yǔ)言視頻教程 下載
- 158M | 183335次下載 | 10 積分
- 6labview8.5下載
- 未知 | 81581次下載 | 10 積分
- 7Keil工具M(jìn)DK-Arm免費(fèi)下載
- 0.02 MB | 73810次下載 | 10 積分
- 8LabVIEW 8.6下載
- 未知 | 65988次下載 | 10 積分
評(píng)論