資料介紹
針對Spark數(shù)據(jù)集不可變,以及Java虛擬機(JVM)依賴環(huán)境引起的代碼執(zhí)行、內(nèi)存管理、數(shù)據(jù)序列化/反序列化等開銷過多的不足,采用C/C++語言,設(shè)計并實現(xiàn)了一種輕量級的大數(shù)據(jù)運算系統(tǒng)-Helius。Helius支持Spark的基本操作,同時允許數(shù)據(jù)集整體修改;同時,Helius利用C/C++優(yōu)化內(nèi)存管理和網(wǎng)絡(luò)傳輸,并采用stateless worker機制簡化分布式計算平臺的容錯恢復(fù)過程。實驗結(jié)果顯示:5次迭代中,Helius運行PageRank算法的時間僅為Spark的25. 12% - 53. 14%,運行TPCH Q6的時間僅為Spark的57. 37%;在PageRank迭代1次的基礎(chǔ)上,運行在Helius系統(tǒng)下時,master節(jié)點IP接收和發(fā)送數(shù)據(jù)量約為運行于Spark系統(tǒng)的40%和15%,而且200 s的運行過程中,Helius占用的總內(nèi)存約為Spark的25%。實驗結(jié)果與分析表明,與Spark相比,Helius具有節(jié)約內(nèi)存、不需要序列化和反序列化、減少網(wǎng)絡(luò)交互以及容錯簡單等優(yōu)點。
- 輕量級的SDN數(shù)據(jù)包轉(zhuǎn)發(fā)驗證方案 10次下載
- 基于Feistel結(jié)構(gòu)的超輕量級分組密碼算法 4次下載
- 基于輕量級虛擬化的LDDoS仿真攻防方法 6次下載
- 輕量級分布式機器學(xué)習(xí)系統(tǒng)及算法 16次下載
- 基于YOLO改進的輕量級交通標(biāo)識檢測模型 12次下載
- 一種逐層分組卷積并構(gòu)建輕量級網(wǎng)絡(luò)結(jié)構(gòu)SKASNet 10次下載
- 一種輕量級時間卷積網(wǎng)絡(luò)設(shè)計方案 6次下載
- 基于位重排變換的超輕量級RFID雙向認證協(xié)議 2次下載
- Protothreads極輕量級系統(tǒng)的詳細資料簡介
- 輕量級協(xié)議棧LWIP如何進行分析與改進 5次下載
- 一種超輕量級群組射頻識別標(biāo)簽所有權(quán)轉(zhuǎn)移協(xié)議 1次下載
- 一種輕量級的大數(shù)據(jù)分析系統(tǒng) 10次下載
- 輕量級RFID安全協(xié)議 22次下載
- 一種嵌入式Linux輕量級GUI系統(tǒng)設(shè)計
- 一種嵌入式Linux輕量級GUI系統(tǒng)設(shè)計
- 基于Openharmony輕量級操作系統(tǒng)的分布式數(shù)據(jù)管理開發(fā)案例 1012次閱讀
- Linux輕量級工具集合Busybox的特點和使用 1448次閱讀
- 一個輕量級的權(quán)限認證框架:Sa-Token 2203次閱讀
- 分享一個適合單片機的輕量級日志庫 1593次閱讀
- 一個純Python編寫的輕量級數(shù)據(jù)庫 856次閱讀
- 針對單片機開發(fā)的輕量級OTA組件 1427次閱讀
- TinyDB輕量級數(shù)據(jù)庫有哪些特點呢 1503次閱讀
- 一款適合初學(xué)者超輕量級C語言網(wǎng)絡(luò)庫—Dyad 2015次閱讀
- 輕量級Kubernetes-K3S工具介紹 2527次閱讀
- 一種基于智慧運營平臺,將大數(shù)據(jù)技術(shù)和數(shù)據(jù)挖掘技術(shù)相結(jié)合 7481次閱讀
- 一種網(wǎng)絡(luò)大數(shù)據(jù)協(xié)作融合算法 4484次閱讀
- 全球首款輕量級機械臂已經(jīng)出現(xiàn)了! 7535次閱讀
- 谷歌開源TFGAN輕量級的工具庫 目的是讓訓(xùn)練和評估GAN變得更加簡單 4963次閱讀
- 谷歌開發(fā)一個輕量級的庫——TFGAN 它可以讓生成對抗網(wǎng)絡(luò)更易于實驗 5541次閱讀
- 一種AES密碼算法的實現(xiàn) 3174次閱讀
下載排行
本周
- 1電子電路原理第七版PDF電子教材免費下載
- 0.00 MB | 1490次下載 | 免費
- 2單片機典型實例介紹
- 18.19 MB | 92次下載 | 1 積分
- 3S7-200PLC編程實例詳細資料
- 1.17 MB | 27次下載 | 1 積分
- 4筆記本電腦主板的元件識別和講解說明
- 4.28 MB | 18次下載 | 4 積分
- 5開關(guān)電源原理及各功能電路詳解
- 0.38 MB | 10次下載 | 免費
- 6基于AT89C2051/4051單片機編程器的實驗
- 0.11 MB | 4次下載 | 免費
- 7藍牙設(shè)備在嵌入式領(lǐng)域的廣泛應(yīng)用
- 0.63 MB | 3次下載 | 免費
- 89天練會電子電路識圖
- 5.91 MB | 3次下載 | 免費
本月
- 1OrCAD10.5下載OrCAD10.5中文版軟件
- 0.00 MB | 234313次下載 | 免費
- 2PADS 9.0 2009最新版 -下載
- 0.00 MB | 66304次下載 | 免費
- 3protel99下載protel99軟件下載(中文版)
- 0.00 MB | 51209次下載 | 免費
- 4LabView 8.0 專業(yè)版下載 (3CD完整版)
- 0.00 MB | 51043次下載 | 免費
- 5555集成電路應(yīng)用800例(新編版)
- 0.00 MB | 33562次下載 | 免費
- 6接口電路圖大全
- 未知 | 30320次下載 | 免費
- 7Multisim 10下載Multisim 10 中文版
- 0.00 MB | 28588次下載 | 免費
- 8開關(guān)電源設(shè)計實例指南
- 未知 | 21539次下載 | 免費
總榜
- 1matlab軟件下載入口
- 未知 | 935053次下載 | 免費
- 2protel99se軟件下載(可英文版轉(zhuǎn)中文版)
- 78.1 MB | 537791次下載 | 免費
- 3MATLAB 7.1 下載 (含軟件介紹)
- 未知 | 420026次下載 | 免費
- 4OrCAD10.5下載OrCAD10.5中文版軟件
- 0.00 MB | 234313次下載 | 免費
- 5Altium DXP2002下載入口
- 未知 | 233045次下載 | 免費
- 6電路仿真軟件multisim 10.0免費下載
- 340992 | 191183次下載 | 免費
- 7十天學(xué)會AVR單片機與C語言視頻教程 下載
- 158M | 183277次下載 | 免費
- 8proe5.0野火版下載(中文版免費下載)
- 未知 | 138039次下載 | 免費
評論