資料介紹
針對運維大數(shù)據(jù)維度高、形式多樣化和變化迅速等特性,為提高數(shù)據(jù)融合效率以及平臺的數(shù)據(jù)統(tǒng)計和決策分析性能,降低抽取一轉(zhuǎn)換一加載( ETL)執(zhí)行時間開銷和數(shù)據(jù)中心負(fù)擔(dān),面向智慧管養(yǎng)需求提出一種多層次任務(wù)調(diào)度( MTS) ETL框架(MTS-ETL)。首先,將數(shù)據(jù)倉庫分為數(shù)據(jù)臨時區(qū)、數(shù)據(jù)倉儲區(qū)、數(shù)據(jù)分類區(qū)和數(shù)據(jù)分析區(qū),并根據(jù)所分區(qū)域?qū)⑼暾腅TL過程劃分為4個層次的ETL任務(wù)調(diào)度環(huán)節(jié),同時設(shè)計了多頻率ETL運行調(diào)度以及順序和非順序兩種ETL工作模式;接著,基于MTS-ETL框架的非順序工作模式進(jìn)行數(shù)據(jù)融合的概念建模、邏輯建模和物理建模;最后,利用Pentaho Data Integration設(shè)計ETL轉(zhuǎn)換模塊和工作模塊以實現(xiàn)數(shù)據(jù)融合方法。在交通流量數(shù)據(jù)融合實驗中,該方法融合136754條數(shù)據(jù)的時間僅為28.4 s;在千量級的數(shù)據(jù)融合實驗中比傳統(tǒng)ETL方法的總平均執(zhí)行時間降低了6. 51%;報表分析結(jié)果表明其在融合400萬條數(shù)據(jù)時依然能保證ETL過程的可靠性。所提方法能夠有效融合運維大數(shù)據(jù),提高平臺統(tǒng)計分析性能,并維持ETL執(zhí)行時間開銷在較低水平。
- 基于多傳感器數(shù)據(jù)融合的GPS欺騙檢測方法 22次下載
- 多無人機局部地圖數(shù)據(jù)共享融合的SLAM方法 8次下載
- 大數(shù)據(jù)分解-融合研究綜述 8次下載
- 基于神經(jīng)網(wǎng)絡(luò)的大數(shù)據(jù)腳本攻擊智能檢測 2次下載
- 工業(yè)大數(shù)據(jù)的特征、方法與價值創(chuàng)造 9次下載
- 大數(shù)據(jù)海量數(shù)據(jù)處理方法總結(jié) 13次下載
- 結(jié)合多尺度邊緣保持分解與PCNN的圖像融合方法 16次下載
- 基于5G和大數(shù)據(jù)的智慧城市綜合分析 11次下載
- 大數(shù)據(jù)信息融合實驗說明免費下載 0次下載
- 如何解決多源數(shù)據(jù)融合分析過程靈活性差和處理效率低的問題方法說明 3次下載
- 如何實現(xiàn)高速公路大數(shù)據(jù)的短時流量預(yù)測方法 10次下載
- 如何使用面向高速公路的大數(shù)據(jù)進(jìn)行短時流量預(yù)測方法資料說明 5次下載
- 基于電力大數(shù)據(jù)的參數(shù)融合 8次下載
- 面向大數(shù)據(jù)的并行分類混合算法研究 0次下載
- 大數(shù)據(jù)打破行業(yè)邊界、推動物聯(lián)網(wǎng)產(chǎn)業(yè)融合 29次下載
- 大數(shù)據(jù)技術(shù)是干嘛的 大數(shù)據(jù)核心技術(shù)有哪些 3700次閱讀
- 融合互通,浪潮分布式融合存儲AS13000加速海量數(shù)據(jù)處理 727次閱讀
- 大數(shù)據(jù)殺熟的原理、性質(zhì)和治理方法 1w次閱讀
- 智慧城市管理中常用的大數(shù)據(jù)技術(shù)和應(yīng)用 3.5w次閱讀
- 什么才是真正的大數(shù)據(jù) 關(guān)于大數(shù)據(jù)的幾個特性 2923次閱讀
- 大數(shù)據(jù)技術(shù)如何進(jìn)行融合發(fā)展 9408次閱讀
- 視覺大數(shù)據(jù)領(lǐng)域的最好分析方法之一:深度學(xué)習(xí) 4945次閱讀
- 大數(shù)據(jù)是什么_大數(shù)據(jù)技術(shù)和應(yīng)用的現(xiàn)狀與前景 2.4w次閱讀
- 區(qū)塊鏈在工業(yè)大數(shù)據(jù)智慧云鏈中的解決方案 2264次閱讀
- AR對于大數(shù)據(jù)有什么意義?電力大數(shù)據(jù)有什么作用?詳細(xì)案例說明 8062次閱讀
- 大數(shù)據(jù)時代智能配電網(wǎng)該如何融合大數(shù)據(jù) 1w次閱讀
- 物聯(lián)網(wǎng)是大數(shù)據(jù)的重要來源,大數(shù)據(jù)助力物聯(lián)網(wǎng) 1.1w次閱讀
- 國內(nèi)有哪些大數(shù)據(jù)公司_最新中國大數(shù)據(jù)公司排名 5.3w次閱讀
- 最新大數(shù)據(jù)概念股龍頭_大數(shù)據(jù)概念龍頭股有哪些 4.4w次閱讀
- 面向互聯(lián)網(wǎng)+的主網(wǎng)運檢智能管控體系的設(shè)計和結(jié)構(gòu)以及應(yīng)用實例 5680次閱讀
下載排行
本周
- 1DC電源插座圖紙
- 0.67 MB | 2次下載 | 免費
- 2AN158 GD32VW553 Wi-Fi開發(fā)指南
- 1.51MB | 2次下載 | 免費
- 3AN148 GD32VW553射頻硬件開發(fā)指南
- 2.07MB | 1次下載 | 免費
- 4AN111-LTC3219用戶指南
- 84.32KB | 次下載 | 免費
- 5AN153-用于電源系統(tǒng)管理的Linduino
- 1.38MB | 次下載 | 免費
- 6AN-283: Σ-Δ型ADC和DAC[中文版]
- 677.86KB | 次下載 | 免費
- 7SM2018E 支持可控硅調(diào)光線性恒流控制芯片
- 402.24 KB | 次下載 | 免費
- 8AN-1308: 電流檢測放大器共模階躍響應(yīng)
- 545.42KB | 次下載 | 免費
本月
- 1ADI高性能電源管理解決方案
- 2.43 MB | 450次下載 | 免費
- 2免費開源CC3D飛控資料(電路圖&PCB源文件、BOM、
- 5.67 MB | 138次下載 | 1 積分
- 3基于STM32單片機智能手環(huán)心率計步器體溫顯示設(shè)計
- 0.10 MB | 130次下載 | 免費
- 4使用單片機實現(xiàn)七人表決器的程序和仿真資料免費下載
- 2.96 MB | 44次下載 | 免費
- 53314A函數(shù)發(fā)生器維修手冊
- 16.30 MB | 31次下載 | 免費
- 6美的電磁爐維修手冊大全
- 1.56 MB | 24次下載 | 5 積分
- 7如何正確測試電源的紋波
- 0.36 MB | 17次下載 | 免費
- 8感應(yīng)筆電路圖
- 0.06 MB | 10次下載 | 免費
總榜
- 1matlab軟件下載入口
- 未知 | 935121次下載 | 10 積分
- 2開源硬件-PMP21529.1-4 開關(guān)降壓/升壓雙向直流/直流轉(zhuǎn)換器 PCB layout 設(shè)計
- 1.48MB | 420062次下載 | 10 積分
- 3Altium DXP2002下載入口
- 未知 | 233088次下載 | 10 積分
- 4電路仿真軟件multisim 10.0免費下載
- 340992 | 191367次下載 | 10 積分
- 5十天學(xué)會AVR單片機與C語言視頻教程 下載
- 158M | 183335次下載 | 10 積分
- 6labview8.5下載
- 未知 | 81581次下載 | 10 積分
- 7Keil工具M(jìn)DK-Arm免費下載
- 0.02 MB | 73810次下載 | 10 積分
- 8LabVIEW 8.6下載
- 未知 | 65988次下載 | 10 積分
評論