一種語義規(guī)則為指導的增量優(yōu)化方法
大小:2.81 MB 人氣: 2017-12-27 需要積分:2
標簽:增量(6397)
大數(shù)據(jù)蘊含著巨大的價值.分析類查詢是獲取數(shù)據(jù)價值的一種重要手段.為及時把握分析結果的變化。查詢需要周期性地重復.為此,將不可避免地引入對舊數(shù)據(jù)的重復分析.目前,以重用歷史數(shù)據(jù)的中間結果、優(yōu)化冗余計算為核心思路的增量分析技術。存在用戶透明性不佳、對歷史結果存儲位置的選擇不夠智能化等問題,對周期性增量查詢的優(yōu)化效果有限,從兼顧用戶透明性和優(yōu)化收益的角度出發(fā)。設計了一種以語義規(guī)則為指導的增量優(yōu)化方法.該方法擴展了增量描述語法,以查詢操作符的操作語義和輸出語義指導對歷史數(shù)據(jù)存儲、合并位置的選擇,再根據(jù)代價模型和物理查詢任務的劃分位置對選擇結果進行調整,生成優(yōu)化后可以在分布式計算框架(如MapReduce)周期性調度執(zhí)行的物理查詢任務.以Apache Hive為基礎,實現(xiàn)了上述方法的原型Hivelnc.實驗結果表明:對于擴展了增量語法描述的TPC-H測試集,Hivelnc相對于優(yōu)化前可以獲得平均2.93倍、最高5.78倍的加速:與經(jīng)典的優(yōu)化技術IncMR、Dryadlnc相比,分別可以獲得1.69倍和1.61倍的加速.
非常好我支持^.^
(0) 0%
不好我反對
(0) 0%