一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

華為PB級時序數(shù)據(jù)庫Gauss DB,助力海量數(shù)據(jù)處理

禿頭也愛科技 ? 來源:禿頭也愛科技 ? 作者:禿頭也愛科技 ? 2022-10-15 19:15 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

??近年來,時序數(shù)據(jù)的應用更為廣泛,包括物聯(lián)網(wǎng)、金融領域、監(jiān)控領域、醫(yī)學領域、農業(yè)生產(chǎn)領域等各方面,都在大量使用時序數(shù)據(jù),通過數(shù)據(jù)來研究對象的趨勢性、規(guī)律性、異常性;并且在 5G人工智能的浪潮下,時序數(shù)據(jù)作為大數(shù)據(jù)、機器學習、實時預測的基礎數(shù)據(jù),作用更加顯著。因此,對時序數(shù)據(jù)的研究與應用應當更為深入。

??近 5 年來,時序數(shù)據(jù)庫發(fā)展十分迅猛,各大互聯(lián)網(wǎng)企業(yè)包括 Google、阿里、Amazon 都推出自己的時序數(shù)據(jù)。

PB1.png

圖 1 DB-Engines 統(tǒng)計不同類別數(shù)據(jù)庫關注度趨勢

??圖 1 為 DB-Engines 統(tǒng)計從2018年1月到2019 年 12 月截至 24 月各類數(shù)據(jù)庫的關注度趨勢,可以看到時序數(shù)據(jù)庫關注度同比 2017 年 12 月上漲 77.3%,相比第二名的圖形數(shù)據(jù)庫上漲近兩倍。圖 2 為 DB-Engines 統(tǒng)計從2013年12月到2019 年 12 月截至 6年來業(yè)內流行的時序數(shù)據(jù)庫的關注度和使用度排名。

PB2.png

圖 2 DB-Engines 統(tǒng)計時序數(shù)據(jù)庫關注度趨勢

??從圖中可以看到,從 2015 年開始,各種時序數(shù)據(jù)庫如雨后春筍般涌現(xiàn)。

??GaussDB(for Influx)時序數(shù)據(jù)庫依靠華為在數(shù)據(jù)存儲領域多年的實踐經(jīng)驗,整合華為云的計算、存儲、服務保障和安全等方面的能力,在架構、性能和數(shù)據(jù)壓縮等方面進行了突破性的技術創(chuàng)新,達到了較好的效果,對內支撐了華為云基礎設施服務,對外以服務的形式開放,幫助上云企業(yè)解決相關業(yè)務問題。

??GaussDB(for Influx) 具有支持億級時間線、極致寫入性能、低存儲成本、高性能多維聚合查詢和極致彈性擴縮容等5大特性。以下為特性的大致介紹:

PB3.png

??由于在時序數(shù)據(jù)庫系統(tǒng)中,無時無刻存在大量并發(fā)查詢和寫入操作,因此合理控制內存的使用量就顯得十分重要。而GaussDB(for Influx)便在這一問題上做了進一步優(yōu)化:

??l 在內存分配與回收上,使用內存池復用技術降低內存碎片,并實現(xiàn)算法動態(tài)調整GC頻率,加快內存回收。

??l 在單查詢上,實行Quota控制,避免單查詢耗盡內存。

??l 在緩存中,針對不同節(jié)點規(guī)格提供不同最優(yōu)配置。

2 、極致寫入性能

??GaussDB(for Influx)支持每天萬億條數(shù)據(jù)寫入,在工程實現(xiàn)上有以下優(yōu)化:

??l 利用所有節(jié)點并行寫入,充分發(fā)揮集群優(yōu)勢。

??l Shard節(jié)點采用針對場景優(yōu)化的LSM-Tree布局

??l 在大規(guī)模寫入場景下,GaussDB(for Influx)的寫入性能線性擴展度大于80%。

3 、低存儲成本

??GaussDB(for Influx)對數(shù)據(jù)采用列式存儲,相同類型的數(shù)據(jù)被集中存儲,更有利于數(shù)據(jù)壓縮。采用自研的時序數(shù)據(jù)自適應壓縮算法,在壓縮前對數(shù)據(jù)進行抽樣分析,根據(jù)數(shù)據(jù)量、數(shù)據(jù)分布以及數(shù)據(jù)類型選擇最合適的數(shù)據(jù)壓縮算法。同時提供了時序數(shù)據(jù)的分級存儲,支持用戶自定義冷熱數(shù)據(jù),實現(xiàn)數(shù)據(jù)的冷熱分離。熱數(shù)據(jù)相對數(shù)據(jù)量小,訪問頻繁,被存儲在性能更好、成本較高的存儲介質上;冷數(shù)據(jù)相對數(shù)據(jù)量大,訪問概率低,保存時間較久,被存儲在成本較低的存儲介質上,進而達到節(jié)約存儲成本的目的。

4 、高性能多維聚合查詢

??在提升聚合查詢整體性能方面,GaussDB(for Influx)做了如下優(yōu)化:

??l 采用MPP架構:一條查詢語句可以在多節(jié)點及多核并發(fā)執(zhí)行。

??l 向量化查詢引擎:在查詢結果數(shù)據(jù)量很大時,GaussDB(for Influx)內部實現(xiàn)了向量化查詢引擎,每次迭代批量返回數(shù)據(jù),大大減少了額外開銷。

??l 增量聚合引擎:基于滑動窗口的聚合查詢,大部分從聚合結果緩存中直接命中,僅需要聚合增量數(shù)據(jù)部分即可。

??l 多維倒排索引:支持多維多條件組合查詢,加快數(shù)據(jù)查詢中過濾無關數(shù)據(jù)。

5 、極致彈性擴縮容

??在時序數(shù)據(jù)庫的運行過程中,隨著業(yè)務量的增加,常常需要對數(shù)據(jù)庫進行在線擴容,以滿足業(yè)務的要求。

??l 傳統(tǒng)數(shù)據(jù)庫中的數(shù)據(jù)存儲在本地,擴容后往往需要遷移數(shù)據(jù)。當數(shù)據(jù)量達到一定規(guī)模時,數(shù)據(jù)遷移所耗費的時間往往按天計算,給運維帶來了很大的困難。

??l GaussDB(for Influx)相比于傳統(tǒng)的數(shù)據(jù)庫,最大的特點就是將計算與存儲分離,能夠輕松實現(xiàn)分鐘級擴容。

??此外,在能源、制造、IOT、互聯(lián)網(wǎng)等行業(yè)的監(jiān)控統(tǒng)計及分析的應用場景中,時序洞察提供了針對時序數(shù)據(jù)的可視化功能。在監(jiān)控領域,我們??吹侥軐崟r反映整個系統(tǒng)運行情況的絢麗監(jiān)控大屏,這便是數(shù)據(jù)庫的監(jiān)控看板功能,可以高效地運用監(jiān)控數(shù)據(jù)輔助定位故障、性能調優(yōu)、容量規(guī)劃;可以查看各產(chǎn)品的監(jiān)控數(shù)據(jù)走勢及對比;跨產(chǎn)品展示關鍵指標的實時數(shù)據(jù)、歷史數(shù)據(jù)和整體走勢。業(yè)務人員可以根據(jù)該信息對業(yè)務進行及時調整。

??通過對時序數(shù)據(jù)庫的發(fā)展分析,時序數(shù)據(jù)庫的發(fā)展空間巨大,但也存在很多問題,GaussDB(for Influx)針對其存在的問題,都進行了針對性的創(chuàng)新與發(fā)展,可以說GaussDB(for Influx)為時序數(shù)據(jù)庫的發(fā)展提供了巨大推動力。

審核編輯 黃昊宇

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 華為
    +關注

    關注

    216

    文章

    35193

    瀏覽量

    255712
  • 數(shù)據(jù)庫

    關注

    7

    文章

    3921

    瀏覽量

    66131
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    企業(yè)MySQL數(shù)據(jù)庫管理指南

    在當今數(shù)字化時代,MySQL作為全球最受歡迎的開源關系型數(shù)據(jù)庫,承載著企業(yè)核心業(yè)務數(shù)據(jù)的存儲與處理。作為數(shù)據(jù)庫管理員(DBA),掌握MySQL的企業(yè)
    的頭像 發(fā)表于 07-09 09:50 ?98次閱讀

    數(shù)據(jù)庫數(shù)據(jù)恢復—MongoDB數(shù)據(jù)庫文件丟失的數(shù)據(jù)恢復案例

    MongoDB數(shù)據(jù)庫數(shù)據(jù)恢復環(huán)境: 一臺操作系統(tǒng)為Windows Server的虛擬機上部署MongoDB數(shù)據(jù)庫。 MongoDB數(shù)據(jù)庫故障: 工作人員在MongoDB服務仍
    的頭像 發(fā)表于 07-01 11:13 ?132次閱讀
    <b class='flag-5'>數(shù)據(jù)庫</b><b class='flag-5'>數(shù)據(jù)</b>恢復—MongoDB<b class='flag-5'>數(shù)據(jù)庫</b>文件丟失的<b class='flag-5'>數(shù)據(jù)</b>恢復案例

    數(shù)據(jù)庫數(shù)據(jù)恢復—SQL Server數(shù)據(jù)庫被加密如何恢復數(shù)據(jù)?

    SQL Server數(shù)據(jù)庫故障: SQL Server數(shù)據(jù)庫被加密,無法使用。 數(shù)據(jù)庫MDF、LDF、log日志文件名字被篡改。
    的頭像 發(fā)表于 06-25 13:54 ?125次閱讀
    <b class='flag-5'>數(shù)據(jù)庫</b><b class='flag-5'>數(shù)據(jù)</b>恢復—SQL Server<b class='flag-5'>數(shù)據(jù)庫</b>被加密如何恢復<b class='flag-5'>數(shù)據(jù)</b>?

    TDengine 發(fā)布時序數(shù)據(jù)分析 AI 智能體 TDgpt,核心代碼開源

    組成部分,標志著時序數(shù)據(jù)庫在原生集成 AI 能力方面邁出了關鍵一步。 TDgpt 是內嵌于 TDengine 中的時序數(shù)據(jù)分析 AI 智能體,具備時序數(shù)據(jù)預測、異常檢測、數(shù)據(jù)補全、分類
    的頭像 發(fā)表于 03-27 10:30 ?286次閱讀
    TDengine 發(fā)布<b class='flag-5'>時序數(shù)據(jù)</b>分析 AI 智能體 TDgpt,核心代碼開源

    數(shù)據(jù)庫是哪種數(shù)據(jù)庫類型?

    數(shù)據(jù)庫是一種部署在虛擬計算環(huán)境中的數(shù)據(jù)庫,它融合了云計算的彈性和可擴展性,為用戶提供高效、靈活的數(shù)據(jù)庫服務。云數(shù)據(jù)庫主要分為兩大類:關系型數(shù)據(jù)庫
    的頭像 發(fā)表于 01-07 10:22 ?499次閱讀

    時序數(shù)據(jù)庫TDengine 2024年保持高增長,實現(xiàn)收入翻倍

    近日,時序數(shù)據(jù)庫 (Time Series Database) TDengine 正式公布了 2024 年重大成就和發(fā)展成績盤點。在這一年中,TDengine 以持續(xù)創(chuàng)新的技術能力、迅猛增長的市場
    的頭像 發(fā)表于 01-02 13:50 ?544次閱讀
    <b class='flag-5'>時序數(shù)據(jù)庫</b>TDengine 2024年保持高增長,實現(xiàn)收入翻倍

    康謀分享 | 如何應對ADAS/AD海量數(shù)據(jù)處理挑戰(zhàn)?

    如何有效處理ADAS/AD海量數(shù)據(jù)并從中獲得見解?IVEX數(shù)據(jù)處理流程可自動從原始傳感器數(shù)據(jù)等輸入中識別出值得關注的事件和場景,推動
    的頭像 發(fā)表于 12-25 10:05 ?3967次閱讀
    康謀分享 | 如何應對ADAS/AD<b class='flag-5'>海量</b><b class='flag-5'>數(shù)據(jù)處理</b>挑戰(zhàn)?

    數(shù)據(jù)庫數(shù)據(jù)恢復—Mysql數(shù)據(jù)庫表記錄丟失的數(shù)據(jù)恢復流程

    Mysql數(shù)據(jù)庫故障: Mysql數(shù)據(jù)庫表記錄丟失。 Mysql數(shù)據(jù)庫故障表現(xiàn): 1、Mysql數(shù)據(jù)庫表中無任何數(shù)據(jù)或只有部分
    的頭像 發(fā)表于 12-16 11:05 ?600次閱讀
    <b class='flag-5'>數(shù)據(jù)庫</b><b class='flag-5'>數(shù)據(jù)</b>恢復—Mysql<b class='flag-5'>數(shù)據(jù)庫</b>表記錄丟失的<b class='flag-5'>數(shù)據(jù)</b>恢復流程

    數(shù)據(jù)庫數(shù)據(jù)恢復—MYSQL數(shù)據(jù)庫ibdata1文件損壞的數(shù)據(jù)恢復案例

    mysql數(shù)據(jù)庫故障: mysql數(shù)據(jù)庫文件ibdata1、MYI、MYD損壞。 故障表現(xiàn):1、數(shù)據(jù)庫無法進行查詢等操作;2、使用mysqlcheck和myisamchk無法修復數(shù)據(jù)庫
    的頭像 發(fā)表于 12-09 11:05 ?614次閱讀

    群暉PB高密度存儲,滿足海量數(shù)據(jù)存儲、備份與存檔

    很多大型企業(yè),或是有海量數(shù)據(jù)存儲需求的企業(yè),對于PB數(shù)據(jù)存儲一直尋求運行穩(wěn)定、安全高效且高性價比的解決方案。PB
    的頭像 發(fā)表于 12-07 18:08 ?1340次閱讀
    群暉<b class='flag-5'>PB</b><b class='flag-5'>級</b>高密度存儲,滿足<b class='flag-5'>海量</b><b class='flag-5'>數(shù)據(jù)</b>存儲、備份與存檔

    海量數(shù)據(jù)處理需要多少RAM內存

    海量數(shù)據(jù)處理所需的RAM(隨機存取存儲器)內存量取決于多個因素,包括數(shù)據(jù)的具體規(guī)模、處理任務的復雜性、數(shù)據(jù)庫管理系統(tǒng)的效率以及所使用軟件的優(yōu)
    的頭像 發(fā)表于 11-11 09:56 ?1252次閱讀

    數(shù)據(jù)庫數(shù)據(jù)恢復—通過拼接數(shù)據(jù)庫碎片恢復SQLserver數(shù)據(jù)庫

    一個運行在存儲上的SQLServer數(shù)據(jù)庫,有1000多個文件,大小幾十TB。數(shù)據(jù)庫每10天生成一個NDF文件,每個NDF幾百GB大小。數(shù)據(jù)庫包含兩個LDF文件。 存儲損壞,數(shù)據(jù)庫
    的頭像 發(fā)表于 10-31 13:21 ?688次閱讀
    <b class='flag-5'>數(shù)據(jù)庫</b><b class='flag-5'>數(shù)據(jù)</b>恢復—通過拼接<b class='flag-5'>數(shù)據(jù)庫</b>碎片恢復SQLserver<b class='flag-5'>數(shù)據(jù)庫</b>

    有云服務器還需要租用數(shù)據(jù)庫嗎?

    如果你的應用程序需要處理大量的數(shù)據(jù),并且這些數(shù)據(jù)需要高效的查詢和分析能力,那么租用專業(yè)的數(shù)據(jù)庫服務可能是更好的選擇。這些服務通常提供了更高的性能、更好的可擴展性和更強的
    的頭像 發(fā)表于 10-31 10:50 ?330次閱讀

    一文講清什么是分布式云化數(shù)據(jù)庫!

    分布式云化數(shù)據(jù)庫是一種先進的數(shù)據(jù)管理系統(tǒng),它將傳統(tǒng)的數(shù)據(jù)庫技術與分布式計算、云計算和大數(shù)據(jù)處理技術相融合。這種數(shù)據(jù)庫架構旨在提供高可用性、高
    的頭像 發(fā)表于 10-14 10:06 ?474次閱讀

    數(shù)據(jù)庫數(shù)據(jù)恢復—SQL Server數(shù)據(jù)庫出現(xiàn)823錯誤的數(shù)據(jù)恢復案例

    SQL Server數(shù)據(jù)庫故障: SQL Server附加數(shù)據(jù)庫出現(xiàn)錯誤823,附加數(shù)據(jù)庫失敗。數(shù)據(jù)庫沒有備份,無法通過備份恢復數(shù)據(jù)庫。
    的頭像 發(fā)表于 09-20 11:46 ?694次閱讀
    <b class='flag-5'>數(shù)據(jù)庫</b><b class='flag-5'>數(shù)據(jù)</b>恢復—SQL Server<b class='flag-5'>數(shù)據(jù)庫</b>出現(xiàn)823錯誤的<b class='flag-5'>數(shù)據(jù)</b>恢復案例