1. 電網(wǎng)場景中的時序數(shù)據(jù)

今天在手機上就可以直接交電費、查看剩余電量、電量不足還可以發(fā)出告警提醒、以及分析過去的用電情況、預估未來用電情況等等。再也不用去繳費點繳費，也不用人工去每個電表上抄每家的使用情況，這些都基于我們國家的智能電網(wǎng)建設，而以上只是對消費者帶來的一些便利。智能電網(wǎng)在電網(wǎng)線路監(jiān)控、電力調(diào)度、配電等方面發(fā)揮著越來越重要的作用。

智能電網(wǎng)是由許多部分組成，包括智能變電站，線路輸送，智能交互終端，智能電表，智能中央系統(tǒng)等等。每個部分都集成了大量的傳感器，這些分布在全網(wǎng)各節(jié)點的傳感器無時無刻不在收集各類數(shù)據(jù)。隨著中國智能電網(wǎng)建設的不斷完善，其測點的規(guī)模越來越大，達到數(shù)千萬級以上，并且單個測點將以分鐘級甚至秒級的頻率產(chǎn)生數(shù)據(jù)。將會產(chǎn)生海量的監(jiān)控數(shù)據(jù)，而且這些數(shù)據(jù)大部分屬于時序數(shù)據(jù)。

因此在針對智能電網(wǎng)構建集中式數(shù)據(jù)中心時，如何存儲、處理、分析海量的監(jiān)控數(shù)據(jù)成為一個難點，具體包括以下面三個方面 :

· 數(shù)據(jù)規(guī)模超大，分布密集，數(shù)據(jù)存儲難

以智能電網(wǎng)中WAMS 系統(tǒng)為例，每秒需要處理的時序數(shù)據(jù)記錄數(shù)可達到一千萬，因此需要支撐每秒千萬級別的寫入。常規(guī)的數(shù)據(jù)處理方式根本無法滿足需求。

· 數(shù)據(jù)處理實時性需求高

針對數(shù)千萬的電表終端，客戶在充值后要立即生效，客戶產(chǎn)生的電量要實時的計費，并反饋給客戶等場景，都需要實時的處理海量數(shù)據(jù)

針對數(shù)千公里的電網(wǎng)線路監(jiān)控，如果出現(xiàn)異常，要能及時告警等，

· 數(shù)據(jù)價值挖掘困難

電網(wǎng)檢測點多，檢測信息密集，在如此海量的數(shù)據(jù)中挖掘出有價值的信息也會遇到很大的挑戰(zhàn)。

1.1 智能電網(wǎng)設備中的時序數(shù)據(jù)

智能電網(wǎng)中的時序數(shù)據(jù)一般是指由設備／儀表產(chǎn)生，由傳感器進行收集，與某一設備具體相關，在時間上前后存在關聯(lián)性的一類數(shù)據(jù)。如上圖所示，對于電網(wǎng)中的電表設備，其電壓、電流值就是典型的時序數(shù)據(jù)。

一條時序數(shù)據(jù)記錄一般可定義為三元組：

· DeviceID : 產(chǎn)生該條數(shù)據(jù)的物理設備／傳感器

· TimeStamp為記錄產(chǎn)生的時間戳

· Value : 為設備測點具體的值。

在智能電網(wǎng)設備運行中，需要存儲的數(shù)據(jù)包括狀態(tài)量和模擬量。狀態(tài)量反應設備的運行狀態(tài)和告警狀態(tài)，一般通過事件順序（Sequence of Event，SOE）記錄可滿足對數(shù)據(jù)的檢索和分析需求。電流、電壓和功率等模擬量會隨著設備運行時刻變化，具有明顯的時序特性，需要進行時序存儲。通過在選定的時間內(nèi)查詢 SOE 記錄，可以將狀態(tài)量和模擬量進行關聯(lián)分析。智能電網(wǎng)監(jiān)控系統(tǒng)中，已對斷路器、隔離開關，變壓器、負荷和聯(lián)絡線等電網(wǎng)設備進行建模，數(shù)據(jù)模型包括狀態(tài)量和模擬量，其中模擬量包括電壓、電流、有功、無功和頻率等，不同的設備類型需要采集和存儲的模擬量不同。以智能電表為例子，智能電表是組成智能電網(wǎng)的基礎設施，通常安裝在用戶樓宇，用于收集每戶產(chǎn)生的電力負荷數(shù)據(jù)，智能電表至少每天將這些信息反饋給中央系統(tǒng)。智能電網(wǎng)時間序列數(shù)據(jù)主要由大量的時間戳/值對組成，且通常一次寫入，多次查詢，很少修改或刪除，但可追加，根據(jù)智能電網(wǎng)應用場景，一般訪問一段時間內(nèi)或某一時間點的數(shù)據(jù)。

下面我們可以具體看一下不同的電網(wǎng)設備采集和存儲時序數(shù)據(jù)也大有不同。

1.2 各類智能電網(wǎng)設備時序數(shù)據(jù)測點舉例

· 線路輸送設備數(shù)據(jù)存儲需求

智能電網(wǎng)線路設備主要包括母聯(lián)，母線，變壓器，容抗器，聯(lián)絡線，負荷和發(fā)電機，這些設備采集和觀測的指標也各有不同。

· 智能電表設備數(shù)據(jù)存儲需求

主要指安裝在用戶樓宇的智能電表收集的電力負荷數(shù)據(jù)，本質(zhì)上是時間序列數(shù)據(jù)。以固定的短暫的時間間隔為單位持續(xù)記錄，并實時反饋給中央監(jiān)控系統(tǒng)。其對于客戶和電網(wǎng)公司非常重要，因其可被用于許多電網(wǎng)服務，比如跟蹤電能消耗和預測電力負荷。除此之外，

電能表凍結電量值 - 電能表定時凍結，瞬時凍結，日凍結，整點凍結也是很重要的指標，用于計費用戶用電量和管理梯度用電使用情況。一般會對電能表定時凍結，瞬時凍結，日凍結，整點凍結數(shù)據(jù)存儲和查詢，方便對年度、季度、月度的電量進行計算查詢。

1.3 電網(wǎng)數(shù)據(jù)常用的查詢場景

智能電網(wǎng)數(shù)據(jù)采集及監(jiān)控系統(tǒng)（SCADA）作為智能電力物聯(lián)網(wǎng)的一部分，對于時序數(shù)據(jù)處理有著多種維度查需和數(shù)據(jù)聚合需求，不僅需要實時監(jiān)控，需要歷史數(shù)據(jù)分析，例如歷史 PDR 反演和事故分析。

因此智能電網(wǎng)行業(yè)應用場景對時序數(shù)據(jù)的訪問方式主要有三種 :

· **折線查詢 : **獲取指定設備一段時間內(nèi)的相關量測值，如查詢特定用戶智能電表在一段連續(xù)時間內(nèi)的有功電能量。即測量對象為正向有功尖能量 (fd.shark.electricity)，測量屬性為 user= lvsejiayuan.A.unit2.603，dtype=ammeter，需查詢 2014.09.01 這一天的正向有功尖電能量。

o 對于折線查詢，對象為監(jiān)測的設備或關注的指標，特征集可標識為 FSet = <(t1,v1), (t2,v2), ......, (tn,vn)>，其中 (t1, t2, t3, ......, tn) 為特定的時間序列，使用基于時間戳的偏移表示；(v1, v2, v3, ......, vn) 為與時間序列相對應的量測值。

· **斷面查詢 : **獲取特定時間點特定區(qū)域內(nèi)所有設備的相關量測值，如查詢特定時間點某地區(qū)所有用戶智能電表的有功電能量。及測量對象為正向有功尖能量 (fd.shark.electricity)，測量屬性 dtype=ammeter， 時間戳為 1409529600 (2014.09.01 08:00:00)，需查詢某地區(qū)特定時刻所有智能電表的正向有功尖電能量。

o 對于斷面查詢，對象為關注的區(qū)域/邏輯對象 (如街道/生活區(qū)/電廠)，特征集可標識為 FSet = <(d1,v1), (d2,v2), ......, (dn,vn)>，其中 (d1, d2, d3, ......, dn) 為區(qū)域/邏輯對象所包含的設備/測點，(v1, v2, v3, ......, vn) 為對應的設備/測點在指定時間戳的值。

· **設備最新狀態(tài)查詢 : **這種場景類似于斷面查詢，只是針對最新最近的數(shù)據(jù)。通常用于檢測設備是否正常工作。

2. 電網(wǎng)時序數(shù)據(jù)存儲探索

最早的時候，智能電網(wǎng)相關應用系統(tǒng)中，一般使用 Oracle，Db2 等關系型數(shù)據(jù)庫處理時序數(shù)據(jù)。

然而，傳統(tǒng)的實體關系模型在應對時序數(shù)據(jù)時存在如下問題 :

· 數(shù)據(jù)存儲孤立分離。按照實體關系模型，一條時序數(shù)據(jù)記錄被保存為單獨的一行，因此連續(xù)時間段內(nèi)的數(shù)據(jù)被孤立分離地存儲在數(shù)據(jù)庫中。

· 數(shù)據(jù)的訪問速度與數(shù)據(jù)量的大小成反比。隨著數(shù)據(jù)量的增加，訪問速度越來越慢。同時，大多數(shù)關系型數(shù)據(jù)庫為了提升查詢性能，針對大量數(shù)據(jù)建立索引，由此消耗大量的系統(tǒng)資源。

· 無法滿足時序數(shù)據(jù)的實時處理需求。對于海量時序數(shù)據(jù)，關系型數(shù)據(jù)庫無法高速的加載并滿足處理需求。

后來，電力系統(tǒng)內(nèi)的普遍做法轉向使用商業(yè)時序數(shù)據(jù)庫軟件，如 OSIsoft Pi、eDNA 等作為時序數(shù)據(jù)的存儲和讀取工具。利用實時數(shù)據(jù)庫進行時序數(shù)據(jù)處理。

然而實時數(shù)據(jù)庫在應對智能電網(wǎng)大數(shù)據(jù)時存在如下問題：

· 無法支持大規(guī)模測點管理。對于國家級或省級智能電網(wǎng)而言，需要支持上億甚至上十億的測點規(guī)模。然而，無論 PI，eDNA，均無法為大規(guī)模測點管理提供支撐。

· 擴展能力不足。實時數(shù)據(jù)庫一般只支持單機部署，無法集群部署，無法支撐大規(guī)模數(shù)據(jù)應用。

· 高可用與數(shù)據(jù)安全性不足。實時數(shù)據(jù)庫一般不具備高可用特性，對于所存儲的數(shù)據(jù)的安全性，也完全依賴于硬件與數(shù)據(jù)庫軟件本身，不支持數(shù)據(jù)冗余備份，無法應對大數(shù)據(jù)分析場景。

隨著大數(shù)據(jù)技術的發(fā)展，近年來也有一些基于開源的 HBase，Cassandra 等 NoSQL 數(shù)據(jù)庫處理時序數(shù)據(jù)的研究和應用。

這些分布式 NoSQL 數(shù)據(jù)庫雖然解決了擴展能力，但是其通用的數(shù)據(jù)組織方式并不完全適合智能電網(wǎng)行業(yè)對時序數(shù)據(jù)存儲和查詢需求，用戶必須根據(jù)實際應用場景，進行特殊設計甚至大量數(shù)據(jù)冗余存儲才能較好的利用資源處理請求。

大部分僅提供的單個測點的數(shù)據(jù)存儲接口，無法將設備模型數(shù)據(jù)與離散測點結合，難以支撐歷史潮流分析、故障分析和 WAMS 等智能電網(wǎng)高級應用。除此之外，它們的數(shù)據(jù)模型單一，對于讀取一定時間范圍內(nèi)的數(shù)據(jù)記錄效率較高，但對于定位某個時間點的多條記錄，過濾，組合等一系列操作將浪費大量 I/O 資源。其次，二維數(shù)據(jù)模型中的每個存儲單元由主鍵和列限定符唯一表示，因而大部分磁盤都浪費在存儲重復的主鍵，存在大量冗余信息，存儲效率低。同時，由于智能電網(wǎng)場景對于時序數(shù)據(jù)處理有著多種維度查需和數(shù)據(jù)聚合需求，通用 KV 數(shù)據(jù)庫往往需要結合 ElasticSearch / Solr 等搜索引擎進行加速或者需要開發(fā)巧妙設計 KV 結構才能達到很好的效果，但是這樣大幅度提升了開發(fā)員人的學習和運維成本。

針對電網(wǎng)場景中時序數(shù)據(jù)，專業(yè)的分布式時序數(shù)據(jù)庫是最好的選擇，因為他們具備以下重要的特性 :

· **靈活多變的數(shù)據(jù)模型 : **用戶根據(jù)業(yè)務需求，通過標簽組合的方式自由定義數(shù)據(jù)模型，同時也可以根據(jù)業(yè)務變化和演進進行變更。

· **高寫入吞吐量 : **分布式時序數(shù)據(jù)庫解決大規(guī)模集群的橫向擴展問題，保證高性能平穩(wěn)寫入的需求。

o 在一些大規(guī)模的應用性能監(jiān)控、物聯(lián)網(wǎng)場景，海量的設備持續(xù)產(chǎn)生時序數(shù)據(jù)，例如省域級別的電網(wǎng)用電測量數(shù)據(jù)，9000萬數(shù)量級的電表設備，原來每個月采集一次，后續(xù)業(yè)務升級后15分鐘采集一次，每秒需要處理的時序數(shù)據(jù)點數(shù)達到數(shù)百萬甚至千萬數(shù)據(jù)點，需要龐大且可以橫向水平擴展的集群來支撐全量的業(yè)務寫入。

· **高效的時序數(shù)據(jù)查詢與分析 : **時序數(shù)據(jù)庫支持多維時間線檢索、并具備流式處理、預計算等能力，滿足大規(guī)模 APM、物聯(lián)網(wǎng)，工業(yè)物聯(lián)網(wǎng)等業(yè)務場景的典型查詢需求。

o 在典型的監(jiān)控場景，通常需要對長周期的數(shù)據(jù)進行查詢分析，比如針對某些指標最近1天、3天、7天、1個月的趨勢分析、報表等；而在物聯(lián)網(wǎng)場景，有一類比較典型的斷面查詢需求，例如查詢某個省指定時間所有電表的用電量量明細數(shù)據(jù)，查詢某個品牌空調(diào)的某個時間的平均運行溫度；這些查詢要掃描大量的集群數(shù)據(jù)才能拿到結果，同時查詢的結果集也可能非常大。

· **低成本的時序數(shù)據(jù)存儲 : **時序數(shù)據(jù)庫充分利用好時序數(shù)據(jù)量大、冷熱訪問特征明顯，進行計算、存儲資源的解耦，通過低成本存儲介質(zhì)、壓縮編碼、冷熱分離、高效 TTL等技術將數(shù)據(jù)存儲成本降低到極致。

o 在車聯(lián)網(wǎng)場景，20000輛車每小時就產(chǎn)生近百 GB 的車輛指標數(shù)據(jù)。如果要保存一年的運行數(shù)據(jù)就需要PB級的數(shù)據(jù)存儲規(guī)模。由于數(shù)據(jù)規(guī)模巨大，對存儲的低成本要求很高，另外時序數(shù)據(jù)的冷熱特征明顯。

· **豐富的生態(tài)協(xié)同 : **時序數(shù)據(jù)庫與數(shù)據(jù)可視化平臺、大數(shù)據(jù)處理、流式分析系統(tǒng)等對接，與周邊生態(tài)形成協(xié)同來創(chuàng)造業(yè)務價值。

o 在物聯(lián)網(wǎng)、工業(yè)互聯(lián)網(wǎng)等場景，時序數(shù)據(jù)通常有進一步做運營分析處理的需求，在很多情況下時序數(shù)據(jù)只是業(yè)務數(shù)據(jù)的一部分，需要與其他類型的數(shù)據(jù)組合來完成查詢分析。

3. 智能電網(wǎng)數(shù)據(jù)模型

下面我們具體看一下智能電網(wǎng)中的數(shù)據(jù)模型，從而進一步體現(xiàn)為什么時序數(shù)據(jù)庫是智能電網(wǎng)場景中數(shù)據(jù)處理的最佳選擇。

3.1 統(tǒng)一標準 SG-CIM

針對現(xiàn)在電力行業(yè)各企業(yè)業(yè)務數(shù)據(jù)模型多樣化，非統(tǒng)一，交互困難等問題，國家電網(wǎng)公司通過分析整合，提出了一個新型的企業(yè)公共數(shù)據(jù)模型（SG-CIM）， 形成了統(tǒng)一的信息視圖，實現(xiàn)多企業(yè)多業(yè)務應用系統(tǒng)間的數(shù)據(jù)交互共享。SG-CIM 和時序數(shù)據(jù)庫模型非常匹配。

在智能電網(wǎng)管理平臺中，SG-CIM 數(shù)據(jù)模型中的每個葉子節(jié)點稱為測量對象，葉子節(jié)點標簽稱為測量屬性，它由一個或多個鍵值對組成，用于進一步刻畫補充測量對象的屬性信息，根至葉子節(jié)點的全路徑稱為用戶屬性，作為一個特殊屬性處理。

測量對象+時間戳+測量屬性+測量值的組合稱為一條時間序列數(shù)據(jù)記錄，也稱電力負荷數(shù)據(jù)測點。 以某樓宇中某居民用戶安裝的智能電表為例，描述 SG-CIM 數(shù)據(jù)模型在海量數(shù)據(jù)管理平臺中的應用，如下圖所示。

根據(jù) SG-CIM 數(shù)據(jù)模型，一條時間序列數(shù)據(jù)記錄由如下幾部分組成 :

· **測量對象 (obj) : **一個被定量測量對象的名稱，比如電能量，吞吐量等。

· **時間戳 (timestamp) : **以 UNIX 時間表示（秒或毫秒），用于標識這條時間序列被記錄/存儲的時間。

· **測量屬性 (tag) : **鍵值對，用于區(qū)分或組組織測量對象相同，但來自不同源或相關實體的相似數(shù)據(jù)點，增加靈活性。

· **測量值 (value) : **該測量對象在當前時刻的實際測量值，整型或浮點型。

測量對象 (obj) 以 SG-CIM 數(shù)據(jù)模型中的每個葉子節(jié)點來刻畫，例如正向有功尖能量 (fd.shark.electricity)。

測量屬性 (tag) 以 SG-CIM 數(shù)據(jù)模型中葉子節(jié)點的屬性：用戶 (user) 和設備類型 (dtype) 等屬性來描述，例如 user= lvsejiayuan.A.unit2.603，dtype=ammeter，user 是一個特殊的屬性，用根至葉子節(jié)點的全路徑刻畫。

3.2 根據(jù) SG-CIM 模型進行時序數(shù)據(jù)模型設計 - 多值模型和單值模型

· 單值模型 : 即對測點建模，以單個測點對測點定義時序采樣。

o 按設備將每個設備的測量值屬性分別定義到時序數(shù)據(jù)庫中。

o 這種存儲方式數(shù)據(jù)定義、變化值提交和歷史值查詢都相對簡單。

o 缺點同樣明顯，存儲在時序數(shù)據(jù)庫中數(shù)據(jù)沒有關聯(lián)性，如需同時查詢線路的有功和電流，則需要分兩次查詢，查詢性能較低，同時也不利于做關聯(lián)性分析。

o OpenTSDB 和 Prometheus 時序數(shù)據(jù)庫采用的是單值模型。

· 多值模型 : 即對設備/數(shù)據(jù)源進行建模，例如基于智能電網(wǎng)設備建模。

o 在時序數(shù)據(jù)庫中，將同一個設備采集的不同測點屬性存儲在一張表的不同域。

o 這要只需要一次查詢，即可得到一個設備的所有量測，查詢效率和數(shù)據(jù)同步行都相對較高。

o 線路設別在時序數(shù)據(jù)庫中的記錄可定義為八元組：。

o GaussDB(for Influx), InfluxDB，TimeScaleDB 等時序數(shù)據(jù)庫采用的是多值模型。

4. GaussDB(for Influx) 如何支撐龐大的智能電網(wǎng)數(shù)據(jù)

4.1 GaussDB(for Influx)

云原生分布式時序數(shù)據(jù)庫 GaussDB(for Influx) 采用存儲計算分離架構。

· 集群能力方面 : 具備非常平滑快速的彈性擴縮容能力。集群可以輕松擴展至每秒千萬點寫入吞吐量，PB界別的存儲支持。

· 服務和數(shù)據(jù)高可用方面 : 數(shù)據(jù)三副本存儲確保數(shù)據(jù)可用性；集群跨 AZ 可用區(qū)容災部署，集群最大支持 N - 1 節(jié)點故障，同時數(shù)據(jù)自動負載均衡避免熱點。

· 時序數(shù)據(jù)存儲方面 : 深度優(yōu)化存儲引擎，確保穩(wěn)定的高吞吐量寫入；同時時序數(shù)據(jù)的自適應壓縮能力，讓時序數(shù)據(jù)壓縮比達到20 : 1；自動的數(shù)據(jù)冷熱分層存儲，進一步降低數(shù)據(jù)存儲成本。

· 時序數(shù)據(jù)計算方面 : 集成了豐富的數(shù)據(jù)聚合，降采樣，插值，預算，異常檢測等算子。同時支持邊云同步能力，實現(xiàn)數(shù)據(jù)邊云一體化。

· 在生態(tài)和開源兼容方面 : 支持多種開源時序數(shù)據(jù)庫協(xié)議，例如 Prometheus，Graphite 和 OpenTSDB，同時完全兼容 InfluxDB 生態(tài)。

4.2 基于 GaussDB(for Influx) 的電網(wǎng)數(shù)據(jù)模型設計

GuassDB(for Influx) 在生態(tài)和協(xié)議方面完美兼容 InfluxDB。InfluxDB 靈活多變的 Schema-Free 行協(xié)議可以完美匹配 SG-CIM 模型。

數(shù)據(jù)寫入時候，不需要提前創(chuàng)建 Schema 定義，同時支持 Tags 和 Fields 字段自由擴展，未來有需要新增維度的時候，可以動態(tài)進行增加。

可以參考下面簡單的例子 :

我們以智能電網(wǎng)中線路設備數(shù)據(jù)為例子，根據(jù)行協(xié)議如何將 SG-CIM 模型轉化成 GaussDB(for Influx) 數(shù)據(jù)模型 :

· Measurement : stbl_line，相當于關系型數(shù)據(jù)庫中的表概念。

· Fields : SG-CIM 模型中的多個測量對象 (Obj)，即線路設備采集和上報的指標項，后期可以動態(tài)擴展。

o i_value, i_status : 電流相關指標

o p_value, p_status : 電壓相關指標

o q_value, q_status : 功率相關指標

o 其中各個指標項采集的值是測量值 (value)

· Tags : SG-CIM 模型中的測量屬性 (Tag)，表示線路設備靜態(tài)屬性標簽，可以根據(jù)系統(tǒng)需要自定義和擴展

o deviceId : 設備標識 ID

o deviceType : 設備類型標識

o line : 線路標識 ID

· Timestamp : SG-CIM 模型中時間戳項。

stbl_line , line = XXX線路 , deviceType =XXX,deviceId=**E08995** **i_value**=**X**,**i_status**=**X**,**p_value**=**X**,**p_status**=**X**,**q_value**=**X**,**q_status**=**X** **1663121437010000000**

**5. 總結 **

GaussDB(for Influx) 是一款基于計算存儲分離架構，完全兼容 InfluxDB 生態(tài)的云原生時序數(shù)據(jù)庫。依托于華為云計算平臺高性能，高可靠，高安全，可彈性伸縮的基礎上，GaussDB(for Influx) 提供時序數(shù)據(jù)高效存儲、分析、展示功能，同時具有高寫入性能、靈活擴容、高壓縮率和高查詢性能等特點。GaussDB(for Influx) 可以廣泛應用于各種時序數(shù)據(jù)處理場景，例如工業(yè)物聯(lián)網(wǎng)，車聯(lián)網(wǎng)，物聯(lián)網(wǎng)，運維監(jiān)控，銀行金融等。

審核編輯：湯梓紅