在工業(yè)大數(shù)據(jù)數(shù)據(jù)庫(kù)存儲(chǔ)領(lǐng)域,除了傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)和分布式數(shù)據(jù)庫(kù)以外,還有一種類(lèi)型的數(shù)據(jù)庫(kù)是非常常用,而且是非常有必要的,就是實(shí)時(shí)數(shù)據(jù)庫(kù)和時(shí)序數(shù)據(jù)庫(kù)。
實(shí)時(shí)數(shù)據(jù)庫(kù)誕生于美國(guó),主要是因?yàn)楝F(xiàn)代工業(yè)制造流程及大規(guī)模工業(yè)自動(dòng)化的發(fā)展,導(dǎo)致大量的測(cè)量數(shù)據(jù)需要集成和存儲(chǔ),而采用關(guān)系數(shù)據(jù)庫(kù)難以滿(mǎn)足速度和容量的要求,因此在80年代中期,開(kāi)始誕生了適用于工業(yè)監(jiān)控領(lǐng)域的實(shí)時(shí)數(shù)據(jù)庫(kù)。
實(shí)時(shí)數(shù)據(jù)庫(kù)其實(shí)并不單單只是一個(gè)數(shù)據(jù)庫(kù),而是一個(gè)系統(tǒng),包括對(duì)各類(lèi)工業(yè)接口的數(shù)據(jù)采集,海量監(jiān)測(cè)數(shù)據(jù)的壓縮、存儲(chǔ)及檢索,基于監(jiān)測(cè)數(shù)據(jù)的反饋及控制功能等。
實(shí)時(shí)數(shù)據(jù)庫(kù)的出現(xiàn),主要是為了解決當(dāng)時(shí)關(guān)系型數(shù)據(jù)庫(kù)不太擅長(zhǎng)的領(lǐng)域,包括:
1、海量數(shù)據(jù)的實(shí)時(shí)讀寫(xiě)操作
工業(yè)監(jiān)控?cái)?shù)據(jù)要求采集速度和響應(yīng)速度均是毫秒級(jí)的,一個(gè)大型企業(yè)幾萬(wàn)甚至幾十萬(wàn)監(jiān)測(cè)點(diǎn)都是常有的事情,這么大容量的高頻數(shù)據(jù),如果用關(guān)系數(shù)據(jù)庫(kù)進(jìn)行存儲(chǔ),由于關(guān)系庫(kù)本身設(shè)計(jì)的理念,導(dǎo)致它很難進(jìn)行每秒幾十萬(wàn)的數(shù)據(jù)的讀寫(xiě)操作,而實(shí)時(shí)數(shù)據(jù)庫(kù)通過(guò)轉(zhuǎn)為快速讀寫(xiě)設(shè)計(jì)的時(shí)標(biāo)型數(shù)據(jù)結(jié)構(gòu)、高頻緩存等技術(shù),可以實(shí)現(xiàn)海量數(shù)據(jù)的實(shí)時(shí)讀寫(xiě)操作。
2、大容量數(shù)據(jù)的存儲(chǔ)
由于數(shù)據(jù)采集是海量的監(jiān)控?cái)?shù)據(jù),那么如果用傳統(tǒng)數(shù)據(jù)庫(kù)進(jìn)行存儲(chǔ),將會(huì)占用大量的存儲(chǔ)空間,如果我們用關(guān)系數(shù)據(jù)庫(kù)保存10000個(gè)監(jiān)測(cè)點(diǎn),每個(gè)監(jiān)測(cè)點(diǎn)每秒鐘采集一次雙精度數(shù)的數(shù)據(jù),即使不考慮索引等因素,也需要5-6T的存儲(chǔ)空間,這里還不包括存儲(chǔ)跟監(jiān)測(cè)點(diǎn)相關(guān)的時(shí)間等因素,如果都包括,再建立索引,則需要15T-20T的存儲(chǔ)空間。實(shí)時(shí)數(shù)據(jù)庫(kù)采用了專(zhuān)門(mén)的壓縮算法,包括哈佛曼算法、旋轉(zhuǎn)門(mén)算法以及一些二次壓縮算法,壓縮比普遍能夠達(dá)到30:1左右,再加上對(duì)于時(shí)間及索引的特殊處理,存儲(chǔ)量能夠縮小到關(guān)系庫(kù)的1/40,因此,上面的例子只需要500G的空間就能夠進(jìn)行有效存儲(chǔ)了。
3、集成了工業(yè)接口的數(shù)據(jù)采集
由于歷史和壟斷的原因,目前工業(yè)通訊、傳輸?shù)膮f(xié)議種類(lèi)繁多,實(shí)時(shí)庫(kù)一般都集成了大量的工業(yè)協(xié)議接口,可以對(duì)各種類(lèi)型的工業(yè)協(xié)議進(jìn)行解析和傳輸。同時(shí),隨著實(shí)時(shí)數(shù)據(jù)庫(kù)的發(fā)展,接口軟件部分也慢慢被獨(dú)立出來(lái),即可以與實(shí)時(shí)數(shù)據(jù)庫(kù)核心集中部署在1臺(tái)計(jì)算機(jī)上,也可以單獨(dú)部署在接口機(jī)上,從而提供了更好的可擴(kuò)展性和穩(wěn)定性。
4、集成控制功能,可實(shí)現(xiàn)實(shí)時(shí)控制
實(shí)時(shí)數(shù)據(jù)庫(kù)一般都提供下行控制接口,并且是高速寫(xiě)出。寫(xiě)的效率嚴(yán)重依賴(lài)于接口通訊效率和執(zhí)行機(jī)構(gòu)。因此,實(shí)時(shí)數(shù)據(jù)庫(kù)大都是從工控軟件廠商發(fā)展而來(lái)的,他們就有豐富的工業(yè)控制寫(xiě)入的經(jīng)驗(yàn)。即便如此,畢竟工業(yè)系統(tǒng)對(duì)時(shí)序有嚴(yán)格的要求,而數(shù)據(jù)庫(kù)從讀到寫(xiě),會(huì)出現(xiàn)時(shí)滯,因此,實(shí)時(shí)數(shù)據(jù)庫(kù)一般不適宜對(duì)快速開(kāi)關(guān)量的控制。
在云計(jì)算的時(shí)代,實(shí)時(shí)數(shù)據(jù)庫(kù)的一些缺點(diǎn)就慢慢的顯露出來(lái)了。
首先,由于實(shí)時(shí)數(shù)據(jù)庫(kù)是基于時(shí)標(biāo)進(jìn)行處理的,就導(dǎo)致它只能簡(jiǎn)單的使用時(shí)間段進(jìn)行查詢(xún)和檢索,當(dāng)然,各大廠商也開(kāi)發(fā)了許多工具,但無(wú)論如何檢索的豐富性不能和關(guān)系庫(kù)比擬。
其次,由于實(shí)時(shí)庫(kù)都是出售給大型工業(yè)企業(yè)的,因此價(jià)格昂貴,在物聯(lián)網(wǎng)時(shí)代,對(duì)于中小工業(yè)企業(yè)來(lái)說(shuō),是個(gè)不小的成本。
再次,傳統(tǒng)實(shí)時(shí)庫(kù)在部署時(shí)不夠方便靈活,傳輸也更多的考慮工業(yè)網(wǎng)絡(luò),甚少考慮互聯(lián)網(wǎng)的情況,不太適應(yīng)當(dāng)下云計(jì)算環(huán)境的部署。
這個(gè)時(shí)候,新興的時(shí)序數(shù)據(jù)庫(kù)就出現(xiàn)了。時(shí)序數(shù)據(jù)庫(kù)在2017年火了起來(lái),出現(xiàn)了大量的開(kāi)源和商業(yè)產(chǎn)品,時(shí)序數(shù)據(jù)庫(kù)就是存放時(shí)序數(shù)據(jù)的數(shù)據(jù)庫(kù),并且需要支持時(shí)序數(shù)據(jù)的快速寫(xiě)入、持久化、多緯度的聚合查詢(xún)等基本功能。時(shí)序數(shù)據(jù)庫(kù)其實(shí)主要是實(shí)時(shí)數(shù)據(jù)庫(kù)的數(shù)據(jù)存儲(chǔ)部分,但是,由于它采用了新的技術(shù),極大地?cái)U(kuò)展了數(shù)據(jù)的容量,除了數(shù)據(jù)點(diǎn)和時(shí)間戳之外,還提供標(biāo)簽和內(nèi)容等對(duì)數(shù)據(jù)的描述,并且提供各種聚合查詢(xún),彌補(bǔ)了實(shí)時(shí)庫(kù)的缺陷。
但是,時(shí)序數(shù)據(jù)庫(kù)不提供工業(yè)接口、下行控制等功能,這些都需要開(kāi)發(fā)人員自行開(kāi)發(fā),或者將原有的接口與時(shí)序庫(kù)對(duì)接。
當(dāng)然,不管是實(shí)時(shí)數(shù)據(jù)庫(kù)還是時(shí)序數(shù)據(jù)庫(kù),都在飛速發(fā)展中,雙方一定會(huì)互相借鑒,互相學(xué)習(xí),會(huì)提供更好、更多的產(chǎn)品供工業(yè)大數(shù)據(jù)使用。
責(zé)任編輯:CT
評(píng)論