星環(huán)科技大數(shù)據(jù)基礎(chǔ)平臺(tái)Transwarp Data Hub（TDH）從2013年開(kāi)始發(fā)布2.0版本至今，每年都會(huì)發(fā)布一個(gè)大版本，經(jīng)過(guò)多次迭代和技術(shù)升級(jí)，到2021年TDH8.0發(fā)布，TDH已成為一個(gè)企業(yè)級(jí)大數(shù)據(jù)基礎(chǔ)平臺(tái)，基于其領(lǐng)先的多模型技術(shù)架構(gòu)，8種異構(gòu)存儲(chǔ)引擎支持10種數(shù)據(jù)模型，被廣泛應(yīng)用在離線數(shù)據(jù)批處理、高并發(fā)的在線數(shù)據(jù)服務(wù)、數(shù)據(jù)集市、數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)湖、實(shí)時(shí)數(shù)據(jù)處理等各類大數(shù)據(jù)業(yè)務(wù)場(chǎng)景。

此外，通過(guò)星環(huán)科技的不斷自主研發(fā)，TDH成為一款國(guó)產(chǎn)化自主可控的大數(shù)據(jù)基礎(chǔ)平臺(tái)，可以替代Oracle、IBM DB2、Teradata等傳統(tǒng)主流數(shù)據(jù)庫(kù)在分析型場(chǎng)景中的應(yīng)用及替代Elastic Search在分布式搜索場(chǎng)景中的應(yīng)用，并在政府、金融、能源、制造業(yè)等十多個(gè)行業(yè)內(nèi)落地。同時(shí)TDH完成了與主流信創(chuàng)生態(tài)廠商的適配互認(rèn)工作，滿足信創(chuàng)驗(yàn)收要求，幫助企業(yè)打造更全面、更便捷、更智能、更安全地國(guó)產(chǎn)化數(shù)字底座，加速企業(yè)數(shù)字化轉(zhuǎn)型。

近日，星環(huán)科技正式推出TDH9.0，基于多模型統(tǒng)一架構(gòu)對(duì)多模型處理能力進(jìn)一步加強(qiáng)，新增文檔存儲(chǔ)引擎的同時(shí)實(shí)現(xiàn)了各模型引擎性能的數(shù)倍提升，統(tǒng)一大數(shù)據(jù)存儲(chǔ)底座提升5倍數(shù)據(jù)碎片承載能力，強(qiáng)化了存儲(chǔ)規(guī)模與可靠性，同時(shí)新增平臺(tái)智能運(yùn)維模塊，完善的智能運(yùn)維體系幫助用戶更輕松地運(yùn)維大數(shù)據(jù)平臺(tái)。此外，基于容器安全網(wǎng)絡(luò)提升了數(shù)據(jù)訪問(wèn)的安全性，結(jié)合自身基礎(chǔ)安全組件以及大數(shù)據(jù)開(kāi)發(fā)工具，為用戶數(shù)據(jù)全生命周期提供安全防護(hù)。TDH9.0從整體上進(jìn)一步提升了平臺(tái)綜合性能、可靠性、易用性以及安全性，為企業(yè)數(shù)字化轉(zhuǎn)型構(gòu)建了統(tǒng)一、高性能、高可靠的新型數(shù)字底座。

多模型統(tǒng)一架構(gòu)

易開(kāi)發(fā)、易運(yùn)維、高性能

TDH9.0核心依然是統(tǒng)一架構(gòu)的多模型處理能力，基于多模型統(tǒng)一技術(shù)架構(gòu)提供統(tǒng)一的接口層，統(tǒng)一的計(jì)算引擎層，統(tǒng)一的分布式存儲(chǔ)管理層和統(tǒng)一的資源調(diào)度層。

統(tǒng)一接口層：基于統(tǒng)一的SQL編譯器Transwarp Quark可以實(shí)現(xiàn)統(tǒng)一接口處理不同的業(yè)務(wù)和不同數(shù)據(jù)模型，只需要簡(jiǎn)單的SQL語(yǔ)句即可完成各種復(fù)合跨模型數(shù)據(jù)查詢，無(wú)需訪問(wèn)不同接口即可操作不同的數(shù)據(jù)模型。對(duì)于場(chǎng)景切換、數(shù)據(jù)庫(kù)切換而造成接口、開(kāi)發(fā)語(yǔ)言切換的問(wèn)題就不存在了，開(kāi)發(fā)和遷移成本大大降低。

統(tǒng)一計(jì)算引擎層：基于分布式計(jì)算引擎Transwarp Nucleon可以根據(jù)不同的存儲(chǔ)引擎自動(dòng)匹配高性能算法，不僅可以支持批處理、流處理等不同類型計(jì)算任務(wù)，還支持不同模型數(shù)據(jù)的流轉(zhuǎn)與關(guān)聯(lián)，方便用戶在一個(gè)SQL中使用不同模型的數(shù)據(jù)，降低開(kāi)發(fā)難度，提升開(kāi)發(fā)效率。

統(tǒng)一的分布式存儲(chǔ)管理系統(tǒng)：為不同存儲(chǔ)引擎提供公共的存儲(chǔ)管理服務(wù)，保障數(shù)據(jù)一致性，實(shí)現(xiàn)數(shù)據(jù)統(tǒng)一管理運(yùn)維和高可用。當(dāng)前TDH分布式數(shù)據(jù)管理系統(tǒng)接入了9款存儲(chǔ)引擎，支持10種數(shù)據(jù)模型的存儲(chǔ)。用戶不需要為不同模型建立單獨(dú)的存儲(chǔ)系統(tǒng)，而是通過(guò)統(tǒng)一的存儲(chǔ)管理，降低了運(yùn)維管理成本，也避免了數(shù)據(jù)孤島。同時(shí)分布式數(shù)據(jù)管理系統(tǒng)的插件特性，也方便后續(xù)業(yè)務(wù)的靈活擴(kuò)展，可以根據(jù)需要接入其他存儲(chǔ)引擎，例如TDH9.0根據(jù)文檔處理的新需求，新接入了文檔存儲(chǔ)引擎DocStore。

統(tǒng)一的資源調(diào)度層：TCOS是星環(huán)科技自主研發(fā)的云原生操作系統(tǒng)，提供統(tǒng)一的資源調(diào)度框架，通過(guò)容器化編排，能夠統(tǒng)一調(diào)度計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等各基礎(chǔ)資源。TCOS還支持靈活、按需的異構(gòu)硬件（X86，ARM混合部署）、異構(gòu)操作系統(tǒng)的水平擴(kuò)展，支持單獨(dú)擴(kuò)展計(jì)算或存儲(chǔ)資源的水平擴(kuò)展，避免因業(yè)務(wù)數(shù)據(jù)增長(zhǎng)帶來(lái)的資源緊張而需進(jìn)行繁瑣的擴(kuò)容、遷移等工作。同時(shí)，也提供了相比虛擬機(jī)損耗更低的資源隔離能力，使不同租戶、不同應(yīng)用，資源隔離互不影響。

在開(kāi)源大數(shù)據(jù)方案中，為了實(shí)現(xiàn)不同業(yè)務(wù)需求，通常需要部署多個(gè)不同的產(chǎn)品，比如為了做數(shù)倉(cāng)需要Hive，為了做精確查詢需要Hbase，為了做搜索業(yè)務(wù)需要ES等等。這些不同的產(chǎn)品首先在接口標(biāo)準(zhǔn)就不一致，Hive使用HiveQL，ES使用Restful API，Spark雖然API和SQL都支持但是標(biāo)準(zhǔn)也和Hive、ES不一樣。用戶需要學(xué)習(xí)適配多個(gè)產(chǎn)品的不同接口，開(kāi)發(fā)成本高。同樣的，這些產(chǎn)品也使用了各自獨(dú)立的計(jì)算引擎和存儲(chǔ)，數(shù)據(jù)存儲(chǔ)在各自的生態(tài)中難以互通，若需要把數(shù)據(jù)從一個(gè)產(chǎn)品導(dǎo)入到另一個(gè)產(chǎn)品中，需要通過(guò)文本離線導(dǎo)入導(dǎo)出，ETL流轉(zhuǎn)效率低，同時(shí)也難以保證數(shù)據(jù)的準(zhǔn)確性、一致性和實(shí)效性。數(shù)據(jù)往往在離線流轉(zhuǎn)過(guò)程中，可能因?yàn)榫幋a或浮點(diǎn)數(shù)精度問(wèn)題，導(dǎo)致數(shù)據(jù)不一致，最終影響業(yè)務(wù)準(zhǔn)確性。各自獨(dú)立的計(jì)算引擎若部署在同一節(jié)點(diǎn)上，也可能會(huì)引起計(jì)算資源競(jìng)爭(zhēng)問(wèn)題。

相比之下，TDH多模型統(tǒng)一架構(gòu)，把多種數(shù)據(jù)模型的接口層、計(jì)算引擎層和分布式存儲(chǔ)管理統(tǒng)統(tǒng)抽象了出來(lái)，避免了多個(gè)接口標(biāo)準(zhǔn)不統(tǒng)一，避免了計(jì)算資源的搶占，避免了存儲(chǔ)不統(tǒng)一。一個(gè)SQL就可以實(shí)現(xiàn)不同數(shù)據(jù)模型的操作和查詢，模型轉(zhuǎn)化流轉(zhuǎn)以及跨模型關(guān)聯(lián)分析，解決了不同模型數(shù)據(jù)之間的組合使用問(wèn)題。與開(kāi)源傳統(tǒng)方案架構(gòu)相比，TDH統(tǒng)一架構(gòu)的多模型架構(gòu)具有復(fù)雜度低、開(kāi)發(fā)成本低、運(yùn)維成本低、數(shù)據(jù)處理效率高等優(yōu)點(diǎn)。

以一個(gè)具體的跨模型聯(lián)合分析應(yīng)用場(chǎng)景來(lái)介紹下多模型統(tǒng)一架構(gòu)的優(yōu)勢(shì)。例如，當(dāng)需要研究30歲人群消費(fèi)習(xí)慣和喜好時(shí)，可以將該人群消費(fèi)的商品評(píng)價(jià)作為一個(gè)參考。那為了獲得該人群對(duì)某商品的評(píng)價(jià)數(shù)據(jù)，我們需要進(jìn)行三次檢索，并需要使用到圖數(shù)據(jù)庫(kù)中的人群關(guān)系型數(shù)據(jù)，關(guān)系型數(shù)據(jù)庫(kù)中的人群消費(fèi)記錄數(shù)據(jù)，以及搜索引擎中消費(fèi)商品評(píng)價(jià)數(shù)據(jù)。

第一步，定位30歲的人群。首先連接到圖數(shù)據(jù)庫(kù)中，使用圖數(shù)據(jù)庫(kù)查詢語(yǔ)言Cyper，找出30歲人群一度關(guān)系的人群ID集合。

第二步，獲取該人群的消費(fèi)記錄。拿到了30歲人群ID后，需要再連接到關(guān)系型數(shù)據(jù)庫(kù)中，使用SQL查詢語(yǔ)言，用第一步獲取的人群ID作為過(guò)濾條件，獲取該人群消費(fèi)商品ID，找出這些人群消費(fèi)了哪些商品。

第三步，獲取包含特定關(guān)鍵詞的商品評(píng)價(jià)。用戶需要連到搜索引擎，編寫(xiě)RESTful API請(qǐng)求，使用前兩步獲取的人群ID和消費(fèi)商品ID，檢索商品評(píng)價(jià)。

為了完成這個(gè)業(yè)務(wù)，用戶需要搭建3個(gè)獨(dú)立的數(shù)據(jù)庫(kù)，并在應(yīng)用適配3種數(shù)據(jù)庫(kù)的連接方式和查詢語(yǔ)言，同時(shí)還要求開(kāi)發(fā)人員同時(shí)了解這3種數(shù)據(jù)庫(kù)的開(kāi)發(fā)技術(shù)，整個(gè)流程非常復(fù)雜，技術(shù)要求非常高。

此外，由于是3個(gè)獨(dú)立的系統(tǒng)，數(shù)據(jù)和可能存在不一致，比如說(shuō)消費(fèi)記錄更新到了關(guān)系型數(shù)據(jù)庫(kù)，但是相應(yīng)的評(píng)價(jià)沒(méi)有更新到搜索引擎中，導(dǎo)致分析語(yǔ)句的結(jié)果不準(zhǔn)確。

而基于星環(huán)的多模型統(tǒng)一技術(shù)架構(gòu)，用戶只需用一句SQL就能同時(shí)訪問(wèn)這3種存儲(chǔ)模型進(jìn)行聯(lián)合分析，替代了之前3段代碼。一句SQL里，同時(shí)對(duì)圖數(shù)據(jù)人群關(guān)系表，關(guān)系型數(shù)據(jù)消費(fèi)記錄表，全文數(shù)據(jù)商品評(píng)價(jià)表，3個(gè)表進(jìn)行了跨模型關(guān)聯(lián)，一次操作完成了之前三次操作才能完成的業(yè)務(wù)，大大簡(jiǎn)化了開(kāi)發(fā)復(fù)雜度，簡(jiǎn)化用戶操作。同時(shí)數(shù)據(jù)也仍保留在原存儲(chǔ)引擎中，也不用對(duì)數(shù)據(jù)進(jìn)行導(dǎo)入導(dǎo)出或者轉(zhuǎn)換，不會(huì)存在數(shù)據(jù)不一致或數(shù)據(jù)冗余存儲(chǔ)的問(wèn)題。

多模型能力升級(jí)

更多、更快、更強(qiáng)

TDH9.0在原多模型能力基礎(chǔ)上新增文檔數(shù)據(jù)庫(kù)，實(shí)現(xiàn)9種存儲(chǔ)引擎支持10種數(shù)據(jù)模型，同時(shí)對(duì)存儲(chǔ)引擎進(jìn)行升級(jí)，提供更高的性能和更強(qiáng)的功能，幫助企業(yè)用戶滿足更多以及要求更高的業(yè)務(wù)場(chǎng)景。

關(guān)系型分析引擎Inceptor

關(guān)系型分析引擎Inceptor進(jìn)一步提升了SQL兼容性，增強(qiáng)了SQL-2016標(biāo)準(zhǔn)支持度，改進(jìn)了Hive語(yǔ)法兼容，幫助用戶更方便地做應(yīng)用遷移和對(duì)接；同時(shí)SQL編譯器也進(jìn)行了表達(dá)式，遍歷算法，優(yōu)化，在復(fù)雜SQL場(chǎng)景，最高可提升10倍編譯性能。

此外，TDH 9.0兼容了分布式分析型數(shù)據(jù)庫(kù)ArgoDB，來(lái)更好地支撐關(guān)系型分析場(chǎng)景。在這次發(fā)布的ArgoDB5.0版本中，對(duì)計(jì)算引擎、存儲(chǔ)引擎、可靠性都做了重要升級(jí)，性能上相比于Inceptor提升了10倍數(shù)據(jù)掃描性能，10倍在線分析性能，實(shí)時(shí)數(shù)據(jù)入庫(kù)，更是支持每秒每節(jié)點(diǎn)，百萬(wàn)的吞吐，大大增強(qiáng)了在關(guān)系型分析場(chǎng)景的性能。相比TDH Inceptor，ArgoDB不僅在數(shù)據(jù)倉(cāng)庫(kù)、湖倉(cāng)集一體、聯(lián)邦計(jì)算等老場(chǎng)景上具有更強(qiáng)的性能，同時(shí)還支持了實(shí)時(shí)數(shù)倉(cāng)、高性能數(shù)據(jù)集市、AETP混合復(fù)雜、隱私計(jì)算等多個(gè)拓展場(chǎng)景。

圖數(shù)據(jù)庫(kù)StellarDB

圖數(shù)據(jù)庫(kù)StellarDB，圖數(shù)據(jù)庫(kù)可以用于知識(shí)圖譜、知識(shí)推理、社區(qū)劃分、子圖分析等應(yīng)用場(chǎng)景。StellarDB在TDH9.0迎來(lái)了4.0版本，除了易用性、安全性、開(kāi)放性等全面升級(jí)以外，性能也獲得了大幅提升。批量導(dǎo)入性能是開(kāi)源產(chǎn)品的2倍，查詢場(chǎng)景中六跳查詢是開(kāi)源的50倍，算法實(shí)現(xiàn)上，常用的pagerank算法和強(qiáng)連通子圖算法性能都是開(kāi)源的6倍。StellarDB通過(guò)功能的加強(qiáng)和性能的不斷提升，幫助幫助企業(yè)用戶更快、更高效地挖掘海量數(shù)據(jù)互聯(lián)價(jià)值。

搜索引擎Scope

Scope是一款兼容開(kāi)源生態(tài)的搜索產(chǎn)品，支持TDH統(tǒng)一SQL查詢的同時(shí)，兼容ES生態(tài)，保障ES平滑遷移。相比開(kāi)源產(chǎn)品，Scope基于Raft協(xié)議保障數(shù)據(jù)一致性，支持跨數(shù)據(jù)中心多活部署，可以構(gòu)建兩地三中心災(zāi)備方案，可靠性與容災(zāi)能力更強(qiáng)。日志存儲(chǔ)解決方案中，因?yàn)閿?shù)據(jù)量龐大，企業(yè)用戶一般對(duì)搜索產(chǎn)品的存儲(chǔ)容量較為看重。Scope單實(shí)例存儲(chǔ)容量達(dá)到了100TB，是開(kāi)源的5倍，同等規(guī)模下 Scope存儲(chǔ)密度更高，可以幫助企業(yè)用戶節(jié)約硬件成本，同時(shí)性能上，Scope相比開(kāi)源也提升了30%分析性能和2倍檢索性能，能更高效的分析檢索海量日志數(shù)據(jù)。

時(shí)空數(shù)據(jù)庫(kù)Spacture

時(shí)空數(shù)據(jù)模型主要是以地理經(jīng)緯坐標(biāo)與時(shí)間信息等數(shù)據(jù)為主，Spacture支持原生的時(shí)空數(shù)據(jù)類型和矢量數(shù)據(jù)，可以有效反映移動(dòng)對(duì)象的運(yùn)動(dòng)過(guò)程。相比于開(kāi)源時(shí)空數(shù)據(jù)庫(kù)，Spacture的天然分布式架構(gòu)，可以支撐橫向線性擴(kuò)展，比開(kāi)源具備更強(qiáng)的時(shí)空分析能力。同時(shí)Spacture也兼容國(guó)家行業(yè)標(biāo)準(zhǔn)，和開(kāi)源商業(yè)主流GIS軟件，方便用戶遷移對(duì)接。

時(shí)序數(shù)據(jù)庫(kù)Timelyre

時(shí)序數(shù)據(jù)庫(kù)Timelyre在TDH9.0升級(jí)到了2.2版本。時(shí)序數(shù)據(jù)在制造業(yè)IoT設(shè)備等場(chǎng)景中經(jīng)常出現(xiàn)，用于監(jiān)控設(shè)備或環(huán)境的一些指標(biāo)，如溫度、電量、工作狀態(tài)等。由于設(shè)備量龐大，指標(biāo)數(shù)據(jù)生成頻繁，因此時(shí)序數(shù)據(jù)實(shí)時(shí)吞吐量龐大，歷史存儲(chǔ)需求容量較高。為了應(yīng)對(duì)這類場(chǎng)景，Timelyre針對(duì)時(shí)序數(shù)據(jù)特征，改進(jìn)壓縮算法，進(jìn)一步降低了20%～50%存儲(chǔ)空間占用，提升2倍寫(xiě)入性能。同時(shí)相比于開(kāi)源時(shí)序產(chǎn)品，Timelyre基于TDH多模型架構(gòu)下的分布式擴(kuò)展能力，讓Timelyre具備了更多設(shè)備標(biāo)簽存儲(chǔ)能力，以及基于TDH統(tǒng)一SQL分析能力，讓Timelyre具備了復(fù)雜關(guān)聯(lián)查詢能力。

鍵值數(shù)據(jù)庫(kù)KeyByte

Keybyte鍵值數(shù)據(jù)庫(kù)支持高性能分布式緩存和高性能分布式鎖兩種場(chǎng)景。

高性能緩存是內(nèi)存鍵值引擎較為常用的場(chǎng)景之一。開(kāi)源鍵值存儲(chǔ)引擎基于集群主備的分布式方案，一致性和穩(wěn)定性都無(wú)法保障，容易影響線上業(yè)務(wù)的性能。

Keybyte鍵值數(shù)據(jù)庫(kù)基于單機(jī)KV內(nèi)存存儲(chǔ)引擎實(shí)現(xiàn)了分布式強(qiáng)一致性的KV存儲(chǔ)能力，同時(shí)還支持內(nèi)存用量限制和豐富的過(guò)期淘汰算法，保障了服務(wù)的可靠性和穩(wěn)定性。同時(shí)還兼容了TDH統(tǒng)一SQL引擎的復(fù)雜分析能力，應(yīng)用場(chǎng)景更豐富。

文檔數(shù)據(jù)庫(kù)DocStore

文檔數(shù)據(jù)庫(kù)DocStore是TDH9.0全新推出的存儲(chǔ)引擎，支持半結(jié)構(gòu)化數(shù)據(jù)XML/JSON、非結(jié)構(gòu)化數(shù)據(jù)圖片/PDF/小文件的同時(shí)也支持結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)。

相比于其他存儲(chǔ)引擎，文檔數(shù)據(jù)庫(kù)DocStore更關(guān)注于文檔數(shù)據(jù)的高性能檢索。支持海量文檔數(shù)據(jù)的存儲(chǔ)的同時(shí)，檢索上通過(guò)支持多種索引技術(shù)來(lái)加速文檔數(shù)據(jù)的檢索性能，目前可以支撐百萬(wàn)級(jí)高并發(fā)、毫秒級(jí)延遲的數(shù)據(jù)檢索能力。 統(tǒng)一大數(shù)據(jù)存儲(chǔ)底座升級(jí)大容量、高性能、穩(wěn)定可靠

TDH9.0對(duì)大數(shù)據(jù)存儲(chǔ)底座進(jìn)行了重大升級(jí)，統(tǒng)一分布式數(shù)據(jù)管理系統(tǒng)TDDMS和分布式文件系統(tǒng)TDFS提供更穩(wěn)定的小文件管理能力和訪問(wèn)性能，提升了存儲(chǔ)可靠性，保障數(shù)據(jù)安全不丟失。基于星環(huán)分布式交易型數(shù)據(jù)庫(kù)KunDB提供元數(shù)據(jù)服務(wù)，提供更高性能、更加可靠的元數(shù)據(jù)處理服務(wù)。 星環(huán)科技分布式數(shù)據(jù)管理系統(tǒng)TDDMS在TDH9.0升級(jí)到了2.0版本，在存儲(chǔ)上優(yōu)化了對(duì)數(shù)據(jù)碎片文件的處理能力，提升了5倍數(shù)據(jù)碎片的承載能力，在同等硬件和數(shù)據(jù)分布條件下，可以存儲(chǔ)管理5倍的表對(duì)象。同時(shí)TDDMS2.0改進(jìn)了數(shù)據(jù)修復(fù)能力，可以更及時(shí)得自動(dòng)完成數(shù)據(jù)故障遷移與副本修復(fù)，提升了數(shù)據(jù)安全性與服務(wù)可用性。

另一個(gè)較大的更新是TDDMS2.0支持了多模型數(shù)據(jù)自動(dòng)同步的能力，不同存儲(chǔ)模型的數(shù)據(jù)可以基于統(tǒng)一的日志系統(tǒng)binlog，實(shí)現(xiàn)數(shù)據(jù)在不同存儲(chǔ)模型間的自動(dòng)轉(zhuǎn)換。例如，實(shí)時(shí)數(shù)據(jù)寫(xiě)入到關(guān)系型分析引擎時(shí)，可以通過(guò)TDDMS同時(shí)自動(dòng)同步一份副本到圖數(shù)據(jù)庫(kù)和時(shí)序數(shù)據(jù)庫(kù)中，方便用戶直接進(jìn)行圖分析和時(shí)序分析，大大增強(qiáng)了業(yè)務(wù)實(shí)效性，降低了開(kāi)發(fā)復(fù)雜度。 星環(huán)科技分布式文件系統(tǒng)TDFS主要負(fù)責(zé)兼容開(kāi)源Hadoop生態(tài)體系的文件存儲(chǔ)能力。開(kāi)源體系中，主要使用HDFS作為分布式文件存儲(chǔ)系統(tǒng)，但是開(kāi)源HDFS在架構(gòu)上存在一定瓶頸。開(kāi)源HDFS的需要將文件元數(shù)據(jù)存儲(chǔ)在NameNode節(jié)點(diǎn)內(nèi)存中，由于單節(jié)點(diǎn)內(nèi)存有上限，因此無(wú)法管理大集群海量文件，也無(wú)法處理大量小文件的存儲(chǔ)。

星環(huán)科技分布式文件系統(tǒng)TDFS基于開(kāi)源HDFS架構(gòu)，在保留了存儲(chǔ)節(jié)點(diǎn)DataNode的架構(gòu)下，改寫(xiě)了元數(shù)據(jù)存儲(chǔ)模塊，使用了星環(huán)自研的Name Manager和Block Manager作為替代。相較于HDFS，TDFS元數(shù)據(jù)基于Raft協(xié)議進(jìn)行分布式一致性管理，兼容Hadoop生態(tài)的同時(shí)，容錯(cuò)性更強(qiáng)，不存在單點(diǎn)瓶頸。由于解決了海量小文件管理問(wèn)題，TDFS除了支持分布式文件系統(tǒng)以外，還支持對(duì)象存儲(chǔ)，支持文件存儲(chǔ)和對(duì)象存儲(chǔ)兩種模式并行運(yùn)行。

在4節(jié)點(diǎn)測(cè)試環(huán)境中，TDFS支持10億以上文件數(shù)穩(wěn)定運(yùn)行，遠(yuǎn)超開(kāi)源HDFS 5倍文件數(shù)管理能力，元數(shù)據(jù)QPS比開(kāi)源快1.7倍，能支撐更高吞吐的業(yè)務(wù)場(chǎng)景。同時(shí)TDFS比開(kāi)源HDFS重啟速度快16倍，在一些運(yùn)維場(chǎng)景下能更快的恢復(fù)服務(wù)。 在TDH9.0中，元數(shù)據(jù)服務(wù)基于星環(huán)科技分布式交易型數(shù)據(jù)庫(kù)KunDB作為底層存儲(chǔ)，在元數(shù)據(jù)并發(fā)訪問(wèn)場(chǎng)景下，相比于TxSQL，KunDB TPS最高提升3.6倍，QPS最高提升4.4倍。元數(shù)據(jù)服務(wù)的升級(jí)可以綜合提升TDH大數(shù)據(jù)平臺(tái)底座基礎(chǔ)，保障更強(qiáng)的一致性、更高的性能、更可靠的元數(shù)據(jù)存儲(chǔ)能力。 智能運(yùn)維，安全無(wú)憂

運(yùn)維方面，TDH一直致力于提升產(chǎn)品運(yùn)維易用性，降低運(yùn)維難度和成本。TDH9.0推出了智能運(yùn)維模塊，結(jié)合了大數(shù)據(jù)技術(shù)特征與業(yè)務(wù)最佳實(shí)踐，通過(guò)對(duì)TDH平臺(tái)上大數(shù)據(jù)服務(wù)特征指標(biāo)的收集，基于智能運(yùn)維規(guī)則庫(kù)匹配判斷，提供集群改善運(yùn)維建議，保障集群長(zhǎng)期高效穩(wěn)定運(yùn)行。

例如，在數(shù)倉(cāng)數(shù)集場(chǎng)景下，一般需要對(duì)關(guān)系型數(shù)據(jù)進(jìn)行分桶存儲(chǔ)，不合理的分桶會(huì)影響集群的穩(wěn)定性和處理性能，智能運(yùn)維模塊可以通過(guò)收集集群中表的分桶大小來(lái)幫助用戶判斷當(dāng)前的分桶是否合理，提前給出分桶改進(jìn)建議，避免后續(xù)因分桶問(wèn)題的進(jìn)一步惡化導(dǎo)致集群不穩(wěn)定。類似的，智能運(yùn)維模塊還會(huì)根據(jù)集群歷史存儲(chǔ)用量分析，提供預(yù)警式擴(kuò)容計(jì)劃建議，通過(guò)分析集群計(jì)算資源使用率，提供資源配置優(yōu)化改進(jìn)建議。

智能運(yùn)維模塊包含100多個(gè)智能運(yùn)維規(guī)則，開(kāi)箱即可用，幫助用戶更輕松地運(yùn)維大數(shù)據(jù)平臺(tái)。

數(shù)據(jù)安全是近期比較火熱的話題，也是用戶比較關(guān)注的問(wèn)題。TDH9.0升級(jí)了網(wǎng)絡(luò)安全策略，使用了Overlay容器安全網(wǎng)絡(luò)。通過(guò)網(wǎng)絡(luò)虛擬化的方式，隔離物理網(wǎng)絡(luò)，用訪問(wèn)權(quán)限控制的方式管理集群網(wǎng)絡(luò)和外部網(wǎng)絡(luò)的直接訪問(wèn)，避免了未授權(quán)的外部訪問(wèn)以及內(nèi)部數(shù)據(jù)的泄漏，降低了用戶管理難度，提高了集群網(wǎng)絡(luò)可用性、安全性和可靠性。

除了容器網(wǎng)絡(luò)隔離以外，TDH結(jié)合自身基礎(chǔ)安全組件以及大數(shù)據(jù)開(kāi)發(fā)工具TDS，保障用戶在數(shù)據(jù)開(kāi)發(fā)過(guò)程中，獲得全生命周期的數(shù)據(jù)安全防護(hù)，從數(shù)據(jù)采集、傳輸、存儲(chǔ)，到處理、流通、銷毀，每一步都提供了全面的數(shù)據(jù)安全技術(shù)保障，如加密、脫敏、權(quán)限、審計(jì)等功能一應(yīng)俱全，在完善的大數(shù)據(jù)平臺(tái)安全體系下，可以方便用戶建立起數(shù)據(jù)安全環(huán)境與操作流程，保障數(shù)據(jù)安全。

TDH社區(qū)版讓大數(shù)據(jù)分析觸手可及

星環(huán)科技一直致力于大數(shù)據(jù)技術(shù)的創(chuàng)新以及大數(shù)據(jù)技術(shù)人員的培養(yǎng)。TDH經(jīng)過(guò)9年的迭代，已經(jīng)取得了一定技術(shù)的積累和行業(yè)經(jīng)驗(yàn)，此次星環(huán)科技新推出TDH社區(qū)版，為企業(yè)用戶、高校師生、科研機(jī)構(gòu)以及其他專業(yè)開(kāi)發(fā)人員提供更輕量、更簡(jiǎn)單、更易用的數(shù)據(jù)分析開(kāi)發(fā)環(huán)境。社區(qū)版提供星環(huán)最具競(jìng)爭(zhēng)力和最成熟的Inceptor組件、Waterdrop等自研開(kāi)發(fā)工具以及Hadoop 3.0和星環(huán)科技的精選組件服務(wù)等，為用戶構(gòu)建批處理數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)湖等提供平臺(tái)支持。TDH社區(qū)版同時(shí)具有輕量資源即可高效部署，簡(jiǎn)單易用，便捷運(yùn)維，以及性能優(yōu)異等優(yōu)點(diǎn)。

為滿足多人群需求，TDH社區(qū)版分為訂閱版和免費(fèi)版。其中訂閱版面向企業(yè)級(jí)用戶，無(wú)節(jié)點(diǎn)容量限制，可以提供更高級(jí)別的技術(shù)支持、業(yè)務(wù)規(guī)模支持和業(yè)務(wù)場(chǎng)景支持；免費(fèi)版面向科研機(jī)構(gòu)、高校教師、開(kāi)發(fā)者、個(gè)人愛(ài)好者，免費(fèi)提供4節(jié)點(diǎn)、10TB容量支持，可進(jìn)行百億級(jí)別的數(shù)據(jù)處理，應(yīng)用于學(xué)習(xí)、教學(xué)、科研等場(chǎng)景。

自誕生以來(lái)，TDH助力數(shù)千家企業(yè)打造了統(tǒng)一的、高性能大數(shù)據(jù)平臺(tái)，為企業(yè)建設(shè)數(shù)據(jù)湖、數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)中臺(tái)等提供平臺(tái)支撐，為企業(yè)數(shù)字化轉(zhuǎn)型助力。星環(huán)科技將持續(xù)自主研發(fā)與技術(shù)創(chuàng)新，強(qiáng)化大數(shù)據(jù)平臺(tái)統(tǒng)一多模型處理能力、高性能、易用性、可靠性、和安全性，為核心基礎(chǔ)軟件國(guó)產(chǎn)化，為企業(yè)構(gòu)建數(shù)字底座，為大數(shù)據(jù)社區(qū)與人才培養(yǎng)提供領(lǐng)先的技術(shù)力量，發(fā)揮大數(shù)據(jù)技術(shù)更大的價(jià)值。

審核編輯：彭菁