在瞬息萬變的信息時代，成功從數(shù)據(jù)中獲取有價值信息的企業(yè)，將在競爭日益激烈的市場中保持其獨(dú)有的競爭力。對于以數(shù)據(jù)為驅(qū)動力的企業(yè)來說，可能會對隱藏在海量數(shù)據(jù)中的業(yè)務(wù)和客戶有著比較全面的認(rèn)知，同時，這也是為什么智能虛擬化技術(shù)致力于消除數(shù)據(jù)孤島的原因。

數(shù)據(jù)湖是大勢所趨嗎？

未來，數(shù)據(jù)只會變得更加多樣化、動態(tài)化和分散化。許多企業(yè)試圖收集他們?nèi)康臄?shù)據(jù)，并通過將全部數(shù)據(jù)拋入一個數(shù)據(jù)湖中來使其可訪問，數(shù)據(jù)湖可以以其原始格式來保存數(shù)據(jù)，直到需要進(jìn)行分析為止。

這種做法或多或少還是有說服力的，大部分公司是可以承擔(dān)得起數(shù)據(jù)科學(xué)家收集，翻譯并分析數(shù)據(jù)湖中各種類型數(shù)據(jù)的費(fèi)用。

對數(shù)據(jù)即存即取的需求已日趨強(qiáng)烈！

企業(yè)間競相收集和分析盡可能多的數(shù)據(jù)，旨在獲得與同行相比哪怕是很微小的競爭優(yōu)勢。傳統(tǒng)的數(shù)據(jù)湖無法處理新出現(xiàn)的數(shù)據(jù)源和正在創(chuàng)建的新的本地?cái)?shù)據(jù)庫。

查詢必須匹配用戶正在使用的特定數(shù)據(jù)庫，因此用戶擁有的數(shù)據(jù)庫越多，就需要使用更多的查詢語言。重要的是，在一個數(shù)據(jù)湖中集成不同的數(shù)據(jù)，仍然需要人工處理以使其具備可訪問性和可讀性，這項(xiàng)工程對于數(shù)據(jù)工程師和數(shù)據(jù)科學(xué)家來說是非常耗時的。

數(shù)據(jù)湖缺乏靈活性，在數(shù)據(jù)驅(qū)動的經(jīng)濟(jì)中將不再適用

因此，許多企業(yè)正在把目光轉(zhuǎn)向數(shù)據(jù)虛擬化，以優(yōu)化其分析和BI。BI和數(shù)據(jù)正連接他們所有的數(shù)據(jù)，并使其可從一個地方讀取和訪問。

并非所有的數(shù)據(jù)虛擬化都是相同的。

數(shù)據(jù)虛擬化創(chuàng)建了一個軟件虛擬化層，該層集成了所有跨企業(yè)的數(shù)據(jù)。無論數(shù)據(jù)的格式是什么，或者數(shù)據(jù)駐留在哪一個筒倉、服務(wù)器或云中，數(shù)據(jù)都會被轉(zhuǎn)換成一種通用的業(yè)務(wù)語言，并可以從單個門戶訪問。

從理論上講，這賦予了組織一個共享的數(shù)據(jù)湖，所有不同的業(yè)務(wù)單位和業(yè)務(wù)用戶都可以立即訪問他們需要的數(shù)據(jù)。擁有快速訪問權(quán)限，使企業(yè)能夠?yàn)楣蚕砟康淖龀鰯?shù)據(jù)驅(qū)動的決策。

然而，很多數(shù)據(jù)虛擬化解決方案并沒有達(dá)到分析的理想效果。這有幾個關(guān)鍵原因：

01、專有格式

不少數(shù)據(jù)虛擬化供應(yīng)商會將所有數(shù)據(jù)合并且轉(zhuǎn)換成一種專有格式。雖然合并允許將數(shù)據(jù)集成到單個視圖的單個位置，但供應(yīng)商的專有格式常常將數(shù)據(jù)簡化為最小的公共分母狀態(tài)。

公共分母狀態(tài)可能致使某些數(shù)據(jù)出現(xiàn)偏差，失去特定的功能，甚至在轉(zhuǎn)換的過程中丟失。有些數(shù)據(jù)還可能要求其原始數(shù)據(jù)庫的上下文是關(guān)聯(lián)的。因此，用戶可能會從錯誤的數(shù)據(jù)中汲取信息，并做出適得其反的商業(yè)決策。

02、BI工具不兼容

BI工具對于企業(yè)來說是一筆金額相當(dāng)大的投資。大多數(shù)企業(yè)級公司在不同部門擁有幾種不同類型的BI工具。例如，一個部門可能使用Tableau，而另一個部門可能使用MicrosoftPowerBI或Excel。

要讓大數(shù)據(jù)分析在企業(yè)中充分發(fā)揮作用，前提是不管用戶喜歡使用什么工具，數(shù)據(jù)都是易于發(fā)現(xiàn)，并能被所有的用戶訪問。

許多供應(yīng)商使用的專用數(shù)據(jù)格式可能無法與公司已經(jīng)投入的技術(shù)進(jìn)行互操作。不同的工具使用不同的查詢語言，顯示數(shù)據(jù)的方式也各不相同。當(dāng)定義不一致的數(shù)據(jù)被集成時，分析過程中可能會出現(xiàn)代價慘痛的失誤。

選擇合適的BI工具對于盡量減少業(yè)務(wù)中斷，最大限度地提高用戶的生產(chǎn)力至關(guān)重要。

03、查詢限制

隨著數(shù)據(jù)不斷增長和技術(shù)的快速發(fā)展，查詢會變得越來越復(fù)雜，這對于分析工作負(fù)載和處理大規(guī)模數(shù)據(jù)來說并不太理想。管理的數(shù)據(jù)源越多，就越需要更多的數(shù)據(jù)工程來支持快速、交互式的查詢。

分布式連接移動大量數(shù)據(jù)并不適用于交互式查詢。它給企業(yè)基礎(chǔ)結(jié)構(gòu)帶來了不可預(yù)測和不可接受的壓力，而簡單的數(shù)據(jù)緩存對于動態(tài)查詢環(huán)境和當(dāng)今的數(shù)據(jù)大小來說是不夠的。

當(dāng)將BI和AI工作負(fù)載添加到混合工作負(fù)載中時，性能會迅速下降，從而促使最終用戶尋找其他直接訪問數(shù)據(jù)的路徑，這就使數(shù)據(jù)虛擬化沒有利好可言。

除了這些擴(kuò)展缺陷之外，傳統(tǒng)的虛擬化產(chǎn)品在解決分析用例方面表現(xiàn)的也很差強(qiáng)人意。

擴(kuò)展大型且復(fù)雜的數(shù)據(jù)服務(wù)需要對細(xì)節(jié)有深入了解：有關(guān)數(shù)據(jù)的統(tǒng)計(jì)、所涉及的數(shù)據(jù)庫、共享資源的負(fù)載、數(shù)據(jù)使用者的用例和意圖、安全性約束等。

虛擬化解決方案需要為用戶提供其數(shù)據(jù)的業(yè)務(wù)整體視圖，包括層次結(jié)構(gòu)、度量、維度、屬性和時間序列。

數(shù)據(jù)虛擬化應(yīng)該提供什么？

大多數(shù)數(shù)據(jù)虛擬化解決方案的發(fā)展步伐與今天的數(shù)據(jù)集和數(shù)據(jù)科學(xué)實(shí)踐不同，仍然依賴于傳統(tǒng)的數(shù)據(jù)聯(lián)合方法和簡單的緩存技術(shù)。然而，還有更多的下一代智能數(shù)據(jù)虛擬化專為當(dāng)今復(fù)雜且對時間敏感的BI需求而設(shè)計(jì)。

如果你的數(shù)據(jù)虛擬化解決方案沒有提供以下功能，那就說明它不夠智能。

01、自主數(shù)據(jù)工程

人類永遠(yuǎn)不可能是完美的；幸運(yùn)的是，計(jì)算機(jī)可以。

鑒于現(xiàn)代數(shù)據(jù)體系結(jié)構(gòu)的復(fù)雜性，人類面對這一問題根本是就束手無策，至少不能以現(xiàn)在保持競爭力所需的速度進(jìn)行運(yùn)算。這就是數(shù)據(jù)虛擬化解決方案需要提供自主的數(shù)據(jù)工程的原因。

自主數(shù)據(jù)工程可以根據(jù)無數(shù)的連接和計(jì)算結(jié)果自動推斷出優(yōu)化結(jié)果，而這是人腦無法達(dá)到的。機(jī)器學(xué)習(xí)(ML)是用來剖析公司的所有數(shù)據(jù)并檢查它是如何被查詢并集成到整個組織的所有用戶正在構(gòu)建的數(shù)據(jù)模型中的。

自動化數(shù)據(jù)工程可盡可能節(jié)省大量的資金和資源，同時釋放數(shù)據(jù)工程師來執(zhí)行對組織更有價值的更復(fù)雜的任務(wù)。

02、加速結(jié)構(gòu)

智能數(shù)據(jù)虛擬化還可以自動實(shí)現(xiàn)將數(shù)據(jù)放入特定的數(shù)據(jù)庫，從而達(dá)到最佳的性能。

有許多類型的數(shù)據(jù)和不同的格式比較適合這些數(shù)據(jù)。

智能數(shù)據(jù)虛擬化可以基于生成最佳性能的位置自動決定將數(shù)據(jù)放在哪個平臺上。不同的數(shù)據(jù)平臺具有不同的優(yōu)勢。例如，如果用戶的數(shù)據(jù)模型和查詢正在處理時間序列數(shù)據(jù)，那么智能數(shù)據(jù)虛擬化將在數(shù)據(jù)庫中放置一個針對時間序列數(shù)據(jù)進(jìn)行優(yōu)化的加速結(jié)構(gòu)。從而自動獲悉哪個數(shù)據(jù)庫具有哪些優(yōu)勢，然后加以利用，不同數(shù)據(jù)庫類型的可變性都能將其轉(zhuǎn)化為優(yōu)勢。

加速度結(jié)構(gòu)可節(jié)省大量云運(yùn)營成本。根據(jù)用戶正在使用的平臺，可能會對數(shù)據(jù)庫的存儲大小、運(yùn)行的查詢數(shù)量、查詢中正在移動的數(shù)據(jù)、問題中的行數(shù)、查詢的復(fù)雜性或其他變量收取費(fèi)用。

例如，使用GoogleBigQuery，需要支付的金額與數(shù)據(jù)庫的大小以及查詢的復(fù)雜程度成正比。

當(dāng)用戶自動使用加速結(jié)構(gòu)進(jìn)行性能和成本優(yōu)化時，只對在加速聚合中使用的查詢數(shù)據(jù)收取費(fèi)用，而不是對整個數(shù)據(jù)庫的大小。

03、自動數(shù)據(jù)建模

下一代數(shù)據(jù)虛擬化不僅提供對數(shù)據(jù)的轉(zhuǎn)換和訪問，智能數(shù)據(jù)虛擬化還可以自動獲悉每個數(shù)據(jù)平臺的功能和局限性。它會自動識別哪些信息是可用的，以及如何在建立模型時將其與其他數(shù)據(jù)合并和集成。

智能數(shù)據(jù)虛擬化可以對用于創(chuàng)建舊版報(bào)表的數(shù)據(jù)模型和查詢進(jìn)行逆向運(yùn)作，因此用戶可以繼續(xù)使用相同的報(bào)表，而不必重新構(gòu)建數(shù)據(jù)模型或查詢。例如，如果用戶在舊系統(tǒng)中創(chuàng)建了一個TPS報(bào)告，則仍然可以能夠在新系統(tǒng)中檢索到它。

有些查詢可能是在舊數(shù)據(jù)基礎(chǔ)上運(yùn)行的，但它們?nèi)匀豢梢栽谛孪到y(tǒng)上運(yùn)行，而無需任何重寫。

04、支持自助服務(wù)

近年來，IT的很多方面變得“大眾化”了--也就是說，技術(shù)的進(jìn)步(尤其是云計(jì)算)使它們變得“大眾化”。使得那些沒有廣泛技術(shù)基礎(chǔ)的外行人也可以使用這些技術(shù)。雖然分析和商業(yè)智能已經(jīng)落后于民主化趨勢，但是BI工具現(xiàn)在越來越適合普通大眾使用。

BI的使用引導(dǎo)了一種新的“自助服務(wù)”分析文化的發(fā)展，在這種文化中，業(yè)務(wù)用戶可以使用自己喜歡的BI工具直接訪問和分析數(shù)據(jù)，而不必依賴數(shù)據(jù)工程師或數(shù)據(jù)分析人員。

自助分析正迅速成為企業(yè)中優(yōu)化大數(shù)據(jù)分析的必要手段。

例如，假設(shè)銷售部門保存有關(guān)于前一年的支出的數(shù)據(jù)，但希望使用關(guān)于多個領(lǐng)域的客戶行為模式的數(shù)據(jù)來進(jìn)行補(bǔ)充。或者，營銷部門需要發(fā)起一場基于賬戶的營銷活動，目標(biāo)是那些被認(rèn)為最有可能更換供應(yīng)商的公司。

通過自助服務(wù)分析，銷售或營銷部門的業(yè)務(wù)用戶可以訪問這些數(shù)據(jù)，并使用恰當(dāng)?shù)墓ぞ哒{(diào)用這些數(shù)據(jù)。自助分析被使用，而不是依賴于訓(xùn)練有素的數(shù)據(jù)工程師來為BI工具獲取數(shù)據(jù)，以及數(shù)據(jù)科學(xué)家來建模和預(yù)測。

借助自助服務(wù)動態(tài)，組織中的每個部門都可以將自己的經(jīng)驗(yàn)和專業(yè)知識應(yīng)用于BI，從而實(shí)現(xiàn)全新的便利性。

智能數(shù)據(jù)虛擬化提供了一個業(yè)務(wù)邏輯層，它實(shí)際上將所有數(shù)據(jù)轉(zhuǎn)換為一種公共業(yè)務(wù)語言，這種語言既與源無關(guān)，也與工具無關(guān)。有了邏輯層，就意味著業(yè)務(wù)用戶可以使用他們喜歡的任何BI工具，且不必屈從于BI軟件的單一標(biāo)準(zhǔn)。

無論用戶使用什么工具或使用多少工具，所有數(shù)據(jù)都是可訪問的，并且所有查詢都將返回一致的答案。標(biāo)準(zhǔn)和邏輯的解釋使企業(yè)具備共享數(shù)據(jù)智能和自助服務(wù)文化的能力，而這種文化在當(dāng)今數(shù)據(jù)驅(qū)動的業(yè)務(wù)環(huán)境中變得越來越必要。

05、安全保障

在追求數(shù)據(jù)用戶化的過程中，無論便利性和成本效益如何，都不能犧牲安全性和合規(guī)性。

眾所周知，虛擬化層會帶來安全風(fēng)險(xiǎn)。但是，使用下一代智能數(shù)據(jù)虛擬化，數(shù)據(jù)將繼承了所有數(shù)據(jù)庫的安全和治理策略。透明的管理過程意味著用戶的權(quán)限和策略保持不變。

通過跟蹤數(shù)據(jù)的源頭和用戶身份，將所有現(xiàn)有的安全和隱私信息保存到各個用戶。

即使在使用具有不同的安全政策的多個數(shù)據(jù)庫時，這些策略也可以被無縫地合并，并且自動應(yīng)用于全局安全和遵從協(xié)議。在采用智能數(shù)據(jù)虛擬化之后，不需要采取其他步驟來確保安全性和遵從性。

數(shù)據(jù)虛擬化必須隨著其他IT部門的發(fā)展而發(fā)展

對企業(yè)而言，擁有用戶化的數(shù)據(jù)和擁有可讀、可訪問和可靠的數(shù)據(jù)同樣重要，但現(xiàn)如今，不少公司都陷于海量數(shù)據(jù)的泥淖。越來越多的分布式模型以動態(tài)和多樣化的格式和用例添加到數(shù)據(jù)中。（子午物聯(lián)ziwuiot.com）如果用戶無法快速找到并分析所需數(shù)據(jù)，并確信它們的準(zhǔn)確性和最新性，BI質(zhì)量就會下降，從而導(dǎo)致基于數(shù)據(jù)的決策不夠理想。

因此，數(shù)據(jù)虛擬化需要不斷發(fā)展以應(yīng)對這些新的挑戰(zhàn)和復(fù)雜性，這樣它才能真正地用于大數(shù)據(jù)分析。

如果數(shù)據(jù)虛擬化解決方案不能提供自主的數(shù)據(jù)工程，加速結(jié)構(gòu)，如自動數(shù)據(jù)建模，自助服務(wù)分析，就存在問題了。用戶需要無后顧之憂的安全性和遵從性，或者是平臺語言的多維語義層。如果沒有這些流程，那么數(shù)據(jù)虛擬化解決方案就一定不夠智能。
責(zé)任編輯；zl