1.為什么出現(xiàn)數(shù)據(jù)湖？

支撐業(yè)務(wù)的IT軟件系統(tǒng)最簡(jiǎn)單的數(shù)據(jù)鏈路是：操作業(yè)務(wù)APP的界面或者調(diào)用其API接口，將交易數(shù)據(jù)記錄到關(guān)系型數(shù)據(jù)庫(kù)中。

說(shuō)其簡(jiǎn)單，是因?yàn)檫@樣的系統(tǒng)能夠支撐業(yè)務(wù)交易。業(yè)務(wù)APP上的每筆交易數(shù)據(jù)都會(huì)記錄在數(shù)據(jù)庫(kù)中。

這對(duì)業(yè)務(wù)交易員來(lái)說(shuō)，已經(jīng)足夠了。但對(duì)業(yè)務(wù)管理者來(lái)說(shuō)，期望看到的是“自己關(guān)心的、宏觀(guān)的、能夠反應(yīng)歷史變化的數(shù)據(jù)”，并且最好是可視化的界面，一目了然。

于是，“數(shù)據(jù)倉(cāng)庫(kù)”出現(xiàn)了，它就是一個(gè)面向主題的、集成的、反映歷史變化的數(shù)據(jù)集合。

那么，數(shù)據(jù)是如何從業(yè)務(wù)數(shù)據(jù)庫(kù)到達(dá)數(shù)據(jù)倉(cāng)庫(kù)的呢？

首先，要理解的是業(yè)務(wù)數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)的Schema（表結(jié)構(gòu)）大部分情況下是不同的，前者用來(lái)記錄實(shí)時(shí)交易信息，后者用來(lái)記錄歷史匯總信息。

其次，表結(jié)構(gòu)的不同，就需要進(jìn)行數(shù)據(jù)處理的三板斧--“抽取、轉(zhuǎn)換和加載”，即Extract-Transform-Load，簡(jiǎn)稱(chēng)ETL。具體來(lái)說(shuō)就是抽取管理者關(guān)心的（面向主題）、轉(zhuǎn)換數(shù)據(jù)、加載到數(shù)據(jù)倉(cāng)庫(kù)中。

最后，根據(jù)業(yè)務(wù)規(guī)則，提取數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)進(jìn)行可視化提取與展示（報(bào)表）。

數(shù)據(jù)倉(cāng)庫(kù)的使用思路是：業(yè)務(wù)管理者知道“自己關(guān)心哪些數(shù)據(jù)”，在創(chuàng)建數(shù)據(jù)倉(cāng)庫(kù)時(shí)，便可以將這些數(shù)據(jù)提取并記錄下來(lái)。這樣，數(shù)據(jù)倉(cāng)庫(kù)記錄的是經(jīng)過(guò)加工過(guò)的數(shù)據(jù)，而非原始數(shù)據(jù)。

注意到數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)是結(jié)構(gòu)化的。對(duì)于半結(jié)構(gòu)化（CSVXMLJSON）和非結(jié)構(gòu)化（e-mail文檔）的數(shù)據(jù)來(lái)說(shuō)，也蘊(yùn)含著有價(jià)值的信息，同樣需要分析，或者現(xiàn)在不知道怎么分析，也可以先存儲(chǔ)起來(lái)。

那么就需要有一種方法：不但可以存儲(chǔ)原始數(shù)據(jù)，也可以存儲(chǔ)結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu) 化的數(shù)據(jù)，并且還能支撐數(shù)據(jù)的分析。

時(shí)勢(shì)的呼喚下，“數(shù)據(jù)湖（Data Lake）”便產(chǎn)生了。

2.數(shù)據(jù)湖是什么？

數(shù)據(jù)湖是一個(gè)以原始格式存儲(chǔ)數(shù)據(jù)的存儲(chǔ)庫(kù)或系統(tǒng)。

“數(shù)據(jù)”可以是各種格式的，結(jié)構(gòu)化、半結(jié)構(gòu)化的、非結(jié)構(gòu)化的。并且數(shù)據(jù)是未經(jīng)加工的，像大自然的水，流入到“湖”中。也就是數(shù)據(jù)的存儲(chǔ)，無(wú)需像數(shù)據(jù)倉(cāng)庫(kù)那樣事先設(shè)計(jì)Schema，也無(wú)需事先有明確的分析需求（有了想法，再延遲分析，稱(chēng)為讀時(shí)模式Schema-On-Read）。

3.數(shù)據(jù)湖如何實(shí)現(xiàn)？

數(shù)據(jù)湖是一種方法論，探討如何以原始形態(tài)存儲(chǔ)各種格式的數(shù)據(jù)，并能支持后續(xù)的分析。

數(shù)據(jù)湖的開(kāi)源實(shí)現(xiàn)有：Hadoop、Delta、Apache Iceberg 和 Apache Hudi。