1.為什么出現(xiàn)數(shù)據(jù)湖？

支撐業(yè)務(wù)的IT軟件系統(tǒng)最簡(jiǎn)單的數(shù)據(jù)鏈路是：操作業(yè)務(wù)APP的界面或者調(diào)用其API接口，將交易數(shù)據(jù)記錄到關(guān)系型數(shù)據(jù)庫中。

說其簡(jiǎn)單，是因?yàn)檫@樣的系統(tǒng)能夠支撐業(yè)務(wù)交易。業(yè)務(wù)APP上的每筆交易數(shù)據(jù)都會(huì)記錄在數(shù)據(jù)庫中。

這對(duì)業(yè)務(wù)交易員來說，已經(jīng)足夠了。但對(duì)業(yè)務(wù)管理者來說，期望看到的是“自己關(guān)心的、宏觀的、能夠反應(yīng)歷史變化的數(shù)據(jù)”，并且最好是可視化的界面，一目了然。

于是，“數(shù)據(jù)倉庫”出現(xiàn)了，它就是一個(gè)面向主題的、集成的、反映歷史變化的數(shù)據(jù)集合。

那么，數(shù)據(jù)是如何從業(yè)務(wù)數(shù)據(jù)庫到達(dá)數(shù)據(jù)倉庫的呢？

首先，要理解的是業(yè)務(wù)數(shù)據(jù)庫和數(shù)據(jù)倉庫的Schema（表結(jié)構(gòu)）大部分情況下是不同的，前者用來記錄實(shí)時(shí)交易信息，后者用來記錄歷史匯總信息。

其次，表結(jié)構(gòu)的不同，就需要進(jìn)行數(shù)據(jù)處理的三板斧--“抽取、轉(zhuǎn)換和加載”，即Extract-Transform-Load，簡(jiǎn)稱ETL。具體來說就是抽取管理者關(guān)心的（面向主題）、轉(zhuǎn)換數(shù)據(jù)、加載到數(shù)據(jù)倉庫中。

最后，根據(jù)業(yè)務(wù)規(guī)則，提取數(shù)據(jù)倉庫中的數(shù)據(jù)進(jìn)行可視化提取與展示（報(bào)表）。

數(shù)據(jù)倉庫的使用思路是：業(yè)務(wù)管理者知道“自己關(guān)心哪些數(shù)據(jù)”，在創(chuàng)建數(shù)據(jù)倉庫時(shí)，便可以將這些數(shù)據(jù)提取并記錄下來。這樣，數(shù)據(jù)倉庫記錄的是經(jīng)過加工過的數(shù)據(jù)，而非原始數(shù)據(jù)。

注意到數(shù)據(jù)倉庫的數(shù)據(jù)是結(jié)構(gòu)化的。對(duì)于半結(jié)構(gòu)化（CSVXMLJSON）和非結(jié)構(gòu)化（e-mail文檔）的數(shù)據(jù)來說，也蘊(yùn)含著有價(jià)值的信息，同樣需要分析，或者現(xiàn)在不知道怎么分析，也可以先存儲(chǔ)起來。

那么就需要有一種方法：不但可以存儲(chǔ)原始數(shù)據(jù)，也可以存儲(chǔ)結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu) 化的數(shù)據(jù)，并且還能支撐數(shù)據(jù)的分析。

時(shí)勢(shì)的呼喚下，“數(shù)據(jù)湖（Data Lake）”便產(chǎn)生了。

2.數(shù)據(jù)湖是什么？

數(shù)據(jù)湖是一個(gè)以原始格式存儲(chǔ)數(shù)據(jù)的存儲(chǔ)庫或系統(tǒng)。

“數(shù)據(jù)”可以是各種格式的，結(jié)構(gòu)化、半結(jié)構(gòu)化的、非結(jié)構(gòu)化的。并且數(shù)據(jù)是未經(jīng)加工的，像大自然的水，流入到“湖”中。也就是數(shù)據(jù)的存儲(chǔ)，無需像數(shù)據(jù)倉庫那樣事先設(shè)計(jì)Schema，也無需事先有明確的分析需求（有了想法，再延遲分析，稱為讀時(shí)模式Schema-On-Read）。

3.數(shù)據(jù)湖如何實(shí)現(xiàn)？

數(shù)據(jù)湖是一種方法論，探討如何以原始形態(tài)存儲(chǔ)各種格式的數(shù)據(jù)，并能支持后續(xù)的分析。

數(shù)據(jù)湖的開源實(shí)現(xiàn)有：Hadoop、Delta、Apache Iceberg 和 Apache Hudi。