什么是數(shù)據(jù)湖？智能湖倉(cāng)又是什么？亞馬遜云科技中國(guó)峰會(huì)北京站一一為你解答！

通過(guò)將不同結(jié)構(gòu)、不同類型、不同來(lái)源的相關(guān)數(shù)據(jù)匯總起來(lái)并加以分析，用戶能夠得出更深刻、更豐富的洞察見解。為此，用戶需要從不同孤島中獲取所有數(shù)據(jù)、將其聚合至統(tǒng)一位置（也就是人們常說(shuō)的「數(shù)據(jù)湖」），再以此為基礎(chǔ)執(zhí)行分析與機(jī)器學(xué)習(xí)。

但在其他用例中，用戶也會(huì)將數(shù)據(jù)放置在其他專用存儲(chǔ)體系之內(nèi)，例如存儲(chǔ)在數(shù)據(jù)倉(cāng)庫(kù)內(nèi)以針對(duì)結(jié)構(gòu)化數(shù)據(jù)執(zhí)行復(fù)雜查詢并快速獲得結(jié)果；或者存儲(chǔ)在搜索服務(wù)中以快速搜索/分析日志數(shù)據(jù)，進(jìn)而監(jiān)控生產(chǎn)系統(tǒng)的運(yùn)行狀況。無(wú)論如何，要想從這些數(shù)據(jù)中獲取最佳洞見，用戶必須有能力輕松在數(shù)據(jù)湖與專用存儲(chǔ)系統(tǒng)之間移動(dòng)數(shù)據(jù)。

但隨著系統(tǒng)中數(shù)據(jù)規(guī)模的持續(xù)增長(zhǎng)，數(shù)據(jù)移動(dòng)也變得越來(lái)越困難。為了解決這一挑戰(zhàn)、進(jìn)而從數(shù)據(jù)中獲取最大收益，亞馬遜云科技提出了Lake House“智能湖倉(cāng)”方案。

作為一類現(xiàn)代化數(shù)據(jù)架構(gòu)，智能湖倉(cāng)方法不僅強(qiáng)調(diào)將數(shù)據(jù)湖與數(shù)據(jù)倉(cāng)庫(kù)集成起來(lái)，同時(shí)也涉及將數(shù)據(jù)湖、數(shù)據(jù)倉(cāng)庫(kù)以及所有其他專用服務(wù)接入統(tǒng)一且連續(xù)的整體。數(shù)據(jù)湖提供對(duì)主體數(shù)據(jù)的分析環(huán)境，而專用分析服務(wù)則負(fù)責(zé)以令人滿意的速度為用戶提供具體用例支持（例如實(shí)時(shí)儀表板與日志分析功能）。

如圖所示，為真實(shí)客戶數(shù)據(jù)與常見數(shù)據(jù)遷移需求（包括數(shù)據(jù)分析服務(wù)與數(shù)據(jù)存儲(chǔ)間的數(shù)據(jù)遷移、由內(nèi)向外、由外向內(nèi)、周邊移動(dòng)等情況）共同建立的智能湖倉(cāng)方案。

這樣一套分層與組件化數(shù)據(jù)分析架構(gòu)，使用戶可以通過(guò)正確的工具完成正確的任務(wù)，同時(shí)提供以迭代及增量方式構(gòu)建架構(gòu)的良好敏捷性。在添加新數(shù)據(jù)源、發(fā)現(xiàn)新的用例/需求以及開發(fā)新的分析方法時(shí)，亞馬遜云科技可以更靈活地調(diào)整智能湖倉(cāng)中的相應(yīng)組件，借此滿足當(dāng)前及未來(lái)的各類需求。

對(duì)于亞馬遜云科技的這套智能湖倉(cāng)架構(gòu)，用戶可以把它組織成一套五層邏輯堆棧，其中各個(gè)層對(duì)應(yīng)著負(fù)責(zé)滿足特定需求的專用組件。

為亞馬遜云科技平臺(tái)上的智能湖倉(cāng)參考架構(gòu)

亞馬遜云科技的智能湖倉(cāng)參考架構(gòu)提供多種專用Amazon服務(wù)，能夠讓不同角色類型之間的數(shù)據(jù)消費(fèi)方式互連互通，包括支持交互式SQL查詢、商務(wù)智能與機(jī)器學(xué)習(xí)等多種分析用例。這些服務(wù)使用統(tǒng)一的智能湖倉(cāng)接口訪問(wèn)存儲(chǔ)在Amazon S3、Amazon Redshift以及Amazon Lake Formation目錄中的所有數(shù)據(jù)與元數(shù)據(jù)。此外，各項(xiàng)服務(wù)還可以通過(guò)開放文件格式（例如JSON、Avro、Parquet以及ORC）使用Amazon Redshift表中存儲(chǔ)的平面關(guān)系數(shù)據(jù)以及S3對(duì)象中存儲(chǔ)的平面或復(fù)雜結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)。

基于專用服務(wù)組合建立的智能湖倉(cāng)架構(gòu)將幫助用戶從海量數(shù)據(jù)中快速獲取面向所有用戶的洞察見解，同時(shí)充分預(yù)留升級(jí)空間，供用戶隨后續(xù)發(fā)展隨時(shí)引入新的分析方法與技術(shù)成果。

fqj