在了解oneID前,先來看一下阿里的oneDate體系。其實OneID在整個數(shù)據(jù)服務(wù)體系中,也只是起點不是終點或者說是手段,我們最終的目的是為了建設(shè)統(tǒng)一的數(shù)據(jù)資產(chǎn)體系。
沒有建設(shè)統(tǒng)一的數(shù)據(jù)資產(chǎn)體系之前,我們的數(shù)據(jù)體系建設(shè)存在下面諸多問題
- 數(shù)據(jù)孤島:各產(chǎn)品、業(yè)務(wù)的數(shù)據(jù)相互隔離,難以通過共性ID打通
- 重復(fù)建設(shè):重復(fù)的開發(fā)、計算、存儲,帶來高昂的數(shù)據(jù)成本
- 數(shù)據(jù)歧義:指標(biāo)定義口徑不一致,造成計算偏差,應(yīng)用困難
在阿里巴巴 OneData 體系中,OneID 指統(tǒng)一數(shù)據(jù)萃取,是一套解決數(shù)據(jù)孤島問題的思想和方法。數(shù)據(jù)孤島是企業(yè)發(fā)展到一定階段后普遍遇到的問題。各個部門、業(yè)務(wù)、產(chǎn)品,各自定義和存儲其數(shù)據(jù),使得這些數(shù)據(jù)間難以關(guān)聯(lián),變成孤島一般的存在。
OneID的做法是通過統(tǒng)一的實體識別和連接,打破數(shù)據(jù)孤島,實現(xiàn)數(shù)據(jù)通融。簡單來說,用戶、設(shè)備等業(yè)務(wù)實體,在對應(yīng)的業(yè)務(wù)數(shù)據(jù)中,會被映射為唯一識別(UID)上,其各個維度的數(shù)據(jù)通過這個UID進(jìn)行關(guān)聯(lián)。
各個部門、業(yè)務(wù)、產(chǎn)品對業(yè)務(wù)實體的UID的定義和實現(xiàn)不一樣,使得數(shù)據(jù)間無法直接關(guān)聯(lián),成為了數(shù)據(jù)孤島。基于手機(jī)號、身份證、郵箱、設(shè)備ID等信息,結(jié)合業(yè)務(wù)規(guī)則、機(jī)器學(xué)習(xí)、圖算法等算法,進(jìn)行 ID-Mapping,將各種 UID 都映射到統(tǒng)一ID上。通過這個統(tǒng)一ID,便可關(guān)聯(lián)起各個數(shù)據(jù)孤島的數(shù)據(jù),實現(xiàn)數(shù)據(jù)通融,以確保業(yè)務(wù)分析、用戶畫像等數(shù)據(jù)應(yīng)用的準(zhǔn)確和全面。下面就來介紹一下主數(shù)據(jù)和OneID。
— 01 —
OneID 和主數(shù)據(jù)到底是不是一回事?
在阿里巴巴 OneData 體系中,OneID 指統(tǒng)一數(shù)據(jù)萃取,是一套解決數(shù)據(jù)孤島問題的思想和方法。
如果單看這個定義,你一定也會和我一樣懵逼,啥是數(shù)據(jù)萃取?解決數(shù)據(jù)孤島問題,主數(shù)據(jù)不也是干這個事情的嗎?
別急,我們慢慢分解,先來看 OneID 到底是干啥的。
OneID 也叫 ID-Mapping,就是將設(shè)備 ID(例如手機(jī) MAC、IMEI、IMSI 等),手機(jī)號、身份證號、郵箱地址、PC 端的 Cookie,用戶名等信息,結(jié)合標(biāo)簽體系、知識圖譜、機(jī)器學(xué)習(xí)等技術(shù)和算法,將各種 ID 都映射到統(tǒng)一的 ID 上。也就是說不論用戶用什么 ID 登陸,不論登陸的是 PC 端還是手機(jī) APP,都能識別到他的一個唯一身份。
OneID 干的這個事情是不是和主數(shù)據(jù)有點類似?主數(shù)據(jù)也是給數(shù)據(jù)對象賦予一個唯一的編碼(身份)。
但是,不得不承認(rèn),OneID 和主數(shù)據(jù)還是有很大區(qū)別的,如下:
第一,解決問題的環(huán)境不同。OneID 主要是解決 ToC 業(yè)務(wù),不同渠道、不同數(shù)據(jù)來源的用戶身份的統(tǒng)一映射和識別問題,例如:PC 端、移動 APP,微信小程序、相關(guān)應(yīng)用系統(tǒng)等。而主數(shù)據(jù)是對相同數(shù)據(jù)對象進(jìn)行標(biāo)準(zhǔn)化定義并賦予唯一編碼,更多的是用 ToB 業(yè)務(wù)中,解決企業(yè)內(nèi)部異構(gòu)系統(tǒng)之間數(shù)據(jù)不一致問題。
第二,解決問題的“地點”不同。OneID 是把各類 UID 信息匯聚在一起,在一個地方進(jìn)行加工和處理,最后形成統(tǒng)一的 Mapping 關(guān)系,阿里管這個地方叫做“數(shù)據(jù)中臺”。而主數(shù)據(jù)強(qiáng)調(diào)的是從源頭統(tǒng)一標(biāo)準(zhǔn),定義唯一編碼,各異構(gòu)系統(tǒng)都依據(jù)統(tǒng)一的標(biāo)準(zhǔn)執(zhí)行,映射關(guān)系是建立在各異構(gòu)系統(tǒng)中的。
第三,解決問題的技術(shù)不同。OneID 是典型的 OLAP 技術(shù),是在產(chǎn)生數(shù)據(jù)之后通過大數(shù)據(jù)分析、人工智能算法等技術(shù)將各種 UID 都映射到統(tǒng)一的 ID 上。而主數(shù)據(jù)是典型的 OLTP 技術(shù),其本身是對數(shù)據(jù)的增刪改查操作,例如客戶主數(shù)據(jù)的定義和編碼。
— 02 —
數(shù)據(jù)中臺為什么需要 OneID?
接觸過企業(yè)數(shù)據(jù)平臺的人都會知道,數(shù)據(jù)孤島是企業(yè)發(fā)展到一定階段后普遍會遇到的問題。企業(yè)內(nèi)部的各個部門、業(yè)務(wù)、產(chǎn)品,各自定義和存儲其數(shù)據(jù),使得這些數(shù)據(jù)間都是相互割裂、難以關(guān)聯(lián),從而真正變成“孤島”一般的存在,在業(yè)務(wù)價值上很難發(fā)揮出更多作用。
普遍存在的數(shù)據(jù)孤島現(xiàn)象,各部門用的平臺不同,且數(shù)據(jù)不相通
OneID的建立,就是為了打通這種數(shù)據(jù)孤島的現(xiàn)狀,通過打通分散在各個平臺的用戶數(shù)據(jù),整合客戶全生命周期旅程,實現(xiàn)各平臺存儲的數(shù)據(jù)通融,從而提升業(yè)務(wù)效率和用戶體驗。
** ONEID的業(yè)務(wù)價值和數(shù)據(jù)管理價值**
業(yè)務(wù)價值:通過OneID貫穿客戶生命周期,精準(zhǔn)識別客戶行為(瀏覽、留資、到店等行為軌跡),相當(dāng)于為每一位用戶量身定制了屬于自己的完整的“身份和行為”的“名片”,為營銷場景的落地(廣告定投、精準(zhǔn)推送、個性化推薦、增換購、流失預(yù)警等場景)和精益化運營的需要(精準(zhǔn)客戶數(shù)據(jù)分析、精準(zhǔn)人群定位、精準(zhǔn)圈層運營、經(jīng)銷商客戶信息溯源等)提供支持。
數(shù)據(jù)管理價值:業(yè)務(wù)價值主要傾向于OneID對外為企業(yè)帶來的營銷便利、利潤增長,數(shù)據(jù)管理價值主要傾向于對內(nèi)形成的“互助”作用。OneID的構(gòu)建有助于數(shù)據(jù)資產(chǎn)的沉淀,便于企業(yè)的數(shù)據(jù)管理、數(shù)據(jù)資產(chǎn)的可視化和可評估化等,同時,OneID還可滿足其他平臺的一些需求,如CDP平臺、數(shù)據(jù)中臺等,為其提供一定的支持。
總而言之,OneID的構(gòu)建,是為了支撐各業(yè)務(wù)方管理決策及應(yīng)用落地,從而達(dá)到提升業(yè)務(wù)效率及客戶體驗,且數(shù)據(jù)應(yīng)用準(zhǔn)確而全面的最終目的。
— 03 —
OneID 和主數(shù)據(jù)的實現(xiàn)原理
OneID 是對不同渠道、不同來源的的“ID”進(jìn)行統(tǒng)一拉齊和打通,其實現(xiàn)原理如下:
為了方便理解,這里給出的例子是比較簡單的,但在實際實施過程中,其應(yīng)用要復(fù)雜很多,例如:相同 ID 的值不一致怎么辦,重復(fù)的 ID 如何合并,ID 信息發(fā)生變化如何更新,Mapping 表的更新頻率如何設(shè)置等等,這些問題就需要結(jié)合具體場景解決了。
我們再來看看主數(shù)據(jù)管理(MDM)的工作原理:
主數(shù)據(jù)管理強(qiáng)調(diào)在源頭治理,即:在數(shù)據(jù)源系統(tǒng)定義實現(xiàn)主數(shù)據(jù)的標(biāo)準(zhǔn)化,生成唯一主數(shù)據(jù)編碼,并通過主數(shù)據(jù)系統(tǒng)分發(fā)標(biāo)準(zhǔn)數(shù)據(jù)到相關(guān)消費系統(tǒng)進(jìn)行使用,消費系統(tǒng)只有查詢和使用權(quán)不能對主數(shù)據(jù)進(jìn)行“增刪改”。另外,不同主數(shù)據(jù)的來源系統(tǒng)不同,如在這個例子中的客戶主數(shù)據(jù)來源為 CRM,物料主數(shù)據(jù)的來源為 MDM,ERP 系統(tǒng)和數(shù)據(jù)倉庫是主數(shù)據(jù)的消費系統(tǒng)。
— 04 —
有了數(shù)據(jù)中臺,還需要主數(shù)據(jù)嗎?
在很多數(shù)據(jù)中臺的解決方案中,主數(shù)據(jù)是數(shù)據(jù)中臺的一個組成部分。例如在 SAP 的數(shù)字平臺解決方案中,數(shù)據(jù)中臺是由數(shù)據(jù)集成、數(shù)據(jù)存儲、數(shù)據(jù)倉庫、開發(fā)建模、數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)管控、人工智能與行業(yè)模版等多個部分組成。其中,數(shù)據(jù)管控模塊中就包含了主數(shù)據(jù)治理,如下圖:
很多人都有個疑問,數(shù)據(jù)中臺中既包含了數(shù)據(jù)采集/數(shù)據(jù)移動的能力,也包含數(shù)據(jù)服務(wù)共享的能力,同時還具備元數(shù)據(jù)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全等數(shù)據(jù)治理能力,有了數(shù)據(jù)中臺,為什么還需要主數(shù)據(jù)管理?
數(shù)據(jù)中臺通過數(shù)據(jù)采集、清洗、治理,再以標(biāo)準(zhǔn)接口服務(wù)的形式提供出去,供其他系統(tǒng)調(diào)用,這確實是數(shù)據(jù)中臺的核心能力。從功能的角度,主數(shù)據(jù)管理也的確有類似的功能,例如:主數(shù)據(jù)采集、主數(shù)據(jù)清洗、主數(shù)據(jù)服務(wù)等。
但是,我們之前也說過,主數(shù)據(jù)與數(shù)據(jù)中臺解決的問題并不相同。
數(shù)據(jù)中臺是在有了數(shù)據(jù)之后,在中臺進(jìn)行數(shù)據(jù)治理,形成數(shù)據(jù)資產(chǎn)并提供數(shù)據(jù)服務(wù)。而主數(shù)據(jù)更強(qiáng)調(diào)在數(shù)據(jù)產(chǎn)生之前定義數(shù)據(jù)標(biāo)準(zhǔn),建立數(shù)據(jù)管理流程,并在數(shù)據(jù)產(chǎn)生的過程中對數(shù)據(jù)質(zhì)量進(jìn)行校驗,從源頭進(jìn)行數(shù)據(jù)治理。
因此,相對于數(shù)據(jù)中臺來講,主數(shù)據(jù)管理是一個后臺系統(tǒng),它可以作為數(shù)據(jù)中臺的一個數(shù)據(jù)源為數(shù)據(jù)中臺供應(yīng)高質(zhì)量的數(shù)據(jù)。
設(shè)想一下:如果沒有主數(shù)據(jù)管理,從各個異構(gòu)系統(tǒng)中采集到數(shù)據(jù)中臺的主數(shù)據(jù)(如:客戶、產(chǎn)品、供應(yīng)商等)將有不同的定義和編碼,這就需要在數(shù)據(jù)中臺對這些不一致的數(shù)據(jù)進(jìn)行統(tǒng)一治理,這將是一件非常痛苦的事情,而且不能從源頭上解決問題。因此在筆者看來,站在整體解決方案的角度,將主數(shù)據(jù)治理提前,對于傳統(tǒng)企業(yè)來講可能是不錯的解決方案。
— 05 —
有了數(shù)據(jù)中臺,還需要主數(shù)據(jù)嗎?
主數(shù)據(jù)的核心目的是在單一業(yè)務(wù)領(lǐng)域中,各系統(tǒng)進(jìn)行核心數(shù)據(jù)的統(tǒng)一,兩個關(guān)鍵詞: 業(yè)務(wù)系統(tǒng)和統(tǒng)一 。
One ID的核心目的是跨業(yè)務(wù)領(lǐng)域的數(shù)據(jù)連通,兩個關(guān)鍵詞:跨業(yè)務(wù)領(lǐng)域、連通。
所以,OneID是放大版的主數(shù)據(jù),主數(shù)據(jù)可以作為OneID的輸入。
-
數(shù)據(jù)倉庫
+關(guān)注
關(guān)注
0文章
61瀏覽量
10604 -
阿里
+關(guān)注
關(guān)注
6文章
452瀏覽量
33155
發(fā)布評論請先 登錄
相關(guān)推薦
數(shù)據(jù)倉庫的基本架構(gòu)及架構(gòu)圖介紹

什么是數(shù)據(jù)倉庫?數(shù)據(jù)倉庫的優(yōu)勢分析

多版本數(shù)據(jù)倉庫模型設(shè)計
統(tǒng)計行業(yè)數(shù)據(jù)倉庫構(gòu)建及應(yīng)用
電信數(shù)據(jù)倉庫設(shè)計
OLAP在電信數(shù)據(jù)倉庫中的設(shè)計
數(shù)據(jù)倉庫是什么_數(shù)據(jù)倉庫的特點_數(shù)據(jù)倉庫與數(shù)據(jù)庫區(qū)別

數(shù)據(jù)倉庫是什么_數(shù)據(jù)倉庫有什么特點_數(shù)據(jù)庫和數(shù)據(jù)倉庫區(qū)別分析

數(shù)據(jù)倉庫的模型設(shè)計

評論