01數(shù)據(jù)治理之數(shù)據(jù)資產(chǎn)管理

數(shù)據(jù)資產(chǎn)與數(shù)據(jù)資產(chǎn)管理的定義

中國信通院聯(lián)合多家企業(yè)于2019年6月發(fā)布了《數(shù)據(jù)資產(chǎn)管理實踐白皮書4.0》，其中將數(shù)據(jù)資產(chǎn)定義為：由企業(yè)擁有或控制的、能夠為企業(yè)帶來未來經(jīng)濟利益的、以物理或者電子方式記錄的數(shù)據(jù)資源，如文件資料、電子數(shù)據(jù)等。 從這個定義可以看出，數(shù)據(jù)資產(chǎn)的三個特征為： 1）“企業(yè)擁有或控制”。這個特征指明了數(shù)據(jù)是有其主體的，同時也說明了數(shù)據(jù)資源可能來源于企業(yè)內(nèi)部的信息系統(tǒng)或者日常經(jīng)營活動的沉淀，同時也有可能是企業(yè)通過外部的交換、購買等手段獲取到的。 2）“能帶來未來經(jīng)濟利益”。這個特征清楚地表明了在企業(yè)中，并非所有的數(shù)據(jù)都構(gòu)成數(shù)據(jù)資產(chǎn)，數(shù)據(jù)資產(chǎn)是能夠為企業(yè)產(chǎn)生價值的數(shù)據(jù)資源。 3）“數(shù)據(jù)資源”。這個特征表明了數(shù)據(jù)資產(chǎn)的存在形態(tài)，是以物理或者電子方式記錄下來的數(shù)據(jù)。 《數(shù)據(jù)資產(chǎn)管理實踐白皮書4.0》中對數(shù)據(jù)資產(chǎn)管理的定義為：規(guī)劃、控制和提供數(shù)據(jù)及信息資產(chǎn)的一組業(yè)務職能，包括開發(fā)、執(zhí)行和監(jiān)督有關(guān)數(shù)據(jù)的計劃、政策、方案、項目、流程、方法和程序，從而控制、保護、交付和提高數(shù)據(jù)資產(chǎn)的價值。 從這個定義可以看出，數(shù)據(jù)資產(chǎn)管理的目的是通過一系列手段，以控制、保護、交付和提高數(shù)據(jù)資產(chǎn)的價值。

數(shù)據(jù)資產(chǎn)管理的現(xiàn)狀和挑戰(zhàn)

在過去，國內(nèi)大部分領(lǐng)先企業(yè)都陸續(xù)建設了ERP系統(tǒng)、人力資源系統(tǒng)、供應鏈管理系統(tǒng)、物流系統(tǒng)、電子商務系統(tǒng)、集成門戶、協(xié)同辦公、決策支持系統(tǒng)等各類信息化系統(tǒng)，這些系統(tǒng)在支撐企業(yè)經(jīng)營活動的同時，也帶來了數(shù)據(jù)量的高速膨脹。隨著數(shù)據(jù)積累逐漸增多，大部分企業(yè)在數(shù)據(jù)管理方面遇到了諸多挑戰(zhàn)：

缺乏統(tǒng)一的數(shù)據(jù)視圖：數(shù)據(jù)資源分布在企業(yè)的多個業(yè)務系統(tǒng)中，分布在線上線下，甚至企業(yè)的內(nèi)外部，由于缺乏統(tǒng)一的數(shù)據(jù)視圖，數(shù)據(jù)的管理人員和使用人員無法準確快速地找到自己需要的數(shù)據(jù)。數(shù)據(jù)管理人員也無法從宏觀層面掌握自己擁有哪些數(shù)據(jù)資產(chǎn)，擁有多少數(shù)據(jù)資產(chǎn)，這些數(shù)據(jù)資產(chǎn)分布在哪里，變化情況怎么樣。

數(shù)據(jù)基礎(chǔ)薄弱：大部分企業(yè)的數(shù)據(jù)基礎(chǔ)還很薄弱，存在數(shù)據(jù)標準混亂、數(shù)據(jù)質(zhì)量參差不齊、各業(yè)務系統(tǒng)之間數(shù)據(jù)孤島化嚴重、沒有進行數(shù)據(jù)資產(chǎn)的萃取等現(xiàn)象，阻礙了數(shù)據(jù)的有效應用。

數(shù)據(jù)應用不足：受限于數(shù)據(jù)基礎(chǔ)薄弱和應用能力不足，多數(shù)企業(yè)的數(shù)據(jù)應用剛剛起步，主要在精準營銷、輿情感知和風險控制等有限場景中進行了一些探索，數(shù)據(jù)應用的深度不夠，應用空間亟待開拓。

數(shù)據(jù)價值難估：企業(yè)難以對數(shù)據(jù)給業(yè)務的貢獻進行評估，從而難以像運營有形資產(chǎn)一樣運營數(shù)據(jù)。產(chǎn)生這個問題的原因有兩個：一是沒有建立起合理的數(shù)據(jù)價值評估模型；二是數(shù)據(jù)價值跟企業(yè)的商業(yè)模式密不可分，在不同應用場景下，同一項數(shù)據(jù)資產(chǎn)的價值可能截然不同。

缺乏安全的數(shù)據(jù)環(huán)境：隨著數(shù)據(jù)的價值越來越得到全社會的廣泛認可，針對數(shù)據(jù)的犯罪活動日漸猖獗，數(shù)據(jù)泄露、個人隱私受到傷害等現(xiàn)象層出不窮。很多數(shù)據(jù)犯罪是因為安全管理制度不完善、缺乏相應的數(shù)據(jù)安全管控措施導致的。

數(shù)據(jù)管理浮于表面：沒有建立一套符合數(shù)據(jù)驅(qū)動的組織管理制度和流程，沒有建設先進的數(shù)據(jù)管理平臺工具，導致數(shù)據(jù)管理工作很難落地。

這些問題已經(jīng)嚴重影響到數(shù)據(jù)價值的發(fā)揮，導致企業(yè)的數(shù)據(jù)越積越多，卻逐漸成為企業(yè)的負擔，大數(shù)據(jù)管理部門也成為企業(yè)的成本中心，而不是創(chuàng)新中心和利潤部門。

數(shù)據(jù)資產(chǎn)管理的四個目標

數(shù)據(jù)資產(chǎn)管理是數(shù)據(jù)中臺面向企業(yè)提供數(shù)據(jù)能力的一個窗口，數(shù)據(jù)資產(chǎn)中心將企業(yè)的數(shù)據(jù)資產(chǎn)統(tǒng)一管理起來，實現(xiàn)數(shù)據(jù)資產(chǎn)的可見、可懂、可用、可運營。

可見：通過對數(shù)據(jù)資產(chǎn)的全面盤點，形成數(shù)據(jù)資產(chǎn)地圖。從數(shù)據(jù)生產(chǎn)者、管理者、使用者等不同的角度，用數(shù)據(jù)資產(chǎn)目錄的方式共享數(shù)據(jù)資產(chǎn)，用戶可以快速、精確地查找到自己關(guān)心的數(shù)據(jù)資產(chǎn)。

可懂：通過元數(shù)據(jù)管理，完善對數(shù)據(jù)資產(chǎn)的描述。同時在數(shù)據(jù)資產(chǎn)的建設過程中，注重數(shù)據(jù)資產(chǎn)業(yè)務含義的提煉，將數(shù)據(jù)加工和組織成人人可懂的、無歧義的數(shù)據(jù)資產(chǎn)。具體來說，在數(shù)據(jù)中臺之上，需要將數(shù)據(jù)資產(chǎn)進行標簽化，標簽是面向業(yè)務視角的數(shù)據(jù)組織方式。

可用：通過統(tǒng)一數(shù)據(jù)標準、提升數(shù)據(jù)質(zhì)量和數(shù)據(jù)安全性等措施，增強數(shù)據(jù)的可信度，讓數(shù)據(jù)科學家和數(shù)據(jù)分析人員沒有后顧之憂，放心地使用數(shù)據(jù)資產(chǎn)，降低因為數(shù)據(jù)不可用、不可信而導致的溝通成本和管理成本。

可運營：數(shù)據(jù)資產(chǎn)運營的最終目的是讓數(shù)據(jù)價值越滾越大，因此數(shù)據(jù)資產(chǎn)運營要始終圍繞資產(chǎn)價值來開展。通過建立一套符合數(shù)據(jù)驅(qū)動的組織管理制度流程和價值評估體系，促進數(shù)據(jù)資產(chǎn)建設過程的不斷改進，提升數(shù)據(jù)資產(chǎn)管理的水平，提升數(shù)據(jù)資產(chǎn)的價值。

數(shù)據(jù)資產(chǎn)管理與數(shù)據(jù)治理的關(guān)系

DAMA和DCMM對數(shù)據(jù)治理的定義都是：數(shù)據(jù)治理（Data Governance，DG）是指對數(shù)據(jù)資產(chǎn)管理行使權(quán)力和控制的活動集合（規(guī)劃、監(jiān)督和執(zhí)行）。傳統(tǒng)的數(shù)據(jù)治理內(nèi)容通常包含：數(shù)據(jù)標準管理、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)安全管理、數(shù)據(jù)生命周期管理等內(nèi)容。 本文沿用的中國信通院對數(shù)據(jù)資產(chǎn)管理的定義是：規(guī)劃、控制和提供數(shù)據(jù)及信息資產(chǎn)的一組業(yè)務職能，包括開發(fā)、執(zhí)行和監(jiān)督有關(guān)數(shù)據(jù)的計劃、政策、方案、項目、流程、方法和程序，從而控制、保護、交付和提高數(shù)據(jù)資產(chǎn)的價值。 從上面兩段描述看出，數(shù)據(jù)治理和數(shù)據(jù)資產(chǎn)管理的定義有異曲同工之處，它們圍繞的對象都是數(shù)據(jù)資產(chǎn)。而中國信通院在《數(shù)據(jù)資產(chǎn)管理實踐白皮書4.0》中闡述的數(shù)據(jù)資產(chǎn)管理八大職能中，諸如數(shù)據(jù)標準管理、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)安全管理等，同時也屬于傳統(tǒng)數(shù)據(jù)治理的必要工作內(nèi)容。數(shù)據(jù)資產(chǎn)管理在傳統(tǒng)數(shù)據(jù)治理的基礎(chǔ)上，加入了數(shù)據(jù)價值管理、數(shù)據(jù)共享管理等內(nèi)容。 近些年的發(fā)展來看，數(shù)據(jù)治理的目標正從“以質(zhì)量管理為主”，過渡到“質(zhì)量管理與服務并重”。基于上面的論述，作者認為，數(shù)據(jù)資產(chǎn)管理就是傳統(tǒng)的數(shù)據(jù)治理的升級版，可以認為是數(shù)據(jù)治理2.0。數(shù)據(jù)資產(chǎn)管理與數(shù)據(jù)治理之間的關(guān)系可以用下圖來表示。 在本文中，不再另外闡述數(shù)據(jù)治理的內(nèi)容。

數(shù)據(jù)資產(chǎn)門戶

1、數(shù)據(jù)資產(chǎn)地圖

數(shù)據(jù)資產(chǎn)地圖為用戶提供多層次、多視角的數(shù)據(jù)資產(chǎn)圖形化呈現(xiàn)形式。數(shù)據(jù)資產(chǎn)地圖讓用戶用最直觀的方式，掌握數(shù)據(jù)資產(chǎn)的概況，如數(shù)據(jù)總量、每日數(shù)據(jù)增量、數(shù)據(jù)資產(chǎn)質(zhì)量的整體狀況、數(shù)據(jù)資產(chǎn)的分類情況、數(shù)據(jù)資產(chǎn)的分布情況、數(shù)據(jù)資產(chǎn)的冷熱度排名、各個業(yè)務域及系統(tǒng)之間的數(shù)據(jù)流動關(guān)系等。

2、數(shù)據(jù)資產(chǎn)目錄

數(shù)據(jù)資產(chǎn)目錄通過對數(shù)據(jù)資產(chǎn)良好地組織，為用戶帶來直觀的體驗，可以使用戶花較少的時間查找到自己關(guān)心的數(shù)據(jù)資產(chǎn)。 數(shù)據(jù)資產(chǎn)目錄的組織方式靈活多樣，常見的有按業(yè)務域組織、按數(shù)據(jù)來源組織、按數(shù)據(jù)類型組織。 根據(jù)用戶角色的不同，數(shù)據(jù)資產(chǎn)目錄有多種展現(xiàn)視角，概括來講，有這三類用戶角色：數(shù)據(jù)資產(chǎn)開發(fā)者、數(shù)據(jù)資產(chǎn)管理者、數(shù)據(jù)資產(chǎn)使用者。 數(shù)據(jù)資產(chǎn)開發(fā)者關(guān)注當前開發(fā)的數(shù)據(jù)資產(chǎn)是否有重復，是否有準確的定義，通過數(shù)據(jù)資產(chǎn)目錄，數(shù)據(jù)資產(chǎn)開發(fā)者可以將自己負責開發(fā)的數(shù)據(jù)資產(chǎn)發(fā)布到合理的資產(chǎn)目錄下。 數(shù)據(jù)資產(chǎn)管理者必須掌握數(shù)據(jù)資產(chǎn)的全局情況，包括擁有哪些數(shù)據(jù)資產(chǎn)、數(shù)據(jù)資產(chǎn)分布在哪里、數(shù)據(jù)資產(chǎn)的質(zhì)量情況、數(shù)據(jù)資產(chǎn)的使用情況等。數(shù)據(jù)資產(chǎn)管理者通過對數(shù)據(jù)資產(chǎn)的合理授權(quán)，控制數(shù)據(jù)資產(chǎn)的使用。 數(shù)據(jù)資產(chǎn)使用者關(guān)心數(shù)據(jù)是什么、數(shù)據(jù)在哪里、如何獲取到數(shù)據(jù)。通過數(shù)據(jù)資產(chǎn)目錄和獲取到的合理授權(quán)，數(shù)據(jù)資產(chǎn)使用者能快速定位到自己需要的數(shù)據(jù)資產(chǎn)，掌握數(shù)據(jù)資產(chǎn)的存在形式是什么（結(jié)構(gòu)化還是半結(jié)構(gòu)化），如何獲取到自己想要的數(shù)據(jù)，評估現(xiàn)有的數(shù)據(jù)資產(chǎn)能否滿足所建應用的需要。 3、數(shù)據(jù)資產(chǎn)檢索 數(shù)據(jù)資產(chǎn)檢索服務為用戶提供一鍵式資產(chǎn)檢索服務，通過對關(guān)鍵字的匹配，數(shù)據(jù)資產(chǎn)門戶檢索出相關(guān)的數(shù)據(jù)資產(chǎn)集，用戶可以根據(jù)所需，找到相關(guān)數(shù)據(jù)資產(chǎn)，可以查看數(shù)據(jù)資產(chǎn)的名稱、創(chuàng)建者、業(yè)務語義、加工過程等詳情，幫助其理解和使用數(shù)據(jù)。

02 數(shù)據(jù)治理有哪些誤區(qū)？

大數(shù)據(jù)時代，數(shù)據(jù)成為社會和組織的寶貴資產(chǎn)，像工業(yè)時代的石油和電力一樣驅(qū)動萬物，然而如果石油的雜質(zhì)太多，電流的電壓不穩(wěn)，數(shù)據(jù)的價值豈不是大打折扣，甚至根本不可用，不敢用，因此，數(shù)據(jù)治理是大數(shù)據(jù)時代我們用好海量數(shù)據(jù)的必然選擇。

但大家都知道，數(shù)據(jù)治理是一項長期而繁雜的工作，可以說是大數(shù)據(jù)領(lǐng)域中的臟活累活，很多時候數(shù)據(jù)治理廠商做了很多工作，但客戶卻認為沒有看到什么成果。大部分數(shù)據(jù)治理咨詢項目都能交上一份讓客戶足夠滿意的答卷，但是當把咨詢成果落地到實處的時候，因為種種原因，很可能是另一番截然不同的風景。如何避免這種情況發(fā)生，是每一個做數(shù)據(jù)治理的企業(yè)都值得深思的問題。

可以說在業(yè)界，大家都為如何做好數(shù)據(jù)治理而感到困惑。 筆者涉獵大數(shù)據(jù)治理領(lǐng)域有6年多的時間，負責過政府、軍工、航空、大中型制造企業(yè)的數(shù)據(jù)治理項目。在實踐當中有過成功的經(jīng)驗，當然也經(jīng)歷過很多失敗的教訓，在這些過程中，筆者一直在思考大數(shù)據(jù)治理究竟是在治理什么？要達到什么樣的合理目標？中間應該怎么避免走一些彎路？下面是筆者曾經(jīng)趟過的坑，希望對大家有一些借鑒意義。誤區(qū)一：客戶需求不明確客戶既然請廠商來幫助自己做數(shù)據(jù)治理，必定是看到了自己的數(shù)據(jù)存在種種問題。但是做什么，怎么做，做多大的范圍，先做什么后做什么，達到什么樣的目標，業(yè)務部門、技術(shù)部門、廠商之間如何配合做……很多客戶其實并沒有想清楚自已真正想解決的問題。數(shù)據(jù)治理，難在找到一個切入點。 以筆者的經(jīng)驗來看，如果客戶暫時想不清楚需求，建議先請廠商幫助自己做一個小型的咨詢項目，通過專業(yè)的團隊，大家一起找到切入點。這個咨詢項目工作的重點應該是數(shù)據(jù)現(xiàn)狀的調(diào)研。通過調(diào)研數(shù)據(jù)架構(gòu)、現(xiàn)有的數(shù)據(jù)標準和執(zhí)行情況，數(shù)據(jù)質(zhì)量的現(xiàn)狀和痛點，客戶目前已經(jīng)具有的數(shù)據(jù)治理能力現(xiàn)狀等，來摸清楚數(shù)據(jù)的家底。 在摸清家底的基礎(chǔ)上，由專業(yè)的數(shù)據(jù)治理團隊幫助客戶設計切實可行的數(shù)據(jù)治理路線圖，雙方取得一致的基礎(chǔ)上，按照路線圖來執(zhí)行數(shù)據(jù)治理工作。 其實客戶很多時候并不是沒需求，只是需求相對比較籠統(tǒng)，模糊不清晰，雙方可以花費一定的時間和精力找到真正目標，磨刀不誤砍柴工，這樣才不致于后續(xù)花更多的錢來交學費。 總結(jié)：數(shù)據(jù)治理工作，一定要先摸清楚數(shù)據(jù)的家底，規(guī)劃好路線圖，切忌一上來就搭平臺。誤區(qū)二：數(shù)據(jù)治理是技術(shù)部門的事在大數(shù)據(jù)時代，很多組織認識到了數(shù)據(jù)的價值，也成立了專門的團隊來負責管理數(shù)據(jù)，有的叫數(shù)據(jù)管理處，有的叫大數(shù)據(jù)中心，有的叫數(shù)據(jù)應用處，名稱不一而足。這些機構(gòu)往往由技術(shù)人員組成，本身的定位也屬于技術(shù)部門，它們的共同點是：強技術(shù)，弱業(yè)務。當數(shù)據(jù)治理項目需要實施的時候，往往就是由這些技術(shù)部門來牽頭。技術(shù)部門大多是以數(shù)據(jù)中心或者大數(shù)據(jù)平臺為出發(fā)點，受限于組織范圍，不希望擴大到業(yè)務系統(tǒng)，只希望把自已負責的范圍管好。 但數(shù)據(jù)問題產(chǎn)生的原因，往往是業(yè)務>技術(shù)?？梢哉f大部分的數(shù)據(jù)質(zhì)量問題，都是來自于業(yè)務，如：數(shù)據(jù)來源渠道多，責任不明確，導致同一份數(shù)據(jù)在不同的信息系統(tǒng)有不同的表述；業(yè)務需求不清晰，數(shù)據(jù)填報不規(guī)范或缺失，等等。很多表面上的技術(shù)問題，如ETL過程中某代號變更導致數(shù)據(jù)加工出錯，影響報表中的數(shù)據(jù)正確性等，在本質(zhì)上其實還是業(yè)務管理的不規(guī)范。 筆者在與很多客戶做數(shù)據(jù)治理交流的時候，發(fā)現(xiàn)大部分客戶認識不到數(shù)據(jù)質(zhì)量問題發(fā)生的根本原因，只想從技術(shù)維度單方面來解決數(shù)據(jù)問題，這樣的思維方式導致客戶在規(guī)劃數(shù)據(jù)治理的時候，根本沒有考慮到建立一個涵蓋技術(shù)組、業(yè)務組的強有力的組織架構(gòu)，能有效執(zhí)行的制度流程，導致效果大打折扣。 總結(jié)：數(shù)據(jù)治理既是技術(shù)部門的事，更是業(yè)務部門的事，一定要建立多方共同參與的組織架構(gòu)和制度流程，數(shù)據(jù)治理的工作才能真正落實到人，不至于浮在表面。誤區(qū)三：大而全的數(shù)據(jù)治理出于投資回報的考慮，客戶往往傾向于做一個覆蓋全業(yè)務和技術(shù)域的，大而全的數(shù)據(jù)治理項目。從數(shù)據(jù)的產(chǎn)生，到數(shù)據(jù)的加工，應用，銷毀，數(shù)據(jù)的整個生命周期他們希望都能管到。從業(yè)務系統(tǒng)，到數(shù)據(jù)中心，到數(shù)據(jù)應用，里面的每個數(shù)據(jù)他們希望都能被納入到數(shù)據(jù)治理的范圍中來。 但殊不知廣義上的數(shù)據(jù)治理是一個很大的概念，包括很多內(nèi)容，想在一個項目里就做完通常是不可能的，而是需要分期分批地實施，所以廠商如果屈從于客戶的這種想法，很容易導致最后哪個也做不好，用不起來。所以，我們需要引導客戶，從最核心的系統(tǒng)，最重要的數(shù)據(jù)開始做數(shù)據(jù)治理。 怎么引導客戶呢？這里要引入一個眾所周知的概念：二八原則。實際上，二八原則在數(shù)據(jù)治理中同樣適用：80%的數(shù)據(jù)業(yè)務，其實是靠20%的數(shù)據(jù)在支撐；同樣的，80%的數(shù)據(jù)質(zhì)量問題，其實是由那20%的系統(tǒng)和人產(chǎn)生的。在數(shù)據(jù)治理的過程中，如果能找出這20%的數(shù)據(jù)，和這20%的系統(tǒng)和人，毫無疑問，將會起到事半功倍的效果。

但如何說服客戶，從最重要的數(shù)據(jù)開始做起呢？這就是我們在誤區(qū)一中談到的：在沒有摸清楚數(shù)據(jù)的家底之前，切忌貿(mào)然動手開始做。通過調(diào)研，分析，找出那20%的數(shù)據(jù)和20%的系統(tǒng)和人，提供真實可靠的分析報告，才有可能打動客戶，讓客戶接受先從核心系統(tǒng)，核心數(shù)據(jù)開始做起，再漸漸覆蓋到其他領(lǐng)域。 總結(jié)：做數(shù)據(jù)治理，不要貪大求全，而要從核心系統(tǒng)，重要的數(shù)據(jù)開始做起。誤區(qū)四：工具是萬能的很多客戶都認為，數(shù)據(jù)治理就是花一些錢，買一些工具，認為工具就是一個過濾器，過濾器做好了，數(shù)據(jù)從中間一過，就沒問題了。結(jié)果是：一方面功能越做越多，另一方面實際上線后，功能復雜，用戶不愿意用。 其實上面的想法是一種簡單化的思維，數(shù)據(jù)治理本身包含很多的內(nèi)容，組織架構(gòu)、制度流程、成熟工具、現(xiàn)場實施和運維，這四項缺一不可，工具只是其中一部分內(nèi)容。大家在做數(shù)據(jù)治理最容易忽視的就是組織架構(gòu)和人員配置，但實際上所有的活動流程、制度規(guī)范都需要人來執(zhí)行、落實和推動，沒有對人員的安排，后續(xù)工作很難得到保障。 一方面治理推廣工作沒人做，流程能否堅持執(zhí)行得不到保障。另一方面沒有相關(guān)的數(shù)據(jù)治理培訓，導致大家對數(shù)據(jù)治理的工作不重視，認為與我無關(guān)，從而導致整個數(shù)據(jù)治理項目注定會失敗。建議大家在做數(shù)據(jù)治理的時候?qū)⒔M織架構(gòu)放在第一位，有組織的存在，就會有人去思考這方面的工作，怎么去推動，持續(xù)把事情做好，以人為中心的數(shù)據(jù)治理工作，才更容易推廣落地。 有一位國外的數(shù)據(jù)治理專家說得好，Data Governance is governance of people; Data behaves what people behave。翻譯過來就是：數(shù)據(jù)治理是對人的行為的治理。對于組織而言，無論是企業(yè)還是政府，數(shù)據(jù)治理實質(zhì)上是一項覆蓋全員的、有關(guān)數(shù)據(jù)的“變革管理”，會涉及到組織架構(gòu)，管理流程的變革。

當然，這是一種理想的狀態(tài)。話說回來，我們看看國內(nèi)的情況，在金融業(yè)和一些大的企業(yè)，可能會建立專門的組織來負責數(shù)據(jù)治理工作，但是某些政府和中小型企業(yè)，他們出于成本的考慮，往往沒有這方面的預算。這種時候就需要折衷考慮，讓已有崗位上的人，兼職負責數(shù)據(jù)治理的某個流程或功能。這樣會加大現(xiàn)有崗位人員的工作負擔，但是不失為一種折衷的方式，重點是要責任到人。 現(xiàn)場的實施和運維也非常重要，盡管數(shù)據(jù)治理有向自動化的方向發(fā)展的趨勢，但是到目前為止，數(shù)據(jù)治理更多還是一種服務工作，而不僅僅是一套產(chǎn)品。因此，配置足夠強的實施顧問和實施人員，幫助客戶逐步打造自身的數(shù)據(jù)治理能力，是一項非常重要的工作。 總結(jié)：記住，做數(shù)據(jù)治理不是去逛逛shopping mall，選幾樣稱心應手的工具回來就萬事大吉了。開展好數(shù)據(jù)治理不能迷信工具，組織架構(gòu)、制度流程、現(xiàn)場的實施和運維也非常重要，缺一不可。誤區(qū)五：數(shù)據(jù)標準難落地很多客戶一說到數(shù)據(jù)治理，馬上就說我們有很多數(shù)據(jù)標準，但是這些標準卻統(tǒng)統(tǒng)沒有落地，因此，我們要先做數(shù)據(jù)標準的落地。數(shù)據(jù)標準真正落地了，數(shù)據(jù)質(zhì)量自然就好了。 但這種說法其實混淆了數(shù)據(jù)標準和數(shù)據(jù)標準化。首先要明白一個道理：數(shù)據(jù)標準是一定要做的，但是數(shù)據(jù)標準化，也就是數(shù)據(jù)標準的落地，則需要分情況實施。 要做數(shù)據(jù)標準，我們首先需要全面梳理數(shù)據(jù)標準。而數(shù)據(jù)標準的全面梳理，范圍很大，包括國家標準，行業(yè)標準，組織內(nèi)部的標準等等，需要花費很大的精力，甚至都可以單獨立一個項目來做。所以，首先需要讓客戶看到梳理數(shù)據(jù)標準的廣度和難度。 其次，就算是花很大精力梳理，也很難看到效果，結(jié)果往往是客戶只看到了一堆Word和Excel文檔，時間一長，誰也不會再去關(guān)心這些陳舊的文檔。這是最普遍的問題。 在金融業(yè)，或者像國家安全等一些特殊行業(yè)，數(shù)據(jù)標準的執(zhí)行力度較好，而在政府和普通企業(yè)，數(shù)據(jù)標準基本上就是一種擺設。 造成這種問題的原因有兩個： 一是大家對數(shù)據(jù)標準工作的不重視。 二是國內(nèi)的企業(yè)做數(shù)據(jù)標準，動機往往不是為了做好數(shù)據(jù)治理，而是應付上級檢查，很多都是請咨詢公司，借鑒同行業(yè)企業(yè)的標準本地化修改而成，一旦咨詢公司撤離，企業(yè)本身是沒有數(shù)據(jù)標準落地的能力的。 但數(shù)據(jù)標準的落地，也就是數(shù)據(jù)標準化，其實一定要注意分情況進行，至少要分兩種情形： 一類是已經(jīng)上線運行的系統(tǒng)，對于這部分信息系統(tǒng)，由于歷史原因，很難進行數(shù)據(jù)標準的落地。因為改造已有系統(tǒng)，除了成本以外，往往還會帶來不可知的巨大風險。 第二類是對于新上線的系統(tǒng)，是完全可以要求其數(shù)據(jù)項嚴格按照數(shù)據(jù)標準落地的。 當然，數(shù)據(jù)標準是否能順利落地，還與負責數(shù)據(jù)治理的部門所獲得的權(quán)限直接相關(guān)，倘若沒有領(lǐng)導的授權(quán)和強力支持，你是無論如何無法推動“書同文車同軌”的，要做到這一點，請先確認你背后站著說一不二的秦始皇，或者你本身就是秦始皇。別抱怨，這就是每個做數(shù)據(jù)治理的團隊面臨的現(xiàn)狀。

總結(jié)：數(shù)據(jù)標準落地難是數(shù)據(jù)治理中的普遍性問題，實施過程中需要區(qū)要分遺留系統(tǒng)和新建系統(tǒng)，分別來執(zhí)行不同的落地策略。誤區(qū)六：數(shù)據(jù)質(zhì)量問題找出來了，然后呢？辛辛苦苦建立起來平臺，業(yè)務和技術(shù)人員通力合作，配置好了數(shù)據(jù)質(zhì)量的檢核規(guī)則，也找出來了一大堆的數(shù)據(jù)質(zhì)量問題，然后呢？半年之后，一年之后，同樣的數(shù)據(jù)質(zhì)量問題依舊存在。 發(fā)生這種問題的根源在于沒有形成數(shù)據(jù)質(zhì)量問責的閉環(huán)。要做到數(shù)據(jù)質(zhì)量問題的問責，首先需要做到數(shù)據(jù)質(zhì)量問題的定責。定責的基本原則是：誰生產(chǎn)，誰負責。數(shù)據(jù)是從誰那里出來的，誰負責處理數(shù)據(jù)質(zhì)量問題。 這種閉環(huán)不一定非要走線上流程，但是一定要做到每一個問題都有人負責，每一個問題都必須反饋處理方案，處理的效果最好是能夠形成績效評估，如通過排名的方式，來督促各責任人和責任部門處理數(shù)據(jù)質(zhì)量問題。

這其實還是要追溯到我們在誤區(qū)二里談到的：要建立組織架構(gòu)和制度流程，否則數(shù)據(jù)治理工作中的種種事情，沒有人負責，沒有人去做?？偨Y(jié)：數(shù)據(jù)質(zhì)量問題的解決，要形成每一個環(huán)節(jié)都有確定責任人的閉環(huán)機制和反饋機制。

誤區(qū)七：你們好像什么也沒做？很多數(shù)據(jù)治理的項目難驗收，客戶往往有疑問：你們做數(shù)據(jù)治理究竟干了些啥？看你們匯報說干了一大堆事情，我們怎么什么都看不到？發(fā)生這種情況，原因往往有前面誤區(qū)一所說的客戶需求不明確，誤區(qū)三所說的做了大而全的數(shù)據(jù)治理而難以收尾等，但還有一個原因不容忽視，那就是沒有讓客戶感知到數(shù)據(jù)治理的成果。用戶缺乏對數(shù)據(jù)治理成果的感知，導致數(shù)據(jù)治理缺乏存在感，特別是用戶方的領(lǐng)導決策層，自然不會痛快地對項目進行驗收。 遇到這種情況，一句“寶寶心里苦，但寶寶不說”是無濟于事的。一個項目從銷售、售前、到組織團隊實施，多少人付出了辛勤的汗水。重要的是讓客戶認識到項目的重要價值，最終為所有人的付出買單啊。 在我看來，在數(shù)據(jù)治理的項目需求階段，就應該堅持業(yè)務價值導向，把數(shù)據(jù)治理的目的定位在有效地對數(shù)據(jù)資產(chǎn)進行管理，確保其準確、可信、可感知、可理解、易獲取，為大數(shù)據(jù)應用和領(lǐng)導決策提供數(shù)據(jù)支撐。并且在這個過程中，一定要重視并設計數(shù)據(jù)治理的可視化呈現(xiàn)效果，諸如： 管理了多少元數(shù)據(jù)，是否應該用數(shù)據(jù)資產(chǎn)地圖漂亮地展示出來。 管理了多少數(shù)據(jù)資產(chǎn)，哪些來源，哪些主題，來自于什么數(shù)據(jù)源，是否應該用數(shù)據(jù)資產(chǎn)門戶的方式展示出來。 數(shù)據(jù)資產(chǎn)用什么方式對上層應用提供服務，這些對外服務是如何管控的，誰使用了數(shù)據(jù)，用了多少數(shù)據(jù)，是否應該用圖形化的方式進行統(tǒng)計和展現(xiàn)。 建立了多少條清洗數(shù)據(jù)的規(guī)則，清洗了多少類數(shù)據(jù)，是否應該用圖表展示出來。 發(fā)現(xiàn)了多少條問題數(shù)據(jù)，處理了多少條問題數(shù)據(jù)，是否應該有一個不斷更新的統(tǒng)計數(shù)字來表示。 數(shù)據(jù)質(zhì)量問題逐月減少的趨勢，是否應該用趨勢圖展現(xiàn)出來。 數(shù)據(jù)質(zhì)量問題根據(jù)部門、系統(tǒng)的排名，是否應該加在數(shù)據(jù)質(zhì)量報告中，提供給決策層，幫助客戶進行績效考核。 數(shù)據(jù)分析、報表等應用，因為數(shù)據(jù)問題而必須回溯來源和加工過程的次數(shù)，是否應該統(tǒng)計逐月下降的趨勢；之前的回溯方式，和現(xiàn)在通過血緣管理更清楚地定位問題數(shù)據(jù)產(chǎn)生的環(huán)節(jié)，這兩者之間進行對比，節(jié)省了客戶多少時間和精力，是否應該有一個公平的評估，并提交給客戶。 用戶之前找數(shù)據(jù)平均使用的時間，現(xiàn)在找數(shù)據(jù)平均需要的時間，是否能通過訪談的方式得到公平的結(jié)論，提交給客戶。 …… 以上這些都是提升數(shù)據(jù)治理存在感的手段。除了這些之外，時常組織交流和培訓，引導客戶認識到數(shù)據(jù)治理的重要性，讓客戶真正認識到數(shù)據(jù)治理工作對他們業(yè)務的促進作用，逐步轉(zhuǎn)移數(shù)據(jù)治理的能力給客戶等，這些都是平時需要注意的工作。 總結(jié)：傳統(tǒng)的數(shù)據(jù)治理工作不重視效果的呈現(xiàn)，我們做數(shù)據(jù)治理工作，一定要從需求開始，就想辦法讓客戶直觀地看到成果。 在激烈的市場競爭下，大數(shù)據(jù)廠商提出來數(shù)據(jù)治理的各種理念，有的提出覆蓋數(shù)據(jù)全生命周期的數(shù)據(jù)治理，有的提出以用戶為中心的自服務化數(shù)據(jù)治理，有的提出減少人工干預、節(jié)省成本的基于人工智能的自動化數(shù)據(jù)治理，在面對這些概念的時候，我們一方面要對數(shù)據(jù)現(xiàn)狀有清晰的認識，對數(shù)據(jù)治理的目標有明確的訴求，另一方面還要知道數(shù)據(jù)治理中各種常見的誤區(qū)，跨越這些陷阱，才能把數(shù)據(jù)治理工作真正落到實處，項目取得成效，做到數(shù)據(jù)更準確，數(shù)據(jù)更好取，數(shù)據(jù)更好用，真正地用數(shù)據(jù)提升業(yè)務水平。

03數(shù)據(jù)治理之元數(shù)據(jù)管理

從關(guān)于元數(shù)據(jù)的三個概念談起，講到元數(shù)據(jù)的分布范圍和如何獲取元數(shù)據(jù)，最后從幾個常見的應用出發(fā)，談談元數(shù)據(jù)的一些實際應用場景。

一、元數(shù)據(jù)到底是個啥？

元數(shù)據(jù)是一個相當抽象、不易理解的概念，所以第一個章節(jié)，我們先把元數(shù)據(jù)是什么搞懂。這一章節(jié)共提出三個概念。 1、元數(shù)據(jù)（Meta Data）是描述數(shù)據(jù)的數(shù)據(jù)。 這是元數(shù)據(jù)的標準定義，但這么說有些抽象，技術(shù)同學能聽懂，倘若聽眾缺乏相應的技術(shù)背景，可能當場就懵逼了。產(chǎn)生這個問題的根源其實是一個知識的詛咒：我們知道某件事情，向不了解的人描述時卻很難講清楚。

要破解這個詛咒，我們不妨借用一個比喻來描述元數(shù)據(jù)：元數(shù)據(jù)是數(shù)據(jù)的戶口本。讓我們想想一個人的戶口本是什么，是這個人的信息登記冊：上面有這個人的姓名，年齡，性別、身份證號碼，住址、原籍、何時從何地遷入等等，除了這些基本的描述信息之外，還有這個人和家人的血緣關(guān)系，比如說父子，兄妹等等。所有的這些信息加起來，構(gòu)成對這個人的全面描述。那么所有的這些信息，我們都可以稱之為這個人的元數(shù)據(jù)。 同樣的，如果我們要描述清楚一個實際的數(shù)據(jù)，以某張表為例，我們需要知道表名、表別名、表的所有者、數(shù)據(jù)存儲的物理位置、主鍵、索引、表中有哪些字段、這張表與其他表之間的關(guān)系等等。所有的這些信息加起來，就是這張表的元數(shù)據(jù)。 這么一類比，我們對元數(shù)據(jù)的概念可能就清楚很多了：元數(shù)據(jù)是數(shù)據(jù)的戶口本。 2、元數(shù)據(jù)管理，是數(shù)據(jù)治理的核心和基礎(chǔ)。 為什么我們說元數(shù)據(jù)管理是數(shù)據(jù)治理的核心和基礎(chǔ)？為什么在做數(shù)據(jù)治理的時候要先做元數(shù)據(jù)管理？它的地位為何如此特殊？ 讓我們想象一下，一位將軍要去打仗，他必不可少，必須要掌握的信息是什么？對，是戰(zhàn)場的地圖。很難相信手里沒有軍事地圖的一位將軍能打勝仗。而元數(shù)據(jù)就相當于是所有數(shù)據(jù)的一張地圖。 在這張關(guān)于數(shù)據(jù)的地圖中，我們可以知道： 我們有哪些數(shù)據(jù)？ 數(shù)據(jù)分布在哪里？ 這些數(shù)據(jù)分別是什么類型？ 數(shù)據(jù)之間有什么關(guān)系？ 哪些數(shù)據(jù)經(jīng)常被引用？哪些數(shù)據(jù)無人光顧？ …… 所有的這些信息，都可以從元數(shù)據(jù)中找到。如果我們要做數(shù)據(jù)治理，但是手里卻沒有掌握這張地圖，做數(shù)據(jù)治理就猶如是瞎子摸象。后續(xù)的文章中我們要講到的數(shù)據(jù)資產(chǎn)管理，知識圖譜，其實它們大部分也是建立在元數(shù)據(jù)之上的。所以我們說：元數(shù)據(jù)是一個組織內(nèi)的數(shù)據(jù)地圖，它是數(shù)據(jù)治理的核心和基礎(chǔ)。 3、元數(shù)據(jù)是描述數(shù)據(jù)的數(shù)據(jù)，那么有沒有描述元數(shù)據(jù)的數(shù)據(jù)？ 有。描述元數(shù)據(jù)的數(shù)據(jù)叫元模型(Meta Model)。元模型、元數(shù)據(jù)、數(shù)據(jù)之間的關(guān)系，可以用下面這張圖來描述。

對于元模型的概念，我們不做深入的討論。我們只需要知道下面這些： 元數(shù)據(jù)本身的數(shù)據(jù)結(jié)構(gòu)也是需要被定義和規(guī)范的，定義和規(guī)范元數(shù)據(jù)的就是元模型，國際上元模型的標準是CWM(Common Warehouse Metamodel，公共倉庫元模型)，一個成熟的元數(shù)據(jù)管理工具，需要支持CWM標準。

二、元數(shù)據(jù)是從哪里來的？

在大數(shù)據(jù)平臺中，元數(shù)據(jù)貫穿大數(shù)據(jù)平臺數(shù)據(jù)流動的全過程，主要包括數(shù)據(jù)源元數(shù)據(jù)、數(shù)據(jù)加工處理過程元數(shù)據(jù)、數(shù)據(jù)主題庫專題庫元數(shù)據(jù)、服務層元數(shù)據(jù)、應用層元數(shù)據(jù)等。下圖以一個數(shù)據(jù)中心為例，展示了元數(shù)據(jù)的分布范圍：

業(yè)內(nèi)通常把元數(shù)據(jù)分為以下類型： 技術(shù)元數(shù)據(jù)：庫表結(jié)構(gòu)、字段約束、數(shù)據(jù)模型、ETL程序、SQL程序等。 業(yè)務元數(shù)據(jù)：業(yè)務指標、業(yè)務代碼、業(yè)務術(shù)語等。 管理元數(shù)據(jù)：數(shù)據(jù)所有者、數(shù)據(jù)質(zhì)量定責、數(shù)據(jù)安全等級等。 元數(shù)據(jù)采集是指獲取數(shù)據(jù)生命周期中的元數(shù)據(jù)，對元數(shù)據(jù)進行組織，然后將元數(shù)據(jù)寫入數(shù)據(jù)庫中的過程。 要獲取到元數(shù)據(jù)，需要采取多種方式，在采集方式上，使用包括數(shù)據(jù)庫直連、接口、日志文件等技術(shù)手段，對結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)字典、非結(jié)構(gòu)化數(shù)據(jù)的元數(shù)據(jù)信息、業(yè)務指標、代碼、數(shù)據(jù)加工過程等元數(shù)據(jù)信息進行自動化和手動采集。 元數(shù)據(jù)采集完成后，被組織成符合CWM模型的結(jié)構(gòu)，存儲在關(guān)系型數(shù)據(jù)庫中。

三、有了元數(shù)據(jù)，我們能做些什么？

這一章節(jié)我們主要講元數(shù)據(jù)的幾個典型的應用。 先看一張元數(shù)據(jù)管理的整體功能架構(gòu)圖，有了元數(shù)據(jù)，我們能做些什么，從這張圖里一目了然：

1.元數(shù)據(jù)查看 一般是以樹形結(jié)構(gòu)組織元數(shù)據(jù)，按不同類型對元數(shù)據(jù)進行瀏覽和檢索。如我們可以瀏覽表的結(jié)構(gòu)、字段信息、數(shù)據(jù)模型、指標信息等。通過合理的權(quán)限分配，元數(shù)據(jù)查看可以大大提升信息在組織內(nèi)的共享。 2.數(shù)據(jù)血緣和影響性分析 數(shù)據(jù)血緣和影響性分析主要解決“數(shù)據(jù)之間有什么關(guān)系”的問題。因其重要價值，有的廠商會從元數(shù)據(jù)管理中單獨提取出來，作為一個獨立的重要功能。但是筆者考慮到數(shù)據(jù)血緣和影響性分析其實是來自于元數(shù)據(jù)信息，所以還是放在元數(shù)據(jù)管理中來描述。 血緣分析指的是取到數(shù)據(jù)的血緣關(guān)系，以歷史事實的方式記錄數(shù)據(jù)的來源，處理過程等。 以某張表的血緣關(guān)系為例，血緣分析展示如下信息：

數(shù)據(jù)血緣分析對于用戶具有重要的價值，如：當在數(shù)據(jù)分析中發(fā)現(xiàn)問題數(shù)據(jù)的時候，可以依賴血緣關(guān)系，追根溯源，快速地定位到問題數(shù)據(jù)的來源和加工流程，減少分析的時間和難度。 數(shù)據(jù)血緣分析的典型應用場景：某業(yè)務人員發(fā)現(xiàn)“月度營銷分析”報表數(shù)據(jù)存在質(zhì)量問題，于是向IT部門提出異議，技術(shù)人員通過元數(shù)據(jù)血緣分析發(fā)現(xiàn)“月度營銷分析”報表受到上游FDM層四張不同的數(shù)據(jù)表的影響，從而快速定位問題的源頭，低成本地解決問題。 除了血緣分析之外，還有一種影響性分析，它能分析出數(shù)據(jù)的下游流向。當系統(tǒng)進行升級改造的時候，如果修改了數(shù)據(jù)結(jié)構(gòu)、ETL程序等元數(shù)據(jù)信息，依賴數(shù)據(jù)的影響性分析，可以快速定位出元數(shù)據(jù)修改會影響到哪些下游系統(tǒng)，從而減少系統(tǒng)升級改造帶來的風險。從上面的描述可以知道：數(shù)據(jù)影響性分析和血緣分析正好相反，血緣分析指向數(shù)據(jù)的上游來源，影響性分析指向數(shù)據(jù)的下游。 影響性分析的典型應用場景：某機構(gòu)因業(yè)務系統(tǒng)升級，在“FINAL_ZENT ”表中修改了字段：TRADE_ACCORD長度由8修改為64，需要分析本次升級對后續(xù)相關(guān)系統(tǒng)的影響。對元數(shù)據(jù)“FINAL_ZENT”進行影響性分析，發(fā)現(xiàn)對下游DW層相關(guān)的表和ETL程序都有影響，IT部門定位到影響之后，及時修改下游的相應程序和表結(jié)構(gòu)，避免了問題的發(fā)生。由此可見，數(shù)據(jù)的影響性分析有利于快速鎖定元數(shù)據(jù)變更帶來的影響，將可能發(fā)生的問題提前消滅在萌芽之中。 3.數(shù)據(jù)冷熱度分析 冷熱度分析主要是對數(shù)據(jù)表的被使用情況進行統(tǒng)計，如：表與ETL程序、表與分析應用、表與其他表的關(guān)系情況等，從訪問頻次和業(yè)務需求角度出發(fā)，進行數(shù)據(jù)冷熱度分析，用圖表的方式，展現(xiàn)表的重要性指數(shù)。 數(shù)據(jù)的冷熱度分析對于用戶有巨大的價值，典型應用場景：我們觀察到某些數(shù)據(jù)資源處于長期閑置，沒有被任何應用調(diào)用，也沒有別的程序去使用的狀態(tài)，這時候，用戶就可以參考數(shù)據(jù)的冷熱度報告，結(jié)合人工分析，對冷熱度不同的數(shù)據(jù)做分層存儲，以更好地利用HDFS資源，或者評估是否對失去價值的這部分數(shù)據(jù)做下線處理，以節(jié)省數(shù)據(jù)存儲空間。 4.數(shù)據(jù)資產(chǎn)地圖 通過對元數(shù)據(jù)的加工，可以形成數(shù)據(jù)資產(chǎn)地圖等應用。數(shù)據(jù)資產(chǎn)地圖一般用于在宏觀層面組織信息，以全局視角對信息進行歸并、整理，展現(xiàn)數(shù)據(jù)量、數(shù)據(jù)變化情況、數(shù)據(jù)存儲情況、整體數(shù)據(jù)質(zhì)量等信息，為數(shù)據(jù)管理部門和決策者提供參考。 5.元數(shù)據(jù)管理的其他應用 元數(shù)據(jù)管理中還有其他一些重要功能，如： 元數(shù)據(jù)變更管理。對元數(shù)據(jù)的變更歷史進行查詢，對變更前后的版本進行比對等等。 元數(shù)據(jù)對比分析。對相似的元數(shù)據(jù)進行比對。 元數(shù)據(jù)統(tǒng)計分析。用于統(tǒng)計各類元數(shù)據(jù)的數(shù)量，如各類數(shù)據(jù)的種類，數(shù)量等，方便用戶掌握元數(shù)據(jù)的匯總信息。 諸如此類的應用，限于篇幅，不一一列舉。 四、總結(jié) 元數(shù)據(jù)就相當于是數(shù)據(jù)的戶口本和地圖，是數(shù)據(jù)治理的核心和基礎(chǔ)。 元數(shù)據(jù)產(chǎn)生于從數(shù)據(jù)生產(chǎn)、數(shù)據(jù)接入、數(shù)據(jù)加工、數(shù)據(jù)服務到數(shù)據(jù)應用的各個環(huán)節(jié)，整體上可以分為三類：技術(shù)元數(shù)據(jù)、業(yè)務元數(shù)據(jù)和管理元數(shù)據(jù)。 元數(shù)據(jù)采集入庫后，可以產(chǎn)生冷熱度分析、血緣關(guān)系分析、影響性分析，數(shù)據(jù)資產(chǎn)地圖等應用。元數(shù)據(jù)管理可以讓數(shù)據(jù)被描述得更加清晰，更容易被理解，被追溯，更容易評估其價值和影響力。元數(shù)據(jù)管理還可以大大促進信息在組織內(nèi)外的共享。

04數(shù)據(jù)治理之數(shù)據(jù)質(zhì)量管理

數(shù)據(jù)治理的理論和實踐不斷向前發(fā)展，但數(shù)據(jù)質(zhì)量管理始終是數(shù)據(jù)治理的初衷，也是最重要的目的。下面從數(shù)據(jù)質(zhì)量管理的目標，質(zhì)量問題產(chǎn)生的根源，質(zhì)量評估標準，質(zhì)量管理流程，質(zhì)量管理的取與舍幾個方面進行闡述。

一、數(shù)據(jù)質(zhì)量管理的目標

數(shù)據(jù)質(zhì)量管理主要解決“數(shù)據(jù)質(zhì)量現(xiàn)狀如何，誰來改進，如何提高，怎樣考核”的問題。 為什么這篇文章的標題中有“不忘初心方得始終”這幾個字呢。因為最開始的關(guān)系型數(shù)據(jù)庫時代，做數(shù)據(jù)治理最主要的目的，就是為了提升數(shù)據(jù)質(zhì)量，讓報表、分析、應用更加準確。時至今日，雖然數(shù)據(jù)治理的范疇擴大了很多，我們開始講數(shù)據(jù)資產(chǎn)管理、知識圖譜、自動化的數(shù)據(jù)治理等等概念，但是提升數(shù)據(jù)的質(zhì)量，依然是數(shù)據(jù)治理最重要的目標之一。 為什么數(shù)據(jù)質(zhì)量問題如此重要？ 因為數(shù)據(jù)要能發(fā)揮其價值，關(guān)鍵在于其數(shù)據(jù)的質(zhì)量的高低，高質(zhì)量的數(shù)據(jù)是一切數(shù)據(jù)應用的基礎(chǔ)。 如果一個組織根據(jù)劣質(zhì)的數(shù)據(jù)分析業(yè)務、進行決策，那還不如沒有數(shù)據(jù)，因為通過錯誤的數(shù)據(jù)分析出的結(jié)果往往會帶來“精確的誤導”，對于任何組織來說，這種“精確誤導”都無異于一場災難。 根據(jù)統(tǒng)計，數(shù)據(jù)科學家和數(shù)據(jù)分析員每天有30%的時間浪費在了辨別數(shù)據(jù)是否是“壞數(shù)據(jù)”上，在數(shù)據(jù)質(zhì)量不高的環(huán)境下，做數(shù)據(jù)分析可謂是戰(zhàn)戰(zhàn)兢兢?？梢姅?shù)據(jù)質(zhì)量問題已經(jīng)嚴重影響了組織業(yè)務的正常運營。通過科學的數(shù)據(jù)質(zhì)量管理，持續(xù)地提升數(shù)據(jù)質(zhì)量，已經(jīng)成為組織內(nèi)刻不容緩的優(yōu)先任務。

二、數(shù)據(jù)質(zhì)量問題產(chǎn)生的根源

做數(shù)據(jù)質(zhì)量管理，首先要搞清楚數(shù)據(jù)質(zhì)量問題產(chǎn)生的原因。原因有多方面，比如在技術(shù)、管理、流程方面都會碰到。但從根本上來時，數(shù)據(jù)質(zhì)量問題產(chǎn)生的大部分原因在于業(yè)務上，也就是管理不善。許多表面上的技術(shù)問題，深究下去，其實還是業(yè)務問題。 筆者在給客戶做數(shù)據(jù)治理咨詢的時候，發(fā)現(xiàn)很多客戶認識不到數(shù)據(jù)質(zhì)量問題產(chǎn)生的根本原因，局限于只想從技術(shù)角度來解決問題，希望通過購買某個工具就能解決質(zhì)量問題，這當然達不到理想的效果。經(jīng)過和客戶交流以及雙方共同分析之后，大部分組織都能認識到數(shù)據(jù)質(zhì)量問題產(chǎn)生的真正根源，從而開始從業(yè)務著手解決數(shù)據(jù)質(zhì)量問題了。 從業(yè)務角度著手解決數(shù)據(jù)質(zhì)量問題，重要的是建立一套科學、可行的數(shù)據(jù)質(zhì)量評估標準和管理流程。

三、數(shù)據(jù)質(zhì)量評估的標準

當我們談到數(shù)據(jù)質(zhì)量管理的時候，我們必須要有一個數(shù)據(jù)質(zhì)量評估的標準，有了這個標準，我們才能知道如何評估數(shù)據(jù)的質(zhì)量，才能把數(shù)據(jù)質(zhì)量量化，并知道改進的方向，比較改進后的效果。 目前業(yè)內(nèi)認可的數(shù)據(jù)質(zhì)量的標準有：

準確性: 描述數(shù)據(jù)是否與其對應的客觀實體的特征相一致。

完整性: 描述數(shù)據(jù)是否存在缺失記錄或缺失字段。

一致性: 描述同一實體的同一屬性的值在不同的系統(tǒng)是否一致。

有效性: 描述數(shù)據(jù)是否滿足用戶定義的條件或在一定的域值范圍內(nèi)。

唯一性: 描述數(shù)據(jù)是否存在重復記錄。

及時性: 描述數(shù)據(jù)的產(chǎn)生和供應是否及時。

穩(wěn)定性: 描述數(shù)據(jù)的波動是否是穩(wěn)定的，是否在其有效范圍內(nèi)。

以上數(shù)據(jù)質(zhì)量標準只是一些通用的規(guī)則，這些標準是可以根據(jù)數(shù)據(jù)的實際情況和業(yè)務要求進行擴展的，如交叉表校驗等。

四、數(shù)據(jù)質(zhì)量管理的流程

要提升數(shù)據(jù)質(zhì)量，需要以問題數(shù)據(jù)為切入點，注重問題的分析、解決、跟蹤、持續(xù)優(yōu)化、知識積累，形成數(shù)據(jù)質(zhì)量持續(xù)提升的閉環(huán)。 首先需要梳理和分析數(shù)據(jù)質(zhì)量問題，摸清楚數(shù)據(jù)質(zhì)量的現(xiàn)狀；然后針對不同的質(zhì)量問題選擇適合的解決辦法，制定出詳細的解決方案；接著是問題的認責，追蹤方案執(zhí)行的效果，監(jiān)督檢查，持續(xù)優(yōu)化；最后形成數(shù)據(jù)質(zhì)量問題解決的知識庫，以供后來者參考。上述步驟不斷迭代，形成數(shù)據(jù)質(zhì)量管理的閉環(huán)。 很顯然，要管理好數(shù)據(jù)質(zhì)量，僅有工具支撐是遠遠不夠的，必須要組織架構(gòu)、制度流程參與進來，做到數(shù)據(jù)的認責，數(shù)據(jù)的追責。

五、數(shù)據(jù)質(zhì)量管理的取與舍

企業(yè)也好，政府也好，從來不是生活在真空之中，而是被社會緊緊地包裹。解決任何棘手的問題，都必須考慮到社會因素的影響，做適當?shù)娜∩帷?第一個取舍：數(shù)據(jù)質(zhì)量管理流程。前面講到的數(shù)據(jù)質(zhì)量管理流程，是一個相對理想的狀態(tài)，但是不同的組織內(nèi)部，其實施的力度都是不同的，以數(shù)據(jù)追責為例：在企業(yè)內(nèi)部推行還具有一定的可行性，但是在政府就很難適用。因為政府部門的大數(shù)據(jù)項目，牽頭單位無論是誰，很可能沒有相關(guān)的權(quán)限。 舉個例子：你很難想像市經(jīng)信委去跟市政府辦公廳進行數(shù)據(jù)質(zhì)量的問責。這與數(shù)據(jù)治理的建設方在整個大的組織體系中的話語權(quán)有很大的關(guān)系。這就是我們做數(shù)據(jù)治理必須接受的現(xiàn)實。遇到這種問題，我們只能迂回地做些事情，盡量彌補某個環(huán)節(jié)缺失帶來的不利影響，比如和數(shù)據(jù)提供方一起建立起數(shù)據(jù)清洗的規(guī)則，對來源數(shù)據(jù)做清洗，盡量達到可用的標準。 第二個取舍：不同時間維度上的數(shù)據(jù)采取不同的處理方式。從時間維度上劃分，數(shù)據(jù)主要有三類：未來數(shù)據(jù)、當前數(shù)據(jù)、歷史數(shù)據(jù)。在解決不同種類的數(shù)據(jù)質(zhì)量問題時，需要考慮取舍之道，采取不同的處理方式。

歷史數(shù)據(jù)

當你拿著一堆歷史問題數(shù)據(jù)，找信息系統(tǒng)的負責人給你整改，對方通常不會給你好臉色看，可能會以“當前的數(shù)據(jù)問題都處理不過來，哪有時間給你處理歷史數(shù)據(jù)的問題”為理由，拒你以千里之外。這時候你即便是找領(lǐng)導協(xié)調(diào)，一般也起不到太大的作用，因為這確實是現(xiàn)實情況：一個組織的歷史數(shù)據(jù)通常是經(jīng)年累月的積累，已經(jīng)是海量的規(guī)模，很難一一處理。 那么難道就沒有更好的辦法了嗎？——對于歷史數(shù)據(jù)問題的處理，我們可以發(fā)揮技術(shù)人員的優(yōu)勢，用數(shù)據(jù)清洗的辦法來解決，對于實在清洗不了的，我們要讓決策者判斷投入和產(chǎn)出的效益比，結(jié)果往往是需要接受這種現(xiàn)狀。 從另一個角度來看：數(shù)據(jù)的新鮮度不同，其價值往往也有所區(qū)分。一般來說，歷史數(shù)據(jù)的時間越久遠，其價值越低。所以，我們不應該把最重要的資源放在歷史數(shù)據(jù)質(zhì)量的提升上，而是應該更多地著眼于當前產(chǎn)生和未來即將產(chǎn)生的數(shù)據(jù)。 2.當前數(shù)據(jù) 當前數(shù)據(jù)的問題，需要從我們通過前面第四個章節(jié)講過的梳理和發(fā)現(xiàn)問題，分析問題，解決問題，問題認責、跟蹤和評估等幾個流程環(huán)節(jié)來解決，管理過程中必須嚴格遵循流程，避免臟數(shù)據(jù)繼續(xù)流到數(shù)據(jù)分析和應用環(huán)節(jié)。 3.未來數(shù)據(jù) 管理未來的數(shù)據(jù)，一定要從數(shù)據(jù)規(guī)劃開始，從整個組織信息化的角度出發(fā)，規(guī)劃組織統(tǒng)一的數(shù)據(jù)架構(gòu)，制定出統(tǒng)一的數(shù)據(jù)標準。借業(yè)務系統(tǒng)新建、改造或重建的時機，在創(chuàng)建物理模型、建表、ETL開發(fā)、數(shù)據(jù)服務、數(shù)據(jù)使用等各個環(huán)節(jié)遵循統(tǒng)一的數(shù)據(jù)標準，從根本上提升數(shù)據(jù)質(zhì)量。這也是最理想、效果最好的數(shù)據(jù)質(zhì)量管理模式。 這樣，通過對不同時期數(shù)據(jù)的不同處理方式，能做到事前預防、事中監(jiān)控、事后改善，從根本上解決數(shù)據(jù)質(zhì)量問題。

總結(jié)

提升數(shù)據(jù)質(zhì)量，是數(shù)據(jù)治理最重要的目標之一。做數(shù)據(jù)質(zhì)量管理，首先要弄清楚數(shù)據(jù)質(zhì)量問題產(chǎn)生的根源大部分在于業(yè)務管理出了問題。 其次，我們要根據(jù)組織架構(gòu)，建立一套數(shù)據(jù)質(zhì)量評估的標準和數(shù)據(jù)質(zhì)量管理的流程。 最后，在做數(shù)據(jù)質(zhì)量管理過程中，我們要充分考慮到現(xiàn)狀，對歷史數(shù)據(jù)、當前數(shù)據(jù)、未來數(shù)據(jù)分別制定不同的處理策略。

05數(shù)據(jù)治理之數(shù)據(jù)標準管理

一、大數(shù)據(jù)標準體系

根據(jù)全國信息技術(shù)標準化技術(shù)委員會大數(shù)據(jù)標準工作組制定的大數(shù)據(jù)標準體系，大數(shù)據(jù)的標準體系框架共由七個類別的標準組成，分別為：基礎(chǔ)標準、數(shù)據(jù)標準、技術(shù)標準、平臺和工具標準、管理標準、安全和隱私標準、行業(yè)應用標準。本文主要闡述其中的第二個類別：數(shù)據(jù)標準。

二、關(guān)于數(shù)據(jù)標準認識的幾個誤區(qū)

數(shù)據(jù)標準這個詞，最早是在金融行業(yè)，特別是銀行業(yè)的數(shù)據(jù)治理中開始使用的。數(shù)據(jù)標準工作一直是數(shù)據(jù)治理中的基礎(chǔ)性重要內(nèi)容。但是對于數(shù)據(jù)標準，不同的人卻有不同的看法： 有人認為數(shù)據(jù)標準極其重要，只要制定好了數(shù)據(jù)標準，所有數(shù)據(jù)相關(guān)的工作依標進行，數(shù)據(jù)治理大部分目標就水到渠成了。 也有人認為數(shù)據(jù)標準幾乎沒什么用，做了大量的梳理，建設了一整套全面的標準，最后還不是被束之高閣，被人遺忘，幾乎沒有發(fā)揮任何作用。 首先亮明作者的觀點：這兩種看法都是不對的，至少是片面的。實際上，數(shù)據(jù)標準工作是一項復雜的，涉及面廣的，系統(tǒng)性的，長期性的工作。它既不能快速地發(fā)揮作用，迅速解決掉數(shù)據(jù)治理中的大部分問題，同時也肯定不是完全沒有作用，最后只剩下一堆文檔——如果數(shù)據(jù)標準工作的結(jié)局真是如此，那只能說明這項工作沒有做好，沒有落到實處。本文主要的目的，就是分析為什么會出現(xiàn)這種情況，以及如何應對。而首先需要做的是厘清數(shù)據(jù)標準的定義。

三、數(shù)據(jù)標準的定義

何為數(shù)據(jù)標準，各相關(guān)組織并沒有統(tǒng)一的，各方都認可的定義。結(jié)合各家對數(shù)據(jù)標準的闡述，從數(shù)據(jù)治理的角度出發(fā)，我嘗試著給數(shù)據(jù)標準做一個定義：數(shù)據(jù)標準是對數(shù)據(jù)的表達、格式及定義的一致約定，包含數(shù)據(jù)業(yè)務屬性、技術(shù)屬性和管理屬性的統(tǒng)一定義；數(shù)據(jù)標準的目的，是為了使組織內(nèi)外部使用和交換的數(shù)據(jù)是一致的，準確的。

四、如何制定數(shù)據(jù)標準

一般來說，對于政府，會有國家或地方政府發(fā)文的數(shù)據(jù)標準管理辦法，其中會詳細規(guī)定相關(guān)的數(shù)據(jù)標準。所以在此主要講企業(yè)如何制定數(shù)據(jù)標準。 企業(yè)的數(shù)據(jù)標準來源非常豐富，有外部的監(jiān)管要求，行業(yè)的通用標準，同時也必須考慮到企業(yè)內(nèi)部數(shù)據(jù)的實際情況，梳理其中的業(yè)務指標、數(shù)據(jù)項、代碼等，將以上的所有的來源都納入數(shù)據(jù)標準是沒有必要的，數(shù)據(jù)標準的范圍應該主要集中在企業(yè)業(yè)務最核心的數(shù)據(jù)部分，有的企業(yè)也稱作關(guān)鍵業(yè)務數(shù)據(jù)或核心數(shù)據(jù)，只要制定出這些核心數(shù)據(jù)的標準，就能夠支撐企業(yè)數(shù)據(jù)質(zhì)量、主數(shù)據(jù)管理、數(shù)據(jù)分析等需要。

五、數(shù)據(jù)標準化的難題

數(shù)據(jù)標準好制定，但是數(shù)據(jù)標準落地相對就困難多了。國內(nèi)的數(shù)據(jù)標準化工作發(fā)展了那么多年，各個行業(yè)，各個組織都在建設自己的數(shù)據(jù)標準，但是你很少聽到哪個組織大張旗鼓地宣傳自己的數(shù)據(jù)標準工作多么出色，換句話說，做數(shù)據(jù)標準取得顯著效果的案例并不多。為什么會出現(xiàn)這種情況，主要有兩個原因： 一是制定的數(shù)據(jù)標準本身有問題。有些標準一味地追求先進，向行業(yè)領(lǐng)先看齊，標準大而全，脫離實際的數(shù)據(jù)情況，導致很難落地。 第二個原因，是標準化推進過程中出了問題。這是我們重點闡述的原因，主要有以下幾種情況：

對建設數(shù)據(jù)標準的目的不明確。某些組織建設數(shù)據(jù)標準，其目的不是為了指導信息系統(tǒng)建設，提高數(shù)據(jù)質(zhì)量，更容易地處理和交換數(shù)據(jù)，而是應付監(jiān)管機構(gòu)檢查，因此需要的就是一堆標準文件和制度文件，根本就沒有執(zhí)行的計劃。

過分依賴咨詢公司。一些組織沒有建設數(shù)據(jù)標準的能力，因此請咨詢公司來幫忙規(guī)劃和執(zhí)行。一旦咨詢公司撤離，組織依然缺乏將這些標準落地的能力和條件。

對數(shù)據(jù)標準化的難度估計不足。很多公司上來就說要做數(shù)據(jù)標準，卻不知道數(shù)據(jù)標準的范圍很大，很難以一個項目的方式都做完，而是一個持續(xù)化推進的長期過程，結(jié)果是客戶越做遇到的阻力越大，困難越多，最后自己都沒有信心了，轉(zhuǎn)而把前期梳理的一堆成果束之高閣，這是最普遍的問題。

缺乏落地的制度和流程規(guī)劃。數(shù)據(jù)標準的落地，需要多個系統(tǒng)、部門的配合才能完成。如果只梳理出數(shù)據(jù)標準，但是沒有規(guī)劃如何落地的具體方案，缺乏技術(shù)、業(yè)務部門、系統(tǒng)開發(fā)商的支持，尤其是缺乏領(lǐng)導層的支持，是無論如何也不可能落地的。

組織管理水平的不足：數(shù)據(jù)標準落地的長期性、復雜性、系統(tǒng)性的特點，決定了推動落地的組織機構(gòu)的管理能力必須保持在很高的水平線上，且架構(gòu)必須持續(xù)穩(wěn)定，才能有序地不斷推進。以上這些原因，導致數(shù)據(jù)標準化工作很難開展，更難取得較好的成效。數(shù)據(jù)標準化難落地，是數(shù)據(jù)治理行業(yè)的現(xiàn)狀，不容回避。

六、如何應對這些難題

應對以上這些難題，最經(jīng)濟、最理想的模式當然是：做大數(shù)據(jù)建設，首先做標準，再做大數(shù)據(jù)平臺，數(shù)據(jù)倉庫等。但一般的不大可能有這樣的認識，很多時候大家都是先建設再治理。先把信息系統(tǒng)、數(shù)據(jù)中心建好，然后標準有問題，質(zhì)量不高，再建數(shù)據(jù)標準，但實際上這時候已經(jīng)是回過頭來做一些亡羊補牢的事情，客戶的投資肯定有一部分是浪費。 正因為其太過理想化，所以這種模式幾乎是見不到的。在實踐中，我們往往還是需要更多地考慮如何把數(shù)據(jù)標準落地到已有的系統(tǒng)和大數(shù)據(jù)平臺中。 數(shù)據(jù)標準落地有三種形式：

源系統(tǒng)改造：對源系統(tǒng)的改造是數(shù)據(jù)標準落地最直接的方式，有助于控制未來數(shù)據(jù)的質(zhì)量，但工作量與難度都較高，現(xiàn)實中往往不會選擇這種方式，例如有客戶編號這個字段，涉及多個系統(tǒng)，范圍廣、重要程度高、影響大，一旦修改該字段，會涉及到相關(guān)的系統(tǒng)都需要修改。但是也不是完全不可行，可以借系統(tǒng)改造，重新上線的機會，對相關(guān)源系統(tǒng)的數(shù)據(jù)進行部分的對標落地。

數(shù)據(jù)中心落地：根據(jù)數(shù)據(jù)標準要求建設數(shù)據(jù)中心（或數(shù)據(jù)倉庫），源系統(tǒng)數(shù)據(jù)與數(shù)據(jù)中心做好映射，保證傳輸?shù)綌?shù)據(jù)中心的數(shù)據(jù)為標準化后的數(shù)據(jù)。這種方式的可行性較高，是絕大多數(shù)組織的選擇。

數(shù)據(jù)接口標準化：對已有的系統(tǒng)間的數(shù)據(jù)傳輸接口進行改造，讓數(shù)據(jù)在系統(tǒng)間進行傳輸?shù)臅r候，全部遵循數(shù)據(jù)標準。這也是一種可行的方法。

在數(shù)據(jù)標準落地的過程中，需要做好6件事情，如下圖所示：

事先確定好落地的范圍：哪些數(shù)據(jù)標準需要落地，涉及到哪些IT系統(tǒng)，都是需要事先考慮好的。

事先做好差異分析：現(xiàn)有的數(shù)據(jù)和數(shù)據(jù)標準之間，究竟存在哪些差異，這些差異有多大，做好差異性分析。

事先做好影響性分析：如果這些數(shù)據(jù)標準落地了，會對哪些相關(guān)下游戲廳產(chǎn)生什么樣的影響，這些影響是否可控。元數(shù)據(jù)管理中的影響性分析可以幫助用戶確定影響的范圍。

制定落地的執(zhí)行方案：執(zhí)行方案要側(cè)重于可落地性。不能落地的方案，最終只能被廢棄。一個可落地的方案，要有組織架構(gòu)和人員分工，每個人負責什么，如何考核，怎么監(jiān)管，都是必須納入執(zhí)行方案中的內(nèi)容。

具體地執(zhí)行落地方案：根據(jù)執(zhí)行方案，進行數(shù)據(jù)標準落地執(zhí)行。

事后評估：事后需要跟蹤、評估數(shù)據(jù)落地的效果如何，做對了哪些事，哪些做得不足，如何改進。

七、總結(jié)

數(shù)據(jù)標準的建設大致可以分成兩個階段： 1、梳理和制定數(shù)據(jù)標準。 2、數(shù)據(jù)標準的落地和實施。 其中后者是公認的難題。本文分析了其中的原因，提供了一些如何讓數(shù)據(jù)標準更快更好落地的方法。

審核編輯 ：李倩