編者按：在KDD 2017上，Google推出基于TensorFlow的可擴(kuò)展機(jī)器學(xué)習(xí)平臺TFX，主打管理數(shù)據(jù)、訓(xùn)練模型、模型評估和模型服務(wù)四塊內(nèi)容。而今天，TensorFlow宣布開源TXF的一個(gè)重要組件：“數(shù)據(jù)驗(yàn)證（tf.DataValidation）”，可幫助開發(fā)人員更好地認(rèn)識數(shù)據(jù)，并將其用于機(jī)器學(xué)習(xí)。

ML算法及其性能一直是學(xué)術(shù)界和工業(yè)界關(guān)注的一個(gè)重點(diǎn)，如果輸入數(shù)據(jù)有誤，所有的優(yōu)化工作就會(huì)付諸東流。在數(shù)據(jù)量較少的時(shí)候，理解和驗(yàn)證數(shù)據(jù)只是一項(xiàng)微不足道的任務(wù)，但是在實(shí)踐中，研究人員使用的數(shù)據(jù)量往往非常龐大，這就給手動(dòng)檢查造成了巨大壓力。因此，自動(dòng)化數(shù)據(jù)分析、驗(yàn)證和監(jiān)管是有必要的。

TFDV（數(shù)據(jù)驗(yàn)證）是TFX平臺的一部分，它也是Google每天用來分析和驗(yàn)證數(shù)PB數(shù)據(jù)的技術(shù)。鑒于此前它在數(shù)據(jù)糾錯(cuò)上一直有不錯(cuò)的表現(xiàn)，Google相信，TFDV也可以被用戶作為維持ML模型性能的一個(gè)好工具。

在設(shè)計(jì)TFDV的早期，Google就已經(jīng)考慮到了在筆記本電腦環(huán)境中使用它的需求，所以對于硬件要求，大家可以放寬心。

計(jì)算描述性數(shù)據(jù)統(tǒng)計(jì)

TFDV可以計(jì)算描述性統(tǒng)計(jì)數(shù)據(jù)，根據(jù)存在的特征和值分布的形狀快速概述數(shù)據(jù)。這些統(tǒng)計(jì)信息有助于開發(fā)人員調(diào)查和了解他們的數(shù)據(jù)，并據(jù)此推斷數(shù)據(jù)模式。

用TFDV計(jì)算統(tǒng)計(jì)信息：

stats = tfdv.generate_statistics_from_tfrecord(data_location=path)

可視化：

推斷數(shù)據(jù)模式

所謂數(shù)據(jù)模式，就是描述數(shù)據(jù)的預(yù)期性能，它可以包括：

預(yù)計(jì)將出現(xiàn)哪些特征

它們的類型

每個(gè)樣本中，一個(gè)特征有幾個(gè)值

所有樣本中，每個(gè)特征的出現(xiàn)幾率

特征的預(yù)期域

簡而言之，模式描述了對“正確”數(shù)據(jù)的期望，因此可被用于檢測數(shù)據(jù)中的錯(cuò)誤。但是在實(shí)踐中，編寫模式可能是非常繁瑣的，尤其是對于具有大量特征的數(shù)據(jù)集。TFDV提供了一種基于描述性統(tǒng)計(jì)信息，生成旨在反映數(shù)據(jù)穩(wěn)定特征的模式的方法：

＃根據(jù)統(tǒng)計(jì)信息推斷模式

schema = tfdv.infer_schema(train_stats)

＃以表格格式顯示內(nèi)聯(lián)模式

tfdv.display_schema(schema)

上圖是個(gè)簡單的可視化，列出了數(shù)據(jù)集中的每個(gè)特征以及它在編碼模式下的主要特征。

驗(yàn)證新數(shù)據(jù)

給定一個(gè)模式，TFDV可以根據(jù)模式中的期望驗(yàn)證一組新數(shù)據(jù)。

＃統(tǒng)計(jì)一組新數(shù)據(jù)

new_stats = tfdv.generate_statistics_from_csv(NEW_DATA)

＃比較新數(shù)據(jù)如何符合模式

anomalies = tfdv.validate_statistics(new_stats, schema)

＃顯示內(nèi)聯(lián)異常

tfdv.display_anomalies（異常）

上述異常報(bào)告了新數(shù)據(jù)和模式之間的差別

驗(yàn)證持續(xù)添加的數(shù)據(jù)

對于數(shù)據(jù)集中不斷增加的新數(shù)據(jù)，我們需要用原模式對它們進(jìn)行驗(yàn)證。但是，在常規(guī)設(shè)置中，這個(gè)模式每個(gè)一段時(shí)間都會(huì)維護(hù)一次，它基于統(tǒng)計(jì)信息，而統(tǒng)計(jì)信息又會(huì)受新加入的數(shù)據(jù)影響。因此，之前我們推斷的模式只是原始模式，它還必須要能隨著時(shí)間推移不斷變化。

用validate_statistics驗(yàn)證新添加的數(shù)據(jù)

如果想可視化不同數(shù)據(jù)集（不同日期的數(shù)據(jù)集）的統(tǒng)計(jì)數(shù)據(jù)，用visualize_statistics：

用Facets可視化兩組數(shù)據(jù)的比較，示例：DAY1、DAY2票價(jià)對比

TFDV還可以檢測連續(xù)版本訓(xùn)練數(shù)據(jù)之間的分布變化，這有助于對比連續(xù)版本數(shù)據(jù)集之間的統(tǒng)計(jì)信息，如果發(fā)現(xiàn)有刪改/添加的情況，應(yīng)及時(shí)在檢查數(shù)據(jù)異常時(shí)，更新信息。此外，TFDV還能檢查訓(xùn)練數(shù)據(jù)和服務(wù)系統(tǒng)觀察到的數(shù)據(jù)之間的特征值/分布差異，并用Facets可視化。

Github：github.com/tensorflow/data-validation