來源：ST社區(qū)

IOTA架構是基于IOTA和AI時代背景下的大數據架構模式，其整體技術結構的核心是貫穿于整體業(yè)務始終的數據模型，具有提高整體的預算效率的作用。IOTA架構這一概念由易觀首次提出，并將其應用于最新研發(fā)的精細化運營工具中。

在之前文章中介紹過易觀提出的IOTA架構，相信很多同學已經對整體有了一個了解。本文將介紹IOTA架構下的數據采集。

在IOTA架構下，在當下終端設備計算能力普通較強的情況下，SDK不僅承載著以往的基礎功能，并且被賦予了邊緣計算的角色。例如在設備端就開始做數據完整性和有效性的校驗、將用戶行為轉化成為統(tǒng)一的數據模型，然后傳送給服務端。

一個穩(wěn)定的數據采集端需要有如下功能，存儲、回數、控制、保護。

存儲：數據存儲，校驗當前存儲數據合法性，及防止數據被第三方串改。

回數：數據上報，加密上報數據，防止被第三方截取，保證不受HOOK等影響，防止DNS污染等。

控制：控制發(fā)送策略，可以指定3G/4G/wifi 環(huán)境上傳，可以調整上報時間頻次、本地數據緩存規(guī)則全部可動態(tài)調整。

保護：有自保護機制。不要影響用戶的正常使用，減少因逆向導致的數據異常

顯而易見，普通的采集端都具有這些功能。作為IOTA架構下的采集端進行了哪些優(yōu)化呢？如下:

統(tǒng)一模型：在IOTA架構下從數據采集到數據接收以及數據處理都是用一套數據模型。例如對于用戶行為分析時會用到的模型中，我們可以抽象出以下幾個基本要素： 發(fā)生行為主體 （who），行為發(fā)生的時間(when), 行為的發(fā)生地點(where)，發(fā)送的事件(what)。在IOTA架構下也統(tǒng)稱為Common Data Model。

聚合：同樣的數據進行邊緣聚合計算，如某些用戶訪問路徑可以直接由采集端來完成，生成對應類似漏斗的事件。一般這個計算是服務器下發(fā)策略來動態(tài)控制的，當然也可以隨時做出調整，值得注意的是這是不可以逆的運算，并且這種模式只適用于適合間隔發(fā)送模式的數據。

校驗：數據的完整和有效性可以放到采集端處理，確保SDK給server的數據不是被修改的，產生的數據是合理的，這就要求采集端加入防作弊的功能。 這是一個成熟產品長期需要投入的項目，大部分公司的風控做的也有一部分這樣的工作。典型的案例如防止Xposed攔截，防止反編譯，防止二次打包。

實時：數據實時上報給服務器，這樣才能讓用戶感覺到零延遲，實時計算。如12306購票，要立即的進行查看結果，不能等得到次日才看到結果。同樣的帶來另一個問題，個人高頻上報、用戶高峰期大量用戶上報需要進行區(qū)分，兩者對收數服務器而言是一樣的，那這個時候就需要收數服務器和采集端進行通訊，動態(tài)控制。

高可控：高可控是對數據采集最基礎，也是最重要的一個要求。不然面對攻擊，服務器無法實時監(jiān)控，動態(tài)調整，立即處理，可能會導致服務器的短時間無法正常工作(如數據處理延遲，嚴重的乃至宕機)。

當然對于很多大數據架構中，數據采集端各不相同，這也是我們在支持大量用戶后的一個分享。

總的來說，IOTA架構下的數據采集有如下特點：采用統(tǒng)一的數據模型，支持邊緣計算、支持與服務器端動態(tài)交互的控制策略。這些已經在易觀的數據產品中廣泛使用，也歡迎大家試用易觀方舟、易觀千帆。

審核編輯 黃昊宇