今天，推薦系統(tǒng)的模型和應(yīng)用已經(jīng)相當(dāng)成熟，然而部署一套全新的推薦系統(tǒng)，甚至僅在已有系統(tǒng)上添加數(shù)據(jù)維度和模型優(yōu)化依然是非常耗時(shí)耗力的事情。

這是由于不同數(shù)據(jù)源的分布不盡相同，要達(dá)到滿意的建模效果，每個(gè)建模的環(huán)節(jié)，包括數(shù)據(jù)處理、特征工程、模型的選擇和超參數(shù)選擇等都需要隨之變動(dòng)和優(yōu)化。

以往這些工作都是建模工程師通過(guò) A/B Test 和 Grid Search 等方式來(lái)手動(dòng)調(diào)試有限的幾種建模組合方式，并挑出最好的配置作為上線用的系統(tǒng)配置。

然而要想從少量的嘗試中找到優(yōu)質(zhì)的模型方案，不僅要求工程師有豐富的建模經(jīng)驗(yàn)，可能還需要一點(diǎn)點(diǎn)運(yùn)氣，成本和風(fēng)險(xiǎn)都比較高。

近幾年在機(jī)器學(xué)習(xí)領(lǐng)域興起的自動(dòng)機(jī)器學(xué)習(xí)（AutoML）技術(shù)，便是為了解決機(jī)器學(xué)習(xí)模型訓(xùn)練難，落地難這個(gè)痛點(diǎn)所做的努力。

我們同樣可以把 AutoML 技術(shù)應(yīng)用到推薦系統(tǒng)的建模中，這次分享主要介紹用哪些方法來(lái)打造一個(gè) AutoML 系統(tǒng)，并用于提升推薦系統(tǒng)的搭建效率。

如果我們看今天的機(jī)器學(xué)習(xí)應(yīng)用（以監(jiān)督學(xué)習(xí)為主），它大致可以分為傳統(tǒng)機(jī)器學(xué)習(xí)和深度學(xué)習(xí)兩大類。

傳統(tǒng)機(jī)器學(xué)習(xí)用的比較多的模型有 LR、Gradient Boosting Machine、Random Forest、KNN 等，模型本身比較簡(jiǎn)單和成熟，但是由于這些模型無(wú)法擬合非常復(fù)雜的非線性函數(shù)，我們需要通過(guò)特征工程把原問(wèn)題空間轉(zhuǎn)化到一個(gè)機(jī)器學(xué)習(xí)模型容易學(xué)的表述空間，才能得到好的效果。

相對(duì)傳統(tǒng)機(jī)器學(xué)習(xí)，近幾年興起的深度學(xué)習(xí)，由于其強(qiáng)大的模型表達(dá)能力，相對(duì)弱化了特征工程的重要性，具有端到端學(xué)習(xí)的能力。

尤其在處理圖像，文字和語(yǔ)音等非結(jié)構(gòu)化數(shù)據(jù)時(shí)，我們發(fā)現(xiàn)深度學(xué)習(xí)模型具有學(xué)習(xí)表述空間的能力（representation learning），從一定程度上實(shí)現(xiàn)了特征工程的自動(dòng)化。

由于傳統(tǒng)機(jī)器學(xué)習(xí)模型和深度學(xué)習(xí)模型在建模過(guò)程中側(cè)重點(diǎn)不同，AutoML 也大致分為自動(dòng)傳統(tǒng)機(jī)器學(xué)習(xí)和自動(dòng)深度學(xué)習(xí)（如圖 1）。

其中自動(dòng)傳統(tǒng)機(jī)器學(xué)習(xí)關(guān)注自動(dòng)數(shù)據(jù)預(yù)處理，自動(dòng)特征處理和自動(dòng)算法選擇和配置，而自動(dòng)深度學(xué)習(xí)則需要解決神經(jīng)網(wǎng)絡(luò)的自動(dòng)訓(xùn)練和網(wǎng)絡(luò)結(jié)構(gòu)搜索的問(wèn)題。我們下面就根據(jù)圖 1 來(lái)逐一探討 AutoML 的各個(gè)技術(shù)要點(diǎn)。

圖 1：自動(dòng)機(jī)器學(xué)習(xí)組成部分

1. 自動(dòng)傳統(tǒng)機(jī)器學(xué)習(xí)

當(dāng)我們有了用戶行為數(shù)據(jù)后，我們通常需要經(jīng)過(guò)數(shù)據(jù)清洗、數(shù)據(jù)預(yù)處理、特征工程、選擇模型、配置模型、融合模型等步驟來(lái)構(gòu)建一整個(gè)機(jī)器學(xué)習(xí)管道。

自動(dòng)機(jī)器學(xué)習(xí)需要盡可能的自動(dòng)化其中每個(gè)環(huán)節(jié)。除了數(shù)據(jù)清洗環(huán)節(jié)和數(shù)據(jù)本身耦合度很高，需要更多的人為操作以外，數(shù)據(jù)預(yù)處理和之后的步驟都已經(jīng)在自動(dòng)機(jī)器學(xué)習(xí)領(lǐng)域存在可行的方案。

1.1 數(shù)據(jù)預(yù)處理

由于模型對(duì)數(shù)據(jù)都存在一定假設(shè)，我們需要使用一些數(shù)據(jù)預(yù)處理的方法將進(jìn)入模型的數(shù)據(jù)處理成適合模型學(xué)習(xí)的分布。

比如神經(jīng)網(wǎng)絡(luò)模型需要輸入的數(shù)據(jù)符合正態(tài)分布，那么要對(duì)原始數(shù)據(jù)做歸一化處理；比如 Gradient Boosting Machine 不適合對(duì)類別數(shù)量非常高的離散特征建模，所以在前期要考慮刪除類別太多的離散特征。

在自動(dòng)機(jī)器學(xué)習(xí)中，選擇哪種數(shù)據(jù)預(yù)處理方式和模型息息相關(guān)，根據(jù)上面所述的經(jīng)驗(yàn)構(gòu)造一個(gè)固定模版，比如已知神經(jīng)網(wǎng)絡(luò)需要?dú)w一化處理，GBM 需要剔除高維離散特征，LR 模型需要線性分形等，把這些知識(shí) hard code 進(jìn) AutoML 系統(tǒng)中，可以用一種模型來(lái)學(xué)習(xí)最優(yōu)組合。

這里介紹兩個(gè)可行的方向：一是使用貝葉斯優(yōu)化的方法，通過(guò)嘗試，反饋，優(yōu)化這一循環(huán)的過(guò)程來(lái)找到各個(gè)模型對(duì)應(yīng)的最佳數(shù)據(jù)預(yù)處理方法，我們會(huì)在后面對(duì)貝葉斯優(yōu)化做更詳細(xì)介紹；

另一個(gè)方向是元學(xué)習(xí)，我們?cè)诤芏鄶?shù)據(jù)集上通過(guò)實(shí)驗(yàn)不同的預(yù)處理-模型組合，記錄下每個(gè)數(shù)據(jù)集上最優(yōu)的組合，當(dāng)在新數(shù)據(jù)集上開(kāi)始探索時(shí)，會(huì)首先計(jì)算數(shù)據(jù)集的元特征，并在元特征空間中找到幾個(gè)最相似的曾經(jīng)試驗(yàn)過(guò)的數(shù)據(jù)集，并借用它們的最優(yōu)預(yù)處理方案。

這兩個(gè)方向也可以結(jié)合起來(lái)，用元學(xué)習(xí)幫助熱啟動(dòng)，再使用貝葉斯優(yōu)化探索適合新任務(wù)的方案。

1.2 自動(dòng)特征處理

有人說(shuō)，世界上的數(shù)據(jù)科學(xué)家，平均花 80% 的時(shí)間做特征，20% 的時(shí)間建模型，我們?cè)诠ぷ髦幸惨庾R(shí)到特征工程無(wú)比的重要性。

因此在自動(dòng)機(jī)器學(xué)習(xí)系統(tǒng)中，特征也同樣是極其重要的環(huán)節(jié)。在這里討論一下特征組合，如何處理時(shí)序特征，使用變分自編碼器構(gòu)造特征等方法。

1.2.1 多粒度離散化

推薦系統(tǒng)常用的 LR 模型，在處理高維離散特征上非常強(qiáng)大，然而其簡(jiǎn)單的線性模型本質(zhì)使它對(duì)非線性的連續(xù)特征解釋效果較差，并且在連續(xù)值特征尺度變化較大時(shí)效果不穩(wěn)定。

分桶是一種常見(jiàn)的連續(xù)特征離散化方法，然而分桶數(shù)目對(duì)建模結(jié)果影響較大。因此我們使用第四范式自研的線性分形分類器（LFC）來(lái)解決這個(gè)問(wèn)題。

使用 LFC 我們可以讓模型從數(shù)據(jù)中自動(dòng)選取最合適的分桶方式，同時(shí) LFC 可以實(shí)現(xiàn)在特征粒度的離群點(diǎn)檢測(cè)，使得模型更為魯棒。通過(guò)這種技術(shù)，我們?cè)跇I(yè)務(wù)數(shù)據(jù)上都能相比 LR 提升一個(gè)百分點(diǎn)。

1.2.2 自動(dòng)特征組合

原始數(shù)據(jù)中有的隱藏的關(guān)系，機(jī)器學(xué)習(xí)模型并不容易學(xué)到，所以需要通過(guò)構(gòu)造特征把這些隱性關(guān)系表達(dá)出來(lái)。針對(duì)離散特征和連續(xù)特征分別介紹基于啟發(fā)式算法的自動(dòng)特征組合方法。

對(duì)于離散特征，由于簡(jiǎn)單的線性模型無(wú)法學(xué)到多個(gè)特征的交互，需要通過(guò)笛卡爾積來(lái)生成組合特征。

舉個(gè)例子，如果要給決定是否給用戶推薦一款很受年輕女性歡迎的化妝品，原始數(shù)據(jù)里只有年齡段和性別兩個(gè)字段，可以把年齡段_性別作為一個(gè)新的特征，模型便能很容易從歷史數(shù)據(jù)中學(xué)出這款化妝品推薦給年輕女性接受度很高。

如果把所有組合特征都生成出來(lái)，那么組合特征的個(gè)數(shù)是隨著階數(shù)呈指數(shù)性增長(zhǎng)的（搜索空間大于 AlphaGo），也就是我們很快就會(huì)產(chǎn)生出系統(tǒng)無(wú)法承受的數(shù)據(jù)量來(lái)。

針對(duì)這種情況，我們提出了一個(gè)自動(dòng)特征組合算法 FeatureGo，結(jié)合集束搜索（Beam Search）和回溯（Backtracking）策略，去逐步搜索特征空間。

另外，基于 Boosting 的思想，提出了一系列替換損失函數(shù)來(lái)高效的評(píng)估特征重要性。我們?cè)诘谒姆妒降拇笠?guī)模分布式機(jī)器學(xué)習(xí)平臺(tái) GDBT 實(shí)現(xiàn)了該算法，并依據(jù)實(shí)際應(yīng)用場(chǎng)景定制化開(kāi)發(fā)，能夠在短時(shí)間內(nèi)快速搜索到有效組合特征。我們發(fā)現(xiàn)在實(shí)際應(yīng)用中都可以得到可觀的效果提升，在所有實(shí)際應(yīng)用中得到了超過(guò) 5 個(gè)千分點(diǎn)的提升。

1.2.3 自動(dòng)時(shí)序特征

在業(yè)界的實(shí)際場(chǎng)景中，數(shù)據(jù)一般包含時(shí)序信息，因此需要考慮如何自動(dòng)構(gòu)建時(shí)序特征，然而時(shí)序特征對(duì)系統(tǒng)性能要求較高。為了去的更好的建模效果，也要求時(shí)序特征算子盡可能多以覆蓋各種情況。

基于 GDBT，我們實(shí)現(xiàn)了非常高效的自動(dòng)時(shí)序特征生成和選擇算子：TemporalGo，它包括時(shí)序統(tǒng)計(jì)信息、隱式向量等方法，也涵蓋如循環(huán)神經(jīng)網(wǎng)絡(luò) RNN 等方法，顯著提升了建模效果。

1.2.4 變分自編碼器 (VAE)

變分自編碼器（VAE）是一種基于神經(jīng)網(wǎng)絡(luò)的生成模型，其目標(biāo)是給定原始數(shù)據(jù)，VAE 經(jīng)過(guò)編碼和解碼后要盡可能地還原出原始數(shù)據(jù)。

可以把 VAE 用作一個(gè)基于模型的特征生成手段，而且經(jīng)過(guò) VAE 編碼后的數(shù)值分布會(huì)盡可能的接近正態(tài)分布，這樣的新特征可以直接給很多機(jī)器學(xué)習(xí)模型使用。

當(dāng)然訓(xùn)練 VAE 本身很耗時(shí)間，而且需要較大的數(shù)據(jù)量才可能有效果，在實(shí)際應(yīng)用當(dāng)中，優(yōu)先考慮其他特征工程方法。

1.3 模型選擇

在拿到一個(gè)問(wèn)題開(kāi)始建模之前，都會(huì)面臨一個(gè)問(wèn)題，用什么樣的模型？你可以很容易地根據(jù)自己的經(jīng)驗(yàn)，面對(duì)分類問(wèn)題還是回歸問(wèn)題，圖像還是表類數(shù)據(jù)，列出幾個(gè)候選模型，然后你可能會(huì)把候選模型用這個(gè)數(shù)據(jù)都訓(xùn)練一遍，并挑出那個(gè)驗(yàn)證效果最好的模型用在生產(chǎn)中。在自動(dòng)機(jī)器學(xué)習(xí)中，我們也會(huì)把模型選擇分成兩步。

首先，拿到一個(gè)新問(wèn)題時(shí)，我們獲得這個(gè)問(wèn)題的 meta 信息，比如數(shù)據(jù)是什么格式，數(shù)據(jù)量大小，訓(xùn)練指標(biāo)是什么等，通過(guò)查詢預(yù)先準(zhǔn)備的問(wèn)題映射到模型的查找表，找到適合這個(gè)問(wèn)題的幾款候選模型及相關(guān)超參數(shù)設(shè)置（或者超參數(shù)的搜索空間）。

接下來(lái)便是挑選效果好的模型。最樸素的做法是把所有可能的模型和超參數(shù)配置都訓(xùn)練一遍，挑出最好的模型即可，然而現(xiàn)實(shí)情況通常都有時(shí)間和計(jì)算資源的限制，導(dǎo)致我們無(wú)法訓(xùn)練所有可能的模型參數(shù)組合。

我們需要一個(gè)更加節(jié)省資源的方法，對(duì)于一個(gè)問(wèn)題，很多模型不一定需要到訓(xùn)練結(jié)束才能做出判斷哪個(gè)模型效果好或者差，可能在訓(xùn)練過(guò)程中我們通過(guò)觀測(cè)驗(yàn)證指標(biāo)，就能提前剔除一些效果太差的模型。

1.4 模型超參數(shù)優(yōu)化

一個(gè)模型在開(kāi)始訓(xùn)練前，可能需要人設(shè)置一些參數(shù)，比如 LR 有 L1、L2 正則系數(shù)用來(lái)控制模型過(guò)擬合，GBM 有樹(shù)棵樹(shù)，學(xué)習(xí)率等，這些參數(shù)配置的好壞會(huì)直接影響最終的模型效果，而且參數(shù)配置的好壞又和數(shù)據(jù)本身有很強(qiáng)的相關(guān)性。

也就是說(shuō)，不存在一組黃金配置能在所有數(shù)據(jù)集上都表現(xiàn)良好。因此建模工作中一個(gè)不可或缺的工作便是模型超參數(shù)的優(yōu)化。

如果是我們手動(dòng)優(yōu)化參數(shù)，一般是選取幾組我們認(rèn)為值得嘗試的參數(shù)配置，然后訓(xùn)練模型并做交叉驗(yàn)證，最后挑出驗(yàn)證指標(biāo)最好的模型用作生產(chǎn)。

這種做法對(duì)一兩個(gè)超參數(shù)做優(yōu)化還能應(yīng)付，然而傳統(tǒng)機(jī)器模型 GBM 就有小十個(gè)需要調(diào)試的超參數(shù)，更不用說(shuō)深度學(xué)習(xí)模型會(huì)有更多的參數(shù)選擇，這使得自動(dòng)優(yōu)化超參數(shù)技術(shù)越來(lái)越多的應(yīng)用到實(shí)際建模中。

最常見(jiàn)的做法是 Grid Search 和 Random Search。Grid Search 是讓用戶在每個(gè)超參數(shù)的選擇范圍里取幾個(gè)點(diǎn)，然后機(jī)器會(huì)將所有可能的參數(shù)組合都嘗試一遍，最后選出最好的模型，這種方法有兩個(gè)問(wèn)題，一是需要用戶對(duì)每個(gè)超參數(shù)都要取點(diǎn)，二是由于需要嘗試所有參數(shù)組合，對(duì)計(jì)算資源的消耗非常高。

Random Search 是給定超參數(shù)選擇的空間范圍，然后在這個(gè)空間里隨機(jī)采樣N組超參數(shù)配置，交給模型做交叉驗(yàn)證，并選出最好的模型。

在實(shí)際應(yīng)用中，Random Search 在超參數(shù)較多的情況下比 Grid Search 更快而且效果更好。

目前提到的兩種做法實(shí)現(xiàn)起來(lái)都很簡(jiǎn)單，但缺點(diǎn)是它們都是在參數(shù)空間里盲目的搜尋，效率較低。

接下來(lái)我們介紹幾種在提升效率上努力的思路：

1.4.1 貝葉斯優(yōu)化

貝葉斯優(yōu)化是一種用于全局優(yōu)化的搜索策略，早期多用于工業(yè)工程方向，來(lái)優(yōu)化工業(yè)流程設(shè)計(jì)的配置。近幾年貝葉斯優(yōu)化開(kāi)始廣泛出現(xiàn)在機(jī)器學(xué)習(xí)領(lǐng)域的研究中，尤其在超參數(shù)優(yōu)化領(lǐng)域。

葉斯優(yōu)化的思路是將超參數(shù)空間映射到驗(yàn)證指標(biāo)空間的函數(shù)作為優(yōu)化的目標(biāo)函數(shù)，然而這個(gè)函數(shù)的形式是未知的，而且要計(jì)算一個(gè)點(diǎn)的函數(shù)值需要消耗很多資源（等同于用一組超參數(shù)配置來(lái)訓(xùn)練模型并做交叉驗(yàn)證）。

所以貝葉斯優(yōu)化會(huì)把已經(jīng)嘗試過(guò)的超參數(shù)配置和對(duì)應(yīng)的交叉驗(yàn)證指標(biāo)作為歷史數(shù)據(jù)，并用它訓(xùn)練一個(gè)機(jī)器學(xué)習(xí)模型。

這個(gè)模型和通常的機(jī)器學(xué)習(xí)模型略有不同，它不僅需要提供預(yù)測(cè)值（prediction），還要提供對(duì)于這個(gè)預(yù)測(cè)的不確定度（uncertainty）。

這是因?yàn)榻酉聛?lái)的優(yōu)化策略會(huì)同時(shí)根據(jù)預(yù)測(cè)值和不確定度來(lái)決定嘗試哪組新的超參數(shù)。貝葉斯優(yōu)化中的優(yōu)化策略往往需要考慮發(fā)掘（exploitation）和探索（exploration）兩個(gè)因素。

發(fā)掘是指根據(jù)目前的模型預(yù)測(cè)，找到預(yù)測(cè)效果最好的超參數(shù)；探索是指目前的模型也許還沒(méi)有觸及到搜索空間中真正的全局最優(yōu)，所以需要去探索那些區(qū)域，而這些區(qū)域一般可以通過(guò)不確定度來(lái)知曉。

為了兼顧這兩個(gè)因素，優(yōu)化策略會(huì)把預(yù)測(cè)值和不確定度兩個(gè)指標(biāo)融合在一起搜索下一個(gè)要嘗試的超參數(shù)。

因?yàn)樨惾~斯優(yōu)化很好的平衡了發(fā)掘和探索，這類方法在解決全局優(yōu)化問(wèn)題中都表現(xiàn)出極高的效率，收斂速度很快，所以在超參數(shù)優(yōu)化問(wèn)題中也取得了很好的效果。

1.4.2 進(jìn)化算法

進(jìn)化算法是一種啟發(fā)式優(yōu)化算法，正如其字面意思，這個(gè)算法模仿了進(jìn)化理論，通過(guò)優(yōu)勝劣汰的機(jī)制選出好的配置。

1.4.3 強(qiáng)化學(xué)習(xí)

強(qiáng)化學(xué)習(xí)中有一類最簡(jiǎn)單的問(wèn)題叫做多臂老虎機(jī)，這類問(wèn)題源于賭博，大概是這樣的：賭場(chǎng)里有N多臺(tái)老虎機(jī)，每臺(tái)機(jī)器的贏率是固定且未知的，賭徒想要通過(guò)實(shí)驗(yàn)找到贏率最高的那臺(tái)機(jī)器，這樣他的期望回報(bào)才是最優(yōu)的。

最傻的辦法就是在每臺(tái)機(jī)器上試驗(yàn) M 次，統(tǒng)計(jì)一下每臺(tái)機(jī)器的贏的次數(shù)，并選出那臺(tái)贏率最高的機(jī)器。

然而這個(gè)方法很顯然有很多可提高之處，比如有的機(jī)器在玩了 K

事實(shí)上，我們可以想象每組可能的超參數(shù)配置是一臺(tái)老虎機(jī)，它內(nèi)部藏著一個(gè)未知的數(shù)字，在我們這里可以認(rèn)為是用這組配置訓(xùn)練模型能達(dá)到的驗(yàn)證指標(biāo)。為了了解這個(gè)未知數(shù)字，我們只能通過(guò)訓(xùn)練模型，訓(xùn)練時(shí)間越久，我們投入的資源就越多。

于是多臂老虎機(jī)的策略也可以應(yīng)用到我們的問(wèn)題上，也就是為了找到最優(yōu)的超參數(shù)，決定每組超參數(shù)配置要投入多少資源訓(xùn)練模型的問(wèn)題。

這里僅粗略介紹了三個(gè)優(yōu)化超參數(shù)的方向，其實(shí)最近幾年涌現(xiàn)了很多優(yōu)秀的工作，包括使用元學(xué)習(xí)，對(duì)學(xué)習(xí)曲線建模，或者將上述的幾個(gè)思路融合等方式，使超參數(shù)優(yōu)化變得愈加高效。

1.5 采樣優(yōu)化

當(dāng)數(shù)據(jù)量很大時(shí)，用全量數(shù)據(jù)訓(xùn)練一個(gè)模型會(huì)花費(fèi)很長(zhǎng)時(shí)間，而探索的過(guò)程需要訓(xùn)練多次模型，那么總開(kāi)銷就太大了。

也許我們?cè)谔剿鲿r(shí)只使用少量的部分?jǐn)?shù)據(jù)訓(xùn)練模型，并且得到的關(guān)于模型和參數(shù)的選擇又能幫助到全量數(shù)據(jù)訓(xùn)練情況下的選擇，那我們就有機(jī)會(huì)節(jié)省大量資源。

這個(gè)設(shè)想在幾年前就有工作進(jìn)行了證實(shí)，通過(guò)觀察不同采樣率下訓(xùn)練模型的效果和超參數(shù)的關(guān)系分布，發(fā)現(xiàn)低采樣率時(shí)超參數(shù)和效果的分布與全量數(shù)據(jù)訓(xùn)練下的分布具有很強(qiáng)的相關(guān)性。

于是我們?cè)趯?shí)際應(yīng)用中，可以使用預(yù)定的降采樣率選擇少部分?jǐn)?shù)據(jù)，并在這部分?jǐn)?shù)據(jù)上進(jìn)行模型和超參數(shù)的優(yōu)化，然后將找到的最優(yōu)選擇直接放到全量數(shù)據(jù)上訓(xùn)練生產(chǎn)用模型。

我們發(fā)現(xiàn)這種方法盡管樸素，實(shí)際應(yīng)用中卻能達(dá)到很好的效果。學(xué)術(shù)界也有提出更成熟的做法，比如對(duì)采樣率建模[2]，以期望通過(guò)一個(gè)配置使用低采樣率訓(xùn)練的模型效果來(lái)預(yù)測(cè)全量數(shù)據(jù)下的模型效果，并用預(yù)測(cè)值來(lái)指導(dǎo)超參數(shù)的搜索。

2. 自動(dòng)深度學(xué)習(xí)

深度學(xué)習(xí)由于具有模型表達(dá)能力強(qiáng)，自動(dòng)學(xué)習(xí)特征的端到端特性等優(yōu)點(diǎn)，是今天機(jī)器學(xué)習(xí)領(lǐng)域最受歡迎的模型框架。

然而訓(xùn)練深度學(xué)習(xí)模型并非易事，不僅有大量的模型超參數(shù)需要人工調(diào)試，而且模型效果對(duì)超參數(shù)的選擇極其敏感，因此需要大量的嘗試和行業(yè)經(jīng)驗(yàn)才能得到優(yōu)質(zhì)的效果。

自動(dòng)深度學(xué)習(xí)面臨同樣的挑戰(zhàn)，所以除了會(huì)共用前面介紹的自動(dòng)機(jī)器學(xué)習(xí)的思路和方法，自動(dòng)深度學(xué)習(xí)有一些獨(dú)特的方向值得在這里探討。下面我們會(huì)圍繞自動(dòng)訓(xùn)練和網(wǎng)絡(luò)結(jié)構(gòu)搜索兩個(gè)方面展開(kāi)。

2.1 自動(dòng)訓(xùn)練

深度學(xué)習(xí)模型和傳統(tǒng)機(jī)器學(xué)習(xí)模型相比，需要配置的超參數(shù)會(huì)多很多，訓(xùn)練時(shí)對(duì)資源的消耗也會(huì)較大，因此自動(dòng)訓(xùn)練是一個(gè)更有挑戰(zhàn)性的工作。

樸素的 Grid Search 和 Random Search 基本得不到滿意的效果，必須使用更成熟的搜索策略和精心設(shè)計(jì)的搜索空間才能實(shí)現(xiàn)自動(dòng)化。

由于神經(jīng)網(wǎng)絡(luò)的訓(xùn)練速度較慢，我們希望能盡可能地從訓(xùn)練過(guò)程中得到最多的信息和信息再利用。

我們總結(jié)一下目前工作的幾個(gè)方向，和大家分享。

2.1.1 模型再利用

想象一下一個(gè)神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練是一個(gè)小人在模型的權(quán)重空間（weight space）里漫步，靠著 SGD 指引他一步步接近最優(yōu)權(quán)重，而使用一組好的配置，就是為了使這個(gè)路徑能夠通往最有權(quán)重所在的位置，而不是中途就卡在一個(gè)局部最優(yōu)不能動(dòng)彈，或者來(lái)回跳動(dòng)不能收斂，甚至到了一個(gè)過(guò)擬合的地方。

目前為止我們提到過(guò)的搜索模型配置的方法，都是選一組配置，然后讓這個(gè)小人從一個(gè)初始化的位置開(kāi)始走，如果這個(gè)配置讓小人走偏了，那我們換一組配置，再讓小人從頭開(kāi)始走。

但這樣每次小人走過(guò)的路就都白費(fèi)了，我們完全可以讓小人從一個(gè)雖然不是最優(yōu)的，但還是不錯(cuò)的位置作為起點(diǎn)，繼續(xù)去尋找那個(gè)最優(yōu)地點(diǎn)。

這是 Deepmind 在 2017 年發(fā)表的題為 population based training 的論文 [3] 的思想之一，通過(guò)再利用已經(jīng)訓(xùn)練過(guò)的模型，來(lái)加速訓(xùn)練和調(diào)參的過(guò)程。

此外，南京大學(xué)的周志華教授還提出了“學(xué)件”的構(gòu)想，“學(xué)件”由模型和用于描述模型的規(guī)約兩部分構(gòu)成。當(dāng)需要構(gòu)建新的機(jī)器學(xué)習(xí)應(yīng)用時(shí)，不用再?gòu)念^建模，可以直接需要尋找適合的學(xué)件直接使用。

2.1.2 擬合 Learning curve

用 TensorFlow 訓(xùn)練模型的同學(xué)可能用過(guò) Tensorboard，這個(gè)可視化工具可以展示模型訓(xùn)練過(guò)程中各種指標(biāo)的變化，我們稱之為學(xué)習(xí)曲線（Learning curve）。

這個(gè)曲線是有規(guī)律可循的，比如驗(yàn)證 AUC，隨著訓(xùn)練，會(huì)不斷的上升，到收斂的時(shí)候可能開(kāi)始持平波動(dòng)，之后也許由于過(guò)擬合又會(huì)下降。我們可以用一個(gè)模型來(lái)擬合這條曲線 [4]。

這樣做的目的是，假如我有一個(gè)靠譜的擬合模型，那么試驗(yàn)一組新的配置，我可能只用讓模型訓(xùn)練較短的時(shí)間，并用前面一小段學(xué)習(xí)曲線和擬合模型來(lái)預(yù)測(cè)最終這組配置能讓模型訓(xùn)練到什么程度，那么我們便可以用少量的資源對(duì)模型配置做一個(gè)初步的篩選，提升效率。

2.1.3 Meta learning

元學(xué)習(xí)（Meta Learning）的目標(biāo)是給一個(gè)新的問(wèn)題，它能生成一個(gè)解決這個(gè)問(wèn)題的模型。這一思路也可以用到自動(dòng)深度學(xué)習(xí)上，同樣是 2.1.1 中小人的例子，我們可以找到一個(gè)權(quán)重空間里的位置，它對(duì)于很多類似的新問(wèn)題都是一個(gè)還不錯(cuò)的位置，只要用對(duì)應(yīng)問(wèn)題的數(shù)據(jù)讓小人再走兩步就能達(dá)到最優(yōu)了。

有一篇論文 [5] 便用到了這個(gè)思想，它訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)模型，但損失函數(shù)并不是用某一任務(wù)的數(shù)據(jù)直接計(jì)算的，而是讓任意一個(gè)采樣的訓(xùn)練任務(wù)的數(shù)據(jù)再訓(xùn)練一步，之后的損失作為目標(biāo)函數(shù)。

也就是說(shuō)，它要讓小人站在一個(gè)理想的多岔口，能夠離任意一個(gè)具體任務(wù)的最優(yōu)位置很近。這和 2.1.1 想要達(dá)到的加速訓(xùn)練的目的類似，只不過(guò)是用一個(gè)元模型顯性地去尋找“理想的多岔口”。

2.1.4 模型融合

由于深度學(xué)習(xí)模型的損失函數(shù)平面非常復(fù)雜，使訓(xùn)練時(shí)找到一個(gè)魯棒的最優(yōu)點(diǎn)很困難。為解決這個(gè)問(wèn)題，我們可以用不同的初始化，訓(xùn)練多個(gè)模型，并將它們?nèi)诤掀饋?lái)。

這是比較標(biāo)準(zhǔn)的做法，最近有兩篇論文給出了更有趣的方案：第一篇 [6] 的思想類似于 2.1.1，在小人找到第一個(gè)最優(yōu)點(diǎn)，記錄下當(dāng)前的權(quán)重，然后增大學(xué)習(xí)率，讓小人跳出當(dāng)前的最優(yōu)點(diǎn)，去尋找附近的另一個(gè)最優(yōu)點(diǎn)，如此反復(fù)幾次，把記錄的權(quán)重對(duì)應(yīng)的模型融合起來(lái)，會(huì)相比標(biāo)準(zhǔn)的融合做法省去從頭訓(xùn)練模型的時(shí)間。

第二篇 [7] 使用類似第一篇的循環(huán)學(xué)習(xí)率設(shè)置，但它不再記錄多個(gè)模型，而是將存下來(lái)的權(quán)重直接取平均，這樣做的好處是在預(yù)測(cè)階段，只有一個(gè)模型預(yù)測(cè)，節(jié)省了普通模型融合需要多個(gè)模型同時(shí)預(yù)測(cè)的耗費(fèi)。另外論文中也表明直接取平均能得到更魯棒的模型。感興趣的話可以去閱讀下這兩篇論文。

2.2 網(wǎng)絡(luò)結(jié)構(gòu)搜索

不管是圖像，文字還是語(yǔ)音，都有幾款大家耳熟能詳?shù)纳窠?jīng)網(wǎng)絡(luò)結(jié)構(gòu)，這些網(wǎng)絡(luò)結(jié)構(gòu)的巨大成功，歸功于背后的研究人員的學(xué)識(shí)，靈感和不懈嘗試。隨著深度學(xué)習(xí)應(yīng)用到越來(lái)越多的現(xiàn)實(shí)場(chǎng)景，對(duì)模型包括網(wǎng)絡(luò)結(jié)構(gòu)的需求也在變的更多樣化。

舉一個(gè)例子，在手機(jī)設(shè)備上的人臉識(shí)別軟件，由于硬件設(shè)備的差異性，軟件供應(yīng)商需要對(duì)每種手機(jī)做相應(yīng)的模型優(yōu)化，如果全部依靠人力來(lái)做調(diào)試，很顯然對(duì)資源的要求和耗費(fèi)非常巨大。

這使我們不得不思考，是否有可能讓機(jī)器來(lái)取代一部分這樣的工作，將人力解放出來(lái)。早在 2016 年，Google Brain 就在這方面做了嘗試 [8]，通過(guò)強(qiáng)化學(xué)習(xí)的方式訓(xùn)練一個(gè)能搭建網(wǎng)絡(luò)結(jié)構(gòu)的 RNN，并構(gòu)造出了當(dāng)時(shí)在圖像數(shù)據(jù)集 CIFAR10 和自然語(yǔ)言數(shù)據(jù)集 Penn Treebank 上效果最好的模型。網(wǎng)絡(luò)結(jié)構(gòu)搜索（Neural Architecture Search）的名字也是由這篇論文而來(lái)。

盡管到今天網(wǎng)絡(luò)結(jié)構(gòu)搜索的歷史不長(zhǎng)，卻已經(jīng)涌現(xiàn)了很多優(yōu)秀的工作，這里我們介紹幾個(gè)思路和方向。

2.2.1 基于強(qiáng)化學(xué)習(xí)

最早提出 NAS 的方案便是基于強(qiáng)化學(xué)習(xí)，后來(lái)出現(xiàn)的很多結(jié)構(gòu)搜索的論文對(duì)這個(gè)方法做了改動(dòng)和優(yōu)化，沿用至今。

這個(gè)思路大概是說(shuō)，我們?cè)跇?gòu)造網(wǎng)絡(luò)結(jié)構(gòu)時(shí)，就好像是在堆樂(lè)高積木，從第一層開(kāi)始，我們有幾個(gè)基本元件，和幾種拼接方法，我們按照一定流程一層一層拼出一個(gè)網(wǎng)絡(luò)結(jié)構(gòu)來(lái)。

而強(qiáng)化學(xué)習(xí)就是要學(xué)出一套構(gòu)造優(yōu)質(zhì)網(wǎng)絡(luò)結(jié)構(gòu)的流程。由于這個(gè)流程是一個(gè)序列，那用 RNN 來(lái)建模就再適合不過(guò)了，于是我們讓這個(gè) RNN 每一步輸出一個(gè)決策，來(lái)決定選擇哪個(gè)基本元件，或者使用哪種拼接方法。

當(dāng) RNN 輸出足夠的決策后，一個(gè)網(wǎng)絡(luò)結(jié)構(gòu)變生成了，我們拿它在一個(gè)數(shù)據(jù)集上訓(xùn)練并測(cè)試，得到的驗(yàn)證指標(biāo)便成為獎(jiǎng)勵(lì)用來(lái)訓(xùn)練 RNN。

最終，被訓(xùn)練的 RNN 便學(xué)會(huì)了構(gòu)造好的網(wǎng)絡(luò)結(jié)構(gòu)來(lái)。聽(tīng)起來(lái)非常有道理，但這種做法其實(shí)有一個(gè)問(wèn)題，就是訓(xùn)練 RNN 需要很多樣本，而這個(gè)問(wèn)題里一個(gè)樣本便意味著訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)模型，因此獲取樣本是很貴的。

事實(shí)也是如此，文章 [8] 里動(dòng)用了 400 個(gè) GPU 同時(shí)訓(xùn)練，一個(gè)訓(xùn)練了 1 萬(wàn)多個(gè)模型后才超越了當(dāng)時(shí)最好的模型。大概只有 Google Brain 這樣有巨量計(jì)算資源的地方才有可能做這樣的嘗試。

后續(xù)有很多工作都嘗試減少資源的耗費(fèi)，使搜索變得更高效，比如使搜索空間變得更小 [9]，模型間共享權(quán)重 [10] 等。

2.2.2 共享權(quán)重

剛才提到了每個(gè)模型都要從頭訓(xùn)練是非常低效的，ENAS[10] 提出了模型共享權(quán)重的理念。

文章作者認(rèn)為，一個(gè)網(wǎng)絡(luò)結(jié)構(gòu)圖是一個(gè)更大的圖的子圖，于是作者索性存下包含整個(gè)結(jié)構(gòu)搜索空間的母圖的所有權(quán)重，并且邊訓(xùn)練權(quán)重邊訓(xùn)練如前所述的 RNN。

由于 RNN 構(gòu)造出來(lái)的新結(jié)構(gòu)直接從母圖中獲取權(quán)重，便省去了從頭訓(xùn)練模型的過(guò)程，使整個(gè)搜索比以前的方法快了上百倍。

2.2.3 元學(xué)習(xí)

由 ENAS 的共享權(quán)重受到啟發(fā)，一篇新的工作 [11] 使用母圖作為元模型，通過(guò) dropout 的方式來(lái)訓(xùn)練元模型。

于是沒(méi)有了構(gòu)造結(jié)構(gòu)的 RNN，而是以隨機(jī) dropout 的形式來(lái)讓元模型找出什么樣的結(jié)構(gòu)是重要的。作者在文中展示的效果和 ENAS 類似，我覺(jué)得兩種方法不好說(shuō)孰好孰壞，都可以拿來(lái)嘗試下。

2.2.4 貝葉斯優(yōu)化

最近有一個(gè)叫 Auto-Keras 的開(kāi)源軟件受到了一定關(guān)注，這個(gè)軟件包致力于幫助人們自動(dòng)訓(xùn)練深度學(xué)習(xí)模型，而軟件的“自動(dòng)”部分基于一篇該作者發(fā)表的論文[12]，文中使用貝葉斯優(yōu)化作為結(jié)構(gòu)搜索策略，并用 Network Morphism 來(lái)加速模型的訓(xùn)練。

作者定義了不同結(jié)構(gòu)之間的“距離”，也就是不相似度，并基于此來(lái)構(gòu)建貝葉斯優(yōu)化中所需要的貝葉斯模型。

有了貝葉斯優(yōu)化來(lái)指導(dǎo)結(jié)構(gòu)搜索后，對(duì)于新結(jié)構(gòu)，作者并非從頭開(kāi)始訓(xùn)練模型，而是使用 Network Morphism，將已經(jīng)訓(xùn)練過(guò)的模型通過(guò)變換轉(zhuǎn)變成要訓(xùn)練的新模型，而同時(shí)能保留原來(lái)模型的功能，如此一來(lái)，只需要用比從頭訓(xùn)練少得多的資源就能訓(xùn)練出新的模型。

除了以上介紹的幾種思路之外，很多其它用于優(yōu)化的方法也都出現(xiàn)在結(jié)構(gòu)搜索的應(yīng)用中，比如前面提到過(guò)的進(jìn)化算法 [5]，基于模型的迭代式搜索 [13] 等。

2.3 適用于寬表數(shù)據(jù)的自動(dòng)深度學(xué)習(xí)

目前的自動(dòng)深度學(xué)習(xí)訓(xùn)練和網(wǎng)絡(luò)結(jié)構(gòu)搜索，主要集中在語(yǔ)音、圖像和文本等領(lǐng)域，尚未見(jiàn)到針對(duì)寬表業(yè)務(wù)數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索，然而這正是工業(yè)界最迫切的需求之一，其對(duì)應(yīng)的自動(dòng)深度學(xué)習(xí)價(jià)值較大。

針對(duì)寬表業(yè)務(wù)數(shù)據(jù)對(duì)應(yīng)的大規(guī)模離散特征數(shù)據(jù)集，我們研發(fā)了深度稀疏網(wǎng)絡(luò)（Deep Sparse Network，DSN）及其自動(dòng)版本 Auto-DSN。

DSN 采用多層級(jí)網(wǎng)絡(luò)架構(gòu)，綜合利用數(shù)據(jù)采樣、注意力機(jī)制和動(dòng)態(tài)維度表達(dá)等方法，能夠有效的對(duì)寬表數(shù)據(jù)進(jìn)行建模。

Auto-DSN 綜合利用上述各種技術(shù)，使得用戶配置一個(gè)和資源相關(guān)的參數(shù)，即可在合理時(shí)間內(nèi)，搜索到對(duì)寬表業(yè)務(wù)數(shù)據(jù)最佳的模型結(jié)構(gòu)及超參數(shù)。我們?cè)谝恍?shí)際業(yè)務(wù)中驗(yàn)證了它的有效性。

3. 模型評(píng)估

自動(dòng)機(jī)器學(xué)習(xí)根據(jù)評(píng)估指標(biāo)來(lái)優(yōu)化模型，在這次分享的最后，我們?cè)偬接懸幌略鯓訉?duì)模型的評(píng)估是可靠的。

首先評(píng)估指標(biāo)的選擇應(yīng)該和具體業(yè)務(wù)相結(jié)合，根據(jù)業(yè)務(wù)目標(biāo)來(lái)制定對(duì)模型的評(píng)估方式，如果不考慮業(yè)務(wù)相關(guān)指標(biāo)，機(jī)器學(xué)習(xí)中我們常用的指標(biāo)有 AUC、logloss、MSE、MAE 等，關(guān)于其定義和用法網(wǎng)上有很多資料解釋，這里就不贅述了。我想主要分享的是關(guān)于如何對(duì)抗過(guò)擬合的一些經(jīng)驗(yàn)。

這里的過(guò)擬合是指，在優(yōu)化模型的配置或者參數(shù)的過(guò)程中，我們找到一組配置可能在我們的驗(yàn)證集上表現(xiàn)效果很好，然而使用這個(gè)模型生產(chǎn)卻并未得到最好的效果。

原因是多方面的，可能我們使用固定的驗(yàn)證集來(lái)優(yōu)化配置，導(dǎo)致這個(gè)配置僅僅在當(dāng)前驗(yàn)證集上的效果最好，沒(méi)有普遍性；也可能是訓(xùn)練模型時(shí)由于一定的隨機(jī)性把某個(gè)次優(yōu)的配置當(dāng)成了最優(yōu)配置。

為解決以上的問(wèn)題，我們分別做了些嘗試。對(duì)于固定驗(yàn)證集導(dǎo)致的過(guò)擬合，標(biāo)準(zhǔn)的做法是使用交叉驗(yàn)證來(lái)計(jì)算指標(biāo)，然而帶來(lái)的問(wèn)題是交叉驗(yàn)證所需的資源是固定驗(yàn)證集的折數(shù)倍。

比如常用的五折交叉驗(yàn)證就需要五倍于固定驗(yàn)證集的資源來(lái)優(yōu)化。當(dāng)模型訓(xùn)練時(shí)間很長(zhǎng)時(shí)，我們沒(méi)有足夠的資源計(jì)算完整的交叉驗(yàn)證，于是我們會(huì)依然按照交叉驗(yàn)證的方式來(lái)切分?jǐn)?shù)據(jù)。

但每次驗(yàn)證時(shí)我們只會(huì)隨機(jī)選取其中一份驗(yàn)證集來(lái)計(jì)算驗(yàn)證指標(biāo)，這樣指標(biāo)的期望值就是無(wú)偏的。

當(dāng)然這又引入一個(gè)新的問(wèn)題，雖然期望是無(wú)偏的，卻由于我們的隨機(jī)選取導(dǎo)致方差變大了，也就是我們把次優(yōu)選擇當(dāng)成最優(yōu)選擇的風(fēng)險(xiǎn)變大了。

這里我們引用 [14] 的“intensification mechanism”來(lái)解決這個(gè)問(wèn)題，這個(gè)過(guò)程是我們將第一組搜索的配置用完整的交叉驗(yàn)證計(jì)算出平均指標(biāo)，并記為“最優(yōu)配置”，后續(xù)搜索到的新配置都會(huì)和“最優(yōu)配置”比較，比的方式是計(jì)算新配置在某一折驗(yàn)證集上的指標(biāo)。

如果當(dāng)前新配置的平均指標(biāo)低于“最優(yōu)配置”，則放棄這個(gè)新配置并開(kāi)始新的搜索，反之則再選一折驗(yàn)證集計(jì)算指標(biāo)，如果所有驗(yàn)證集都已經(jīng)計(jì)算完，新配置的平均指標(biāo)還是更優(yōu)的，便把這個(gè)配置作為新的“最優(yōu)配置”。

這樣一來(lái)，我們只會(huì)把更多的計(jì)算量放在有潛力成為最優(yōu)配置的配置上，總體消耗還是低于標(biāo)準(zhǔn)的交叉驗(yàn)證的。

根據(jù)我們目前在推薦業(yè)務(wù)中的嘗試，上述方法中：自動(dòng)特征離散化會(huì)給模型帶來(lái)最明顯的泛化能力提升和 AUC 明顯升高、自動(dòng)特征組合可以最有效地提高模型對(duì)物料和人群的精準(zhǔn)刻畫(huà)能力和精準(zhǔn)個(gè)性化推薦效果、采樣優(yōu)化和模型超參數(shù)優(yōu)化功能對(duì)機(jī)器資源和訓(xùn)練時(shí)間的優(yōu)化效果最為明顯，給業(yè)務(wù)方留下了深刻的印象，歡迎大家進(jìn)行嘗試。

上述內(nèi)容便是我們?cè)趯?shí)際應(yīng)用 AutoML 中的感想和經(jīng)驗(yàn)，希望能對(duì)大家有用。我們也希望更多的人開(kāi)始了解和運(yùn)用這個(gè)領(lǐng)域的方法，幫助他們加快機(jī)器學(xué)習(xí)系統(tǒng)的研發(fā)和生產(chǎn)。