AutoML又一利器來(lái)了！今天，谷歌宣布開(kāi)源AdaNet，這是一個(gè)輕量級(jí)的基于TensorFlow的框架，可以在最少的專(zhuān)家干預(yù)下自動(dòng)學(xué)習(xí)高質(zhì)量的模型。

今天，谷歌宣布開(kāi)源AdaNet，這是一個(gè)輕量級(jí)的基于TensorFlow的框架，可以在最少的專(zhuān)家干預(yù)下自動(dòng)學(xué)習(xí)高質(zhì)量的模型。

這個(gè)項(xiàng)目基于Cortes等人2017年提出的AdaNet算法，用于學(xué)習(xí)作為子網(wǎng)絡(luò)集合的神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)。

谷歌AI負(fù)責(zé)人Jeff Dean表示，這是谷歌AutoML整體工作的一部分，并且，谷歌同時(shí)提供了AdaNet的開(kāi)源版本和教程notebook。

該團(tuán)隊(duì)在介紹博客中表示：“AdaNet以我們最近的強(qiáng)化學(xué)習(xí)和基于進(jìn)化的AutoML研究為基礎(chǔ)，在提供學(xué)習(xí)保證的同時(shí)實(shí)現(xiàn)了快速、靈活。重要的是，AdaNet提供了一個(gè)通用框架，不僅可以學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)架構(gòu)，還可以學(xué)習(xí)集成，以獲得更好的模型?！?/p>

AdaNet提供以下特征：

Estimator API，可輕松訓(xùn)練、評(píng)估和服務(wù)AdaNet模型。

學(xué)習(xí)在TensorFlow中集成用戶(hù)定義的子網(wǎng)。

用于在單個(gè) train() 調(diào)用中搜索子網(wǎng)架構(gòu)和參數(shù)的接口。

關(guān)于CPU和GPU的分布式訓(xùn)練（我們正在開(kāi)發(fā)TPU支持）。

一流的TensorBoard integration。

提供理論學(xué)習(xí)。

基于集成學(xué)習(xí)的自動(dòng)搜索工具

集成學(xué)習(xí)（Ensemble learning）是將不同機(jī)器學(xué)習(xí)（ML）模型預(yù)測(cè)結(jié)合起來(lái)的技術(shù)，廣泛用于神經(jīng)網(wǎng)絡(luò)，以實(shí)現(xiàn)最先進(jìn)的性能。得益于豐富的經(jīng)驗(yàn)和理論保證，集成學(xué)習(xí)在許多Kaggle競(jìng)賽中取得了成功，例如Netflix Prize。

由于訓(xùn)練時(shí)間長(zhǎng)，集成學(xué)習(xí)在實(shí)踐中使用不多，而且選擇哪個(gè)ML模型需要根據(jù)其領(lǐng)域?qū)I(yè)知識(shí)來(lái)。

但隨著計(jì)算能力和專(zhuān)用深度學(xué)習(xí)硬件（如TPU）變得更容易獲得，機(jī)器學(xué)習(xí)模型的一個(gè)趨勢(shì)是變得更大，集成（ensemble）也就變得更加重要。

現(xiàn)在，AdaNet就是這樣一個(gè)工具，可以自動(dòng)搜索神經(jīng)網(wǎng)絡(luò)架構(gòu)，并學(xué)會(huì)將最好的架構(gòu)組合成一個(gè)高質(zhì)量的模型。

AdaNet易于使用，并能創(chuàng)建高質(zhì)量的模型，為ML實(shí)踐者節(jié)省了用于選擇最佳神經(jīng)網(wǎng)絡(luò)架構(gòu)的時(shí)間，實(shí)現(xiàn)了一種將學(xué)習(xí)神經(jīng)架構(gòu)作為子網(wǎng)絡(luò)集合的自適應(yīng)算法。

AdaNet能夠添加不同深度和寬度的子網(wǎng)絡(luò)，以創(chuàng)建多樣化的集合，并通過(guò)參數(shù)數(shù)量來(lái)改進(jìn)性能。

AdaNet自適應(yīng)地產(chǎn)生了神經(jīng)網(wǎng)絡(luò)的集成。在每次迭代中，它測(cè)量每個(gè)候選對(duì)象的集成損失，并選擇最佳的一個(gè)，然后進(jìn)入下一次迭代。

快速且易于使用

AdaNet實(shí)現(xiàn)了TensorFlow Estimator接口，通過(guò)封裝訓(xùn)練、評(píng)估、預(yù)測(cè)和服務(wù)導(dǎo)出，大大簡(jiǎn)化了機(jī)器學(xué)習(xí)編程。它集成了開(kāi)源工具，如TensorFlow Hub模塊，TensorFlow Model Analysis和Google Cloud的Hyperparameter Tuner。分布式訓(xùn)練支持可顯著縮短訓(xùn)練時(shí)間，并可與可用的CPU和加速器（例如GPU）進(jìn)行線性擴(kuò)展。

AdaNet在CIFAR-100上每個(gè)訓(xùn)練步驟（X軸）的精度（y軸）。藍(lán)線是訓(xùn)練集上的性能，紅線是測(cè)試集上的性能。每一百萬(wàn)步開(kāi)始訓(xùn)練一個(gè)新的子網(wǎng)絡(luò)，并最終提高整體的性能。在添加新子網(wǎng)之前，灰線和綠線是集合的準(zhǔn)確度。

由于TensorBoard是用于在訓(xùn)練期間可視化模型性鞥的最佳TensorFlow功能之一，AdaNet可與其無(wú)縫集成，以監(jiān)控子網(wǎng)絡(luò)訓(xùn)練，集合組合和性能。當(dāng)AdaNet完成訓(xùn)練后，它會(huì)導(dǎo)出一個(gè)可以使用TensorFlow Serving部署的SavedModel。

學(xué)習(xí)保證

構(gòu)建神經(jīng)網(wǎng)絡(luò)集合面臨這么幾個(gè)挑戰(zhàn)：要考慮的最佳子網(wǎng)架構(gòu)是什么？再此使用相同的架構(gòu)或鼓勵(lì)多樣性是不是最佳選擇？雖然具有更多參數(shù)的復(fù)雜子網(wǎng)將在訓(xùn)練集上表現(xiàn)更好，但由于其存在更強(qiáng)的復(fù)雜性，它們可能不會(huì)適用于未知數(shù)據(jù)。這些挑戰(zhàn)來(lái)自評(píng)估模型性能的過(guò)程。我們可以評(píng)估一個(gè)訓(xùn)練集子集的性能，但這樣做會(huì)減少可用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)的示例數(shù)量。

相反，AdaNet的方法（在ICML 2017的“ AdaNet：人工神經(jīng)網(wǎng)絡(luò)的自適應(yīng)結(jié)構(gòu)學(xué)習(xí) ”一文中提出）是為了優(yōu)化一個(gè)對(duì)象，以平衡集合在訓(xùn)練集上的表現(xiàn)與其適用于未知數(shù)據(jù)的能力之間的權(quán)衡。集合這樣選擇子網(wǎng)絡(luò)：只有當(dāng)候選子網(wǎng)絡(luò)改進(jìn)了總體的訓(xùn)練損失，而不是影響了整體的泛化能力時(shí)，才包含這個(gè)候選子網(wǎng)絡(luò)。這保證了：

1.集合的泛化誤差受到訓(xùn)練誤差和復(fù)雜性的限制。

2.通過(guò)優(yōu)化對(duì)象，我們可以直接將限制最小化。

優(yōu)化對(duì)象的一個(gè)實(shí)際好處是：它不需要保留集來(lái)選擇要添加到集合中的候選子網(wǎng)。這還將帶來(lái)另一個(gè)好處：我們可以使用更多的訓(xùn)練數(shù)據(jù)來(lái)訓(xùn)練子網(wǎng)。

可擴(kuò)展性

我們認(rèn)為，為滿(mǎn)足研究和生產(chǎn)制作AutoML框架的關(guān)鍵在于不僅要提供合理的默認(rèn)值，還要允許用戶(hù)嘗試自己子網(wǎng)及模型的定義。因此，機(jī)器學(xué)習(xí)研究人員、從業(yè)人員和愛(ài)好者均可報(bào)名定義自己的AdaNet adanet.subnetwork.Builder，通過(guò)使用高級(jí)別的TensorFlow API，如tf.layers。

已經(jīng)在其系統(tǒng)中集成TensorFlow模型的用戶(hù)可以輕松地將他們的TensorFlow代碼轉(zhuǎn)換為AdaNet子網(wǎng)，并使用adanet.Estimator提高模型性能，同時(shí)獲得學(xué)習(xí)保證。AdaNet將探測(cè)他們定義的候選子網(wǎng)的搜索空間，并學(xué)習(xí)整合子網(wǎng)。例如，我們采用了NASNet-A CIFAR架構(gòu)的開(kāi)源實(shí)現(xiàn)方式，將其轉(zhuǎn)換為子網(wǎng)，并在八次AdaNet迭代后對(duì)CIFAR-10最先進(jìn)的結(jié)果進(jìn)行改進(jìn)。此外，我們的模型使用更少的參數(shù)實(shí)現(xiàn)了這一結(jié)果：

Zoph等人2018年提出的NASNet-A模型的性能，以及AdaNet學(xué)習(xí)在CIFAR-10上將小型NASNet-A子網(wǎng)結(jié)合起來(lái)的性能比較。

用戶(hù)也可以通過(guò)canned或定制tf.contrib.estimator.Heads將自定義損失函數(shù)用作AdaNet對(duì)象的一部分，以便訓(xùn)練回歸、分類(lèi)和多任務(wù)學(xué)習(xí)問(wèn)題。

用戶(hù)還可以通過(guò)擴(kuò)展adanet.subnetwork.Generator類(lèi)來(lái)完全定義候選子網(wǎng)絡(luò)的搜索空間。這允許他們根據(jù)可用硬件增大或減小搜索空間。子網(wǎng)絡(luò)的搜索空間可以很簡(jiǎn)單，只需使用不同的隨機(jī)種子復(fù)制相同的子網(wǎng)絡(luò)配置，就能訓(xùn)練具有不同超參數(shù)組合的數(shù)十個(gè)子網(wǎng)絡(luò)，并讓AdaNet選擇要包含在最終集合中的子網(wǎng)絡(luò)。

谷歌的研究團(tuán)隊(duì)提供了GitHub repo和tutorial notebook，并且包含了一些使用dense layers和卷積的示例幫助大家入門(mén)。

AdaNet的數(shù)據(jù)集、工作原理和應(yīng)用范圍

今天，該項(xiàng)目的成員也在Reddit和ycombinator上回答讀者提問(wèn)，我們精選了一些回答：

1、請(qǐng)問(wèn)你使用該算法嘗試了哪些數(shù)據(jù)集？它是否只適用于圖像分類(lèi)，比如Google的AutoML產(chǎn)品？

我們?cè)趫D像識(shí)別之外的幾個(gè)大型數(shù)據(jù)集上使用了AdaNet，包括結(jié)構(gòu)化數(shù)據(jù)（參見(jiàn)原始論文）和一些NLP數(shù)據(jù)集。在大多數(shù)情況下，AdaNet的性能優(yōu)于獨(dú)立訓(xùn)練的任何單個(gè)子網(wǎng)絡(luò)（這些子網(wǎng)絡(luò)可能使用非常復(fù)雜的架構(gòu)，如NASNet-A）。

當(dāng)然，如何定義一個(gè)優(yōu)化搜索空間，并使用合理的搜索啟發(fā)方式/算法對(duì)于獲得最佳的最終模型非常重要，而且一般最佳的模型是使用強(qiáng)大的先驗(yàn)，就像最先進(jìn)的模型，并讓AdaNet學(xué)習(xí)將這些模型的不同變化結(jié)合起來(lái)。

但是，如果你希望AdaNet能夠通用于任意數(shù)據(jù)集，可以嘗試定義合理的搜索空間，比如搜索日益復(fù)雜的完全連接的神經(jīng)網(wǎng)絡(luò)，并允許AdaNet學(xué)習(xí)將其組合到最佳模型中。

最終，這就是我們?cè)O(shè)計(jì)的AdaNet具備高度靈活性的原因：我們希望任何人嘗試建立對(duì)自己的數(shù)據(jù)集有意義的子網(wǎng)絡(luò)搜索空間，以便獲得最佳性能的最終模型。

2、官方資源庫(kù)中的示例是個(gè)更好的例子，說(shuō)明了AdaNet的工作原理：

https://github.com/tensorflow/adanet/blob/master/adanet/examples/tutorials/adanet_objective.ipynb

盡管名字叫“AutoML”，但實(shí)際上似乎仍需要做很多工作才能實(shí)現(xiàn)模型的優(yōu)化。 （第二個(gè)示例在這方面的表現(xiàn)相對(duì)更好一些：

https://github.com/tensorflow/adanet/blob/master/adanet/examples/tutorials/customizing_adanet.ipynb）

確實(shí)，雖然AdaNet項(xiàng)目目前還不包含最先進(jìn)的架構(gòu)搜索策略/搜索空間，但它確實(shí)為研究人員提供了一個(gè)抽象對(duì)象（adanet.subnetwork.Generator）來(lái)實(shí)現(xiàn)神經(jīng)架構(gòu)搜索算法，同時(shí)提供了適合用戶(hù)的生產(chǎn)友好型的TF Estimator界面，讓算法開(kāi)發(fā)更容易集成到生產(chǎn)過(guò)程中，而且，已經(jīng)使用TF Estimator生態(tài)系統(tǒng)的用戶(hù)也可以更快地從這些開(kāi)發(fā)成果中受益。

我想指出的是，盡管AdaNet的某些方面并不那么先進(jìn)，但我們已經(jīng)看到AdaNet在各種各樣的任務(wù)上取得了良好的效果。大家都來(lái)試試看吧！

當(dāng)然，我們不會(huì)停下腳步！我們很高興自己也在這個(gè)領(lǐng)域工作，我們今后將繼續(xù)更新這個(gè)項(xiàng)目。

3、我還沒(méi)有細(xì)讀，但抱歉問(wèn)一句;：AdaNet可以處理具有可變長(zhǎng)度skip connections的塊嗎？（比如DenseNet），甚至能夠提供AmoebaNet風(fēng)格的模型嗎？指導(dǎo)超參數(shù)/架構(gòu)選擇過(guò)程的元策略（網(wǎng)格搜索/貝葉斯等）有哪些呢？謝謝！

這是個(gè)好問(wèn)題！在最簡(jiǎn)單的情況下，AdaNet允許用戶(hù)將獨(dú)立子網(wǎng)從線性模型集成到用戶(hù)定義的DenseNet / AmoebaNet式網(wǎng)絡(luò)上。但更有趣的是在迭代之間共享信息（這些信息可以是張量輸出，或是哪些超參數(shù)表現(xiàn)最好），以便AdaNet進(jìn)行神經(jīng)架構(gòu)搜索。用戶(hù)可以定義自己的adanet子網(wǎng)生成器，指定如何跨迭代過(guò)程調(diào)整訓(xùn)練方式。

開(kāi)箱即用的元策略其實(shí)和用戶(hù)簡(jiǎn)單定義的啟發(fā)式算法差不多。但是，AdaNet框架足夠靈活，可以支持更智能的策略，并抽象出分布式訓(xùn)練（Estimator），評(píng)估（TensorBoard）和服務(wù)（tf.SavedModel）的復(fù)雜度。

4、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)取得了如此大的進(jìn)步。可以估計(jì)一下我需要多少CPU 和成本才能獲得一些結(jié)果嗎？我的數(shù)據(jù)訓(xùn)練量大約是20M的樣本（每個(gè)樣本1K數(shù)據(jù)點(diǎn)）。

這取決于你搜索的子網(wǎng)數(shù)量以及每個(gè)子網(wǎng)的訓(xùn)練成本。你可以使用單個(gè)DNN定義搜索空間，并為其提供一次迭代，這與固定DNN Estimator的操作相同。

比如說(shuō)，假設(shè)搜索空間包含5個(gè)DNN，每個(gè)DNN完成一次迭代訓(xùn)練需要的成本為X，訓(xùn)練10次迭代，你的訓(xùn)練成本就是X x 5 x 10 = 50X。

但是，考慮到你使用AdaNet，可以考慮整合50個(gè)DNN進(jìn)行探索、訓(xùn)練和選擇等流程，此外，由于AdaNet是作為T(mén)ensorFlow Estimator實(shí)現(xiàn)的，如果這就是你想要的，可以很容易地增加機(jī)器數(shù)量，以加快訓(xùn)練速度。