今日，國(guó)際機(jī)器學(xué)習(xí)頂會(huì)ICML公布2019年最佳論文獎(jiǎng)：來(lái)自蘇黎世聯(lián)邦理工大學(xué)、谷歌大腦等的團(tuán)隊(duì)和英國(guó)劍橋大學(xué)團(tuán)隊(duì)獲此殊榮。另外，大會(huì)還公布了7篇獲最佳論文提名的論文。

ICML 2019最佳論文新鮮出爐！

今日，國(guó)際機(jī)器學(xué)習(xí)頂會(huì)ICML 2019于美國(guó)長(zhǎng)灘市公布了本屆大會(huì)最佳論文結(jié)果：

本屆ICML兩篇最佳論文分別是：

《挑戰(zhàn)無(wú)監(jiān)督解耦表示中的常見(jiàn)假設(shè)》，來(lái)自蘇黎世聯(lián)邦理工學(xué)院(ETH Zurich)、MaxPlanck 智能系統(tǒng)研究所及谷歌大腦；

《稀疏高斯過(guò)程回歸變分的收斂速度》，來(lái)自英國(guó)劍橋大學(xué)。

除此之外，大會(huì)還公布了七篇獲得提名獎(jiǎng)(Honorable Mentions)論文。

據(jù)了解，今年ICML共提交3424篇論文，其中錄取774篇，論文錄取率為22.6%。錄取率較去年ICML 2018的25%有所降低。

論文錄取結(jié)果地址：

https://icml.cc/Conferences/2019/AcceptedPapersInitial?fbclid=IwAR0zqRJfPz2UP7dCbZ8Jcy7MrsedhasX13ueqkKl934EsksuSj3J2QrrRAQ

提交論文最多的子領(lǐng)域分別是：深度學(xué)習(xí)、通用機(jī)器學(xué)習(xí)、強(qiáng)化學(xué)習(xí)、優(yōu)化等

最佳論文：大規(guī)模深入研究無(wú)監(jiān)督解耦表示

第一篇最佳論文的作者來(lái)自蘇黎世聯(lián)邦理工學(xué)院(ETH Zurich)、MaxPlanck 智能系統(tǒng)研究所及谷歌大腦。

論文標(biāo)題：挑戰(zhàn)無(wú)監(jiān)督解耦表示中的常見(jiàn)假設(shè)

Challenging Common Assumptions in the Unsupervised Learning of Disentangled Representations

作者：Francesco Locatello, Stefan Bauer, Mario Lucic, Gunnar R?tsch, Sylvain Gelly, Bernhard Sch?lkopf, Olivier Bachem

論文地址：

http://proceedings.mlr.press/v97/locatello19a/locatello19a.pdf

這是一篇大規(guī)模深入研究無(wú)監(jiān)督解耦表示(Disentangled Representation)的論文，對(duì)近年來(lái)絕大多數(shù)的非監(jiān)督解耦表示方法進(jìn)行了探索、利用 2.5GPU 年的算力在 7 個(gè)數(shù)據(jù)集上訓(xùn)練了 12000 多個(gè)模型?；诖笠?guī)模的實(shí)驗(yàn)結(jié)果，研究人員對(duì)這一領(lǐng)域的一些假設(shè)產(chǎn)生了質(zhì)疑，并為解耦學(xué)習(xí)的未來(lái)發(fā)展方向給出了建議。此外，研究人員還同時(shí)發(fā)布了研究中所使用的代碼和上萬(wàn)個(gè)預(yù)訓(xùn)練模型，并封裝了 disentanglement_lib供研究者進(jìn)行實(shí)驗(yàn)復(fù)現(xiàn)和更深入的探索。

論文摘要

無(wú)監(jiān)督學(xué)習(xí)解耦表示背后的關(guān)鍵思想是，真實(shí)世界數(shù)據(jù)是由一些變量的解釋因子生成的，這些因子可以通過(guò)無(wú)監(jiān)督學(xué)習(xí)算法恢復(fù)。在本文中，我們認(rèn)真回顧了該領(lǐng)域的最新進(jìn)展，并對(duì)一些常見(jiàn)假設(shè)提出挑戰(zhàn)。

我們首先從理論上證明，如果沒(méi)有對(duì)模型和數(shù)據(jù)的歸納偏置，解耦表示的無(wú)監(jiān)督學(xué)習(xí)基本上是不可能的。然后，我們?cè)?個(gè)不同數(shù)據(jù)集上訓(xùn)練了超過(guò)12000個(gè)模型，涵蓋了最重要的方法和評(píng)估指標(biāo)，進(jìn)行了可重復(fù)的大規(guī)模實(shí)驗(yàn)研究。

我們觀察到，雖然不同的方法都成功地執(zhí)行了相應(yīng)損失“鼓勵(lì)”的屬性，但如果沒(méi)有監(jiān)督，似乎無(wú)法識(shí)別出良好解耦的模型。此外，增加解耦似乎不會(huì)降低下游任務(wù)學(xué)習(xí)的樣本復(fù)雜度。

我們的研究結(jié)果表明，未來(lái)關(guān)于解耦學(xué)習(xí)的工作應(yīng)該明確歸納偏見(jiàn)和(隱式)監(jiān)督的作用，研究強(qiáng)制解耦學(xué)習(xí)表示的具體好處，并考慮覆蓋多個(gè)數(shù)據(jù)集的可重復(fù)的實(shí)驗(yàn)設(shè)置。

本文從理論和實(shí)踐兩方面對(duì)這一領(lǐng)域中普遍存在的一些假設(shè)提出了挑戰(zhàn)。本研究的主要貢獻(xiàn)可概括如下:

我們?cè)诶碚撋献C明，如果沒(méi)有對(duì)所考慮的學(xué)習(xí)方法和數(shù)據(jù)集產(chǎn)生歸納偏置，那么解耦表示的無(wú)監(jiān)督學(xué)習(xí)基本上是不可能的。

我們?cè)谝豁?xiàng)可重復(fù)的大規(guī)模實(shí)驗(yàn)研究中研究了當(dāng)前的方法及其歸納偏置，該研究采用了完善的無(wú)監(jiān)督解耦學(xué)習(xí)實(shí)驗(yàn)方案。我們實(shí)現(xiàn)了六種最新的無(wú)監(jiān)督解耦學(xué)習(xí)方法以及六種從頭開(kāi)始的解耦方法，并在七個(gè)數(shù)據(jù)集上訓(xùn)練了超過(guò)12000個(gè)模型。

我們發(fā)布了disentanglement_lib，這是一個(gè)用于訓(xùn)練和評(píng)估解耦表示的新庫(kù)。由于復(fù)制我們的結(jié)果需要大量的計(jì)算工作，我們還發(fā)布了超過(guò)10000個(gè)預(yù)訓(xùn)練的模型，可以作為未來(lái)研究的基線(xiàn)。

我們分析實(shí)驗(yàn)結(jié)果，并挑戰(zhàn)了無(wú)監(jiān)督解耦學(xué)習(xí)中的一些共識(shí)：

(i)雖然所有考慮的方法都證明有效確保聚合后驗(yàn)的各個(gè)維度不相關(guān)，我們觀察到的表示維度是相關(guān)的

(ii)由于random seeds和超參數(shù)似乎比模型選擇更重要，我們沒(méi)有發(fā)現(xiàn)任何證據(jù)表明所考慮的模型可以用于以無(wú)監(jiān)督的方式可靠地學(xué)習(xí)解耦表示。此外，如果不訪(fǎng)問(wèn)ground-truth標(biāo)簽，即使允許跨數(shù)據(jù)集傳輸良好的超參數(shù)值，似乎也無(wú)法識(shí)別良好訓(xùn)練的模型。

(iii)對(duì)于所考慮的模型和數(shù)據(jù)集，我們無(wú)法驗(yàn)證以下假設(shè)，即解耦對(duì)于下游任務(wù)是有用的，例如通過(guò)降低學(xué)習(xí)的樣本復(fù)雜性。

基于這些實(shí)證證據(jù)，我們提出了進(jìn)一步研究的三個(gè)關(guān)鍵領(lǐng)域：

(i)歸納偏置的作用以及隱性和顯性監(jiān)督應(yīng)該明確：無(wú)監(jiān)督模型選擇仍然是一個(gè)關(guān)鍵問(wèn)題。

(ii) 應(yīng)證明強(qiáng)制執(zhí)行學(xué)習(xí)表示的特定解耦概念的具體實(shí)際好處。

(iii) 實(shí)驗(yàn)應(yīng)在不同難度的數(shù)據(jù)集上建立可重復(fù)的實(shí)驗(yàn)設(shè)置。

最佳論文：稀疏高斯過(guò)程回歸變分的收斂速度

第二篇最佳論文來(lái)自英國(guó)劍橋大學(xué)。

論文標(biāo)題：《稀疏高斯過(guò)程回歸變分的收斂速度》

Rates of Convergence for Sparse Variational Gaussian Process Regression

作者：DavidR. Burt1，Carl E. Rasmussen1，Mark van der Wilk2

arXiv地址：

https://arxiv.org/pdf/1903.03571.pdf

論文摘要

自從許多研究人提出了對(duì)高斯過(guò)程后驗(yàn)的變分近似法后，避免了數(shù)據(jù)集大小為N時(shí)O(N3)的縮放。它們將計(jì)算成本降低到O(NM2)，其中M≤N是誘導(dǎo)變量的數(shù)量。雖然N的計(jì)算成本似乎是線(xiàn)性的，但算法的真正復(fù)雜性取決于M如何增加以確保一定的近似質(zhì)量。

研究人員通過(guò)描述KL向后發(fā)散的上界行為來(lái)解決這個(gè)問(wèn)題。證明了在高概率下，M的增長(zhǎng)速度比N慢， KL的發(fā)散度可以任意地減小。

一個(gè)特別有趣的例子是，對(duì)于具有D維度的正態(tài)分布輸入的回歸，使用流行的 Squared Exponential核M就足夠了。研究結(jié)果表明，隨著數(shù)據(jù)集的增長(zhǎng)，高斯過(guò)程后驗(yàn)可以真正近似地逼近，并為如何在連續(xù)學(xué)習(xí)場(chǎng)景中增加M提供了具體的規(guī)則。

總結(jié)

研究人員證明了稀疏GP回歸變分近似到后驗(yàn)變分近似的KL發(fā)散的界限，該界限僅依賴(lài)于先驗(yàn)核的協(xié)方差算子的特征值的衰減。

這些邊界證明了直觀的結(jié)果，平滑的核、訓(xùn)練數(shù)據(jù)集中在一個(gè)小區(qū)域，允許高質(zhì)量、非常稀疏的近似。這些邊界證明了用M≤N進(jìn)行真正稀疏的非參數(shù)推理仍然可以提供可靠的邊際似然估計(jì)和點(diǎn)后驗(yàn)估計(jì)。

對(duì)非共軛概率模型的擴(kuò)展，是未來(lái)研究的一個(gè)有前景的方向。

DeepMind、牛津、MIT等7篇最佳論文提名

除了最佳論文外，本次大會(huì)還公布了7篇獲得榮譽(yù)獎(jiǎng)的論文。

Analogies Explained: Towards Understanding Word Embeddings

作者：CarlAllen1，Timothy Hospedales1，來(lái)自愛(ài)丁堡大學(xué)。

論文地址：https://arxiv.org/pdf/1901.09813.pdf

SATNet: Bridging deep learning and logical reasoning using a differentiable satisfiability solver

作者：Po-WeiWang1，Priya L. Donti1 2，Bryan Wilder3，Zico Kolter1 4，分別來(lái)自卡耐基梅隆大學(xué)、南加州大學(xué)、Bosch Center for Artificial Intelligence。

論文地址：https://arxiv.org/pdf/1905.12149.pdf

A Tail-Index Analysis of Stochastic Gradient Noise in Deep Neural Networks

作者：Umut?im?ekli?，L, event Sagun?, Mert Gürbüzbalaban?，分別來(lái)自巴黎薩克雷大學(xué)、洛桑埃爾科爾理工大學(xué)、羅格斯大學(xué)。

論文地址：https://arxiv.org/pdf/1901.06053.pdf

Towards A Unified Analysis of Random Fourier Features

作者：Zhu Li，Jean-Fran?ois Ton，Dino Oglic，Dino Sejdinovic，分別來(lái)自牛津大學(xué)、倫敦國(guó)王學(xué)院。

論文地址：https://arxiv.org/pdf/1806.09178.pdf

Amortized Monte Carlo Integration

作者：Adam Golinski、Yee Whye Teh、Frank Wood、Tom Rainforth，分別來(lái)自牛津大學(xué)和英屬哥倫比亞大學(xué)。

論文地址：http://www.gatsby.ucl.ac.uk/~balaji/udl-camera-ready/UDL-12.pdf

Social Influence as Intrinsic Motivation for Multi-Agent Deep Reinforcement Learning

作者：Natasha Jaques, Angeliki Lazaridou, Edward Hughes, Caglar Gulcehre, Pedro A. Ortega, DJ Strouse, Joel Z. Leibo, Nando de Freitas，分別來(lái)自MIT媒體實(shí)驗(yàn)室、DeepMind和普林斯頓大學(xué)。

論文地址：https://arxiv.org/pdf/1810.08647.pdf

Stochastic Beams and Where to Find Them: The Gumbel-Top-k Trick for Sampling Sequences Without Replacement

作者：Wouter Kool, Herke van Hoof, Max Welling，分別來(lái)自荷蘭阿姆斯特丹大學(xué)，荷蘭ORTEC和加拿大高等研究所(CIFAR)。

論文地址：https://arxiv.org/pdf/1903.06059.pdf

ICML 2019:谷歌成為最大贏家，清北、南大港中文榜上有名

本次大會(huì)還統(tǒng)計(jì)了收錄論文的領(lǐng)域分布情況：

提交論文最多的子領(lǐng)域分別是：深度學(xué)習(xí)、通用機(jī)器學(xué)習(xí)、強(qiáng)化學(xué)習(xí)、優(yōu)化等。

而早在上個(gè)月，Reddit網(wǎng)友就發(fā)表了他和他的公司對(duì)本次ICML 2019論文錄取情況的統(tǒng)計(jì)結(jié)果。

地址：

https://www.reddit.com/r/MachineLearning/comments/bn82ze/n_icml_2019_accepted_paper_stats/

今年，在所有錄取的論文中，谷歌無(wú)疑成為了最大贏家。

錄取論文總數(shù)排名(按研究所)

上表顯示了以研究所(包括產(chǎn)業(yè)界和學(xué)術(shù)界)為單位，錄取論文總數(shù)的排名。這項(xiàng)統(tǒng)計(jì)中至少有一位作者隸屬于某研究所，因此一篇論文可以出現(xiàn)多次且隸屬多個(gè)研究所。

排名地址：

https://i.redd.it/wdbw91yheix21.png

其中，藍(lán)色代表論文總數(shù)，綠色和紅色分別代表第一作者和通訊作者參與錄取論文的論文數(shù)量。并且，附屬機(jī)構(gòu)是手動(dòng)合并到研究所的，例如Google Inc.、Google AI、Google UK都將映射到Google。

可以看到谷歌錄取論文的數(shù)量遠(yuǎn)超其它研究所，位列第一；緊隨其后的是MIT、伯克利、谷歌大腦、斯坦福、卡內(nèi)基梅隆以及微軟。

作者還分別根據(jù)學(xué)界和產(chǎn)業(yè)界進(jìn)行了統(tǒng)計(jì)Top 50排名。

排名統(tǒng)計(jì)可視化地址：

https://i.redd.it/37hxhsmfzix21.png

在學(xué)界排名中，MIT、加州伯克利分校、斯坦福和卡內(nèi)基梅隆奪冠前四，成為本屆錄取論文數(shù)的第一梯隊(duì)，且與第二梯隊(duì)拉開(kāi)了一定差距。

國(guó)內(nèi)上榜的院校包括清華大學(xué)、北京大學(xué)、南京大學(xué)、香港中文大學(xué)。

排名可視化地址：

https://i.redd.it/wa6kjzmhzix21.png

在企業(yè)研究所Top 50排名中，谷歌無(wú)疑成為最大贏家：谷歌、谷歌大腦和谷歌DeepMind分別取得第一、第二和第四的好成績(jī)。微軟、Facebook和IBM成績(jī)也較優(yōu)異，位居第三、第五和第六。

而對(duì)于國(guó)內(nèi)企業(yè)，騰訊(Tencent)成績(jī)較好，位居第八名。

此外，從本屆ICML 2019錄取論文情況來(lái)看，還可以得到如下統(tǒng)計(jì)：

452篇論文（58.4％）純屬學(xué)術(shù)研究；

60篇論文（7.8％）來(lái)自工業(yè)研究機(jī)構(gòu)；

262篇論文（33.9％）作者隸屬于學(xué)術(shù)界和工業(yè)界。

總結(jié)上述的統(tǒng)計(jì)，我們可以得到如下結(jié)果：

77%的貢獻(xiàn)來(lái)自學(xué)術(shù)界；

23%的貢獻(xiàn)來(lái)自產(chǎn)業(yè)界。