引言

NeurIPS是全球頂級(jí)的機(jī)器學(xué)習(xí)會(huì)議。沒有其他研究會(huì)議可以吸引6000多位該領(lǐng)域內(nèi)真正的精英同時(shí)參加。如果你非常想了解機(jī)器學(xué)習(xí)最新的研究進(jìn)展，就需要關(guān)注NeurIPS。

每年，NeurIPS都會(huì)為機(jī)器學(xué)習(xí)領(lǐng)域的頂級(jí)研究論文頒發(fā)各類獎(jiǎng)項(xiàng)。考慮到這些論文的前沿水平，它們對(duì)于大多數(shù)人來說通常晦澀難懂。

但是不用擔(dān)心！我瀏覽了這些優(yōu)秀論文，并在本文總結(jié)了要點(diǎn)！我的目的是通過將關(guān)鍵的機(jī)器學(xué)習(xí)概念分解為大眾易于理解的小點(diǎn)來幫助你了解每篇論文的本質(zhì)。

以下是我將介紹的三個(gè)NeurIPS2019最佳論文的獎(jiǎng)項(xiàng)：

最佳論文獎(jiǎng)

杰出新方向論文獎(jiǎng)

經(jīng)典論文獎(jiǎng)

讓我們深入了解吧！

NeurIPS 2019最佳論文獎(jiǎng)

在NeurIPS 2019上獲得的最佳論文獎(jiǎng)是：

具有Massart噪聲的半空間的獨(dú)立分布的PAC學(xué)習(xí)（Distribution-Independent PAC Learning of Halfspaces with MassartNoise）

這是一篇非常好的論文！這讓我開始思考機(jī)器學(xué)習(xí)中的一個(gè)基本概念：噪聲和分布。這需要對(duì)論文本身進(jìn)行大量研究，我將盡力解釋論文的要點(diǎn)而不使其變得復(fù)雜。

我們先重述標(biāo)題。本文的研究討論了一種用于學(xué)習(xí)半空間的算法，該算法在與分布無關(guān)的PAC模型中使用，且研究的半空間具有Massart噪聲。該算法是該領(lǐng)域中最有效的算法。

本文的關(guān)鍵術(shù)語如下。

回顧布爾函數(shù)和二進(jìn)制分類的概念。本質(zhì)上，

一個(gè)半空間是一個(gè)布爾函數(shù)，其中兩個(gè)類（正樣本和負(fù)樣本）由一個(gè)超平面分開。由于超平面是線性的，因此它也被稱為線性閾值函數(shù)（LTF）。

在數(shù)學(xué)上，線性閾值函數(shù)或半空間是一個(gè)閾值函數(shù)，可以由以某個(gè)閾值T為邊界的輸入?yún)?shù)的線性方程表示。布爾函數(shù)如果具有以下形式，則為線性閾值函數(shù)：

其中：

是權(quán)重

是特征

表示給出實(shí)數(shù)符號(hào)的符號(hào)函數(shù)

是閾值

我們也可以將LTF稱為感知器（此處需要使用神經(jīng)網(wǎng)絡(luò)知識(shí)?。?/p>

PAC（Probably Approximately Correct）模型是二分類的標(biāo)準(zhǔn)模型之一。

“Massart噪聲條件，或僅僅是Massart噪聲，是每個(gè)樣本/記錄的標(biāo)簽以學(xué)習(xí)算法未知的很小概率進(jìn)行的翻轉(zhuǎn)?！?/p>

翻轉(zhuǎn)的可能性受某個(gè)始終小于1/2的因子n的限制。為了找到使得誤分類錯(cuò)誤較小的假設(shè)，我們?cè)谙惹暗恼撐闹羞M(jìn)行了各種嘗試來限制錯(cuò)誤以及與數(shù)據(jù)噪聲相關(guān)的風(fēng)險(xiǎn)。

這項(xiàng)研究在確定樣本復(fù)雜性的同時(shí)，證明了多項(xiàng)式時(shí)間（1/epsilon）的額外風(fēng)險(xiǎn)等于Massart噪聲水平加上epsilon。

本文是邁向僅實(shí)現(xiàn)ε過量風(fēng)險(xiǎn)這一目標(biāo)的巨大飛躍。

獲得NeurIPS杰出論文獎(jiǎng)提名的其他論文：

1. Besov IPM損耗下GAN的非參數(shù)密度估計(jì)和收斂速度（Nonparametric Density Estimation & Convergence Rates for GANs under Besov IPM Losses）

2. 快速準(zhǔn)確的最小均方求解（Fast andAccurate Least-Mean-Squares Solvers）

NeurIPS 2019杰出新方向論文

今年的NeurIPS2019為獲獎(jiǎng)?wù)撐脑O(shè)置了一個(gè)新獎(jiǎng)項(xiàng)杰出新方向論文獎(jiǎng)。用主辦方的話來說： “該獎(jiǎng)項(xiàng)旨在表彰為未來研究建立新途徑的杰出工作?！?/p>

該獎(jiǎng)項(xiàng)的獲獎(jiǎng)文章是 ——《一致收斂性可能無法解釋深度學(xué)習(xí)中的泛化性》（Uniform convergence may be unable to explain generalization in deeplearning）

今年我最喜歡的論文之一！本文從理論和實(shí)踐兩個(gè)方面闡述了當(dāng)前的深度學(xué)習(xí)算法無法解釋深度神經(jīng)網(wǎng)絡(luò)中的泛化。讓我們來更詳細(xì)地了解這一點(diǎn)。

一致收斂性可能無法解釋深度學(xué)習(xí)中的泛化性（Uniform convergence may be unable to explain generalization in deeplearning）

大型網(wǎng)絡(luò)很好地概括了看不見的訓(xùn)練數(shù)據(jù)，盡管這些數(shù)據(jù)已被訓(xùn)練為完全適合隨機(jī)標(biāo)記。但是，當(dāng)特征數(shù)量大于訓(xùn)練樣本的數(shù)量時(shí)，這些網(wǎng)絡(luò)的表現(xiàn)就沒那么好了。

盡管如此，它們?nèi)匀粸槲覀兲峁┝俗钚碌男阅苤笜?biāo)。這也表明這些超參數(shù)化模型過度地依賴參數(shù)計(jì)數(shù)而沒有考慮批量大小的變化。如果我們遵循泛化的基本方程：

測(cè)試誤差 – 訓(xùn)練誤差 《= 泛化界限

對(duì)于上面的方程式，我們采用所有假設(shè)的集合，并嘗試最小化復(fù)雜度并使這些界限盡可能地窄。

迄今為止的研究都集中于通過獲取假設(shè)類別的相關(guān)子集來收緊界限。在完善這些約束方面也有很多開創(chuàng)性的研究，所有這些都基于統(tǒng)一收斂的概念。

但是，本文解釋這些算法可能出現(xiàn)的兩種情況：

太大，并且其復(fù)雜度隨參數(shù)數(shù)量而增加；

很小，但是在修改后的網(wǎng)絡(luò)上設(shè)計(jì)而來

“該論文定義了一組用于泛化界限的標(biāo)準(zhǔn)，并通過一組演示實(shí)驗(yàn)證明統(tǒng)一收斂為何無法完全解釋深度學(xué)習(xí)中的泛化?！?/p>

泛化界限如下：

1. 理想情況下必須 《1（空）

2. 隨著寬度的增加變小

3. 適用于由SGD（隨機(jī)梯度下降）學(xué)習(xí)的網(wǎng)絡(luò)

4. 隨著隨機(jī)翻轉(zhuǎn)的訓(xùn)練標(biāo)簽的比例而增加

5. 應(yīng)該與數(shù)據(jù)集大小成反比

之前提到的實(shí)驗(yàn)是在MNIST數(shù)據(jù)集上使用三種類型的過度參數(shù)化模型（均在SGD算法上進(jìn)行訓(xùn)練）完成的：

1. 線性分類器

2. 具有ReLU的寬神經(jīng)網(wǎng)絡(luò)

3. 具有固定隱藏權(quán)重的無限寬度神經(jīng)網(wǎng)絡(luò)

本文繼而演示了針對(duì)不同訓(xùn)練集大小的不同超參數(shù)設(shè)置。

“一個(gè)非常有趣的發(fā)現(xiàn)是，盡管測(cè)試集誤差隨訓(xùn)練集大小的增加而減小，但泛化界限實(shí)際上卻有所增加。 ”

如果網(wǎng)絡(luò)只是記住了我們不斷添加到訓(xùn)練集中的數(shù)據(jù)點(diǎn)，該怎么辦？

以研究人員給出的例子為例。對(duì)于一個(gè)擁有1000個(gè)維度的數(shù)據(jù)集的分類任務(wù)，使用SGD訓(xùn)練具有1個(gè)隱藏層ReLU和10萬個(gè)單位的超參數(shù)化模型。訓(xùn)練集大小的增加可提高泛化性并減少測(cè)試集錯(cuò)誤。

盡管進(jìn)行了泛化，它們?nèi)匀蛔C明了決策邊界非常復(fù)雜。這是它們違背統(tǒng)一收斂思想的地方。

因此，即使對(duì)于線性分類器，統(tǒng)一收斂也不能完全解釋泛化。實(shí)際上，當(dāng)增加樣本數(shù)量時(shí)，這可以認(rèn)為是導(dǎo)致界限增加的一個(gè)因素！

盡管先前的研究已將發(fā)展深度網(wǎng)絡(luò)的方向朝著依賴于算法的方向發(fā)展（以便堅(jiān)持一致收斂），但本文提出了開發(fā)不依賴于算法的技術(shù)的需求，這些技術(shù)不會(huì)局限于一致收斂來解釋泛化。

我們可以清楚地知道，為什么該機(jī)器學(xué)習(xí)研究論文在NeurIPS 2019上獲得了杰出新方向論文獎(jiǎng)。

研究人員已經(jīng)表明，僅僅用一致收斂不足以解釋深度學(xué)習(xí)中的泛化。同樣，不可能達(dá)到滿足所有5個(gè)標(biāo)準(zhǔn)的小界限。這開辟了一個(gè)全新的研究領(lǐng)域來探索可能解釋泛化的其他工具。

NeurIPS在杰出新方向論文獎(jiǎng)上的其他提名包括：

1. 端到端：表征的梯度隔離學(xué)習(xí)（Putting AnEnd to End-to-End： Gradient-Isolated Learning of Representations）

2. 場(chǎng)景表示網(wǎng)絡(luò)：連續(xù)的3D-結(jié)構(gòu)感知神經(jīng)場(chǎng)景表示（SceneRepresentation Networks： Continuous 3D-Structure-Aware Neural SceneRepresentations）

NeurIPS 2019的經(jīng)典論文獎(jiǎng)

每年，NeurIPS還會(huì)獎(jiǎng)勵(lì)10年前在大會(huì)上發(fā)表的一篇論文，該論文對(duì)該領(lǐng)域的貢獻(xiàn)產(chǎn)生了深遠(yuǎn)的影響（也是廣受歡迎的論文）。

今年，“經(jīng)典論文獎(jiǎng)”授予了LinXiao寫作的“正則隨機(jī)學(xué)習(xí)和在線優(yōu)化的雙重平均法”。這項(xiàng)研究基于基本概念，這些基本概念為眾所周知的現(xiàn)代機(jī)器學(xué)習(xí)奠定了基礎(chǔ)。

正則隨機(jī)學(xué)習(xí)和在線優(yōu)化的雙重平均法（Dual Averaging Method for Regularized Stochastic Learning and OnlineOptimization）

讓我們分解一下這篇極佳的論文中涵蓋的四個(gè)關(guān)鍵概念：

隨機(jī)梯度下降：隨機(jī)梯度下降已經(jīng)正式成為機(jī)器學(xué)習(xí)中的最優(yōu)化方法。它可以通過以下隨機(jī)優(yōu)化來實(shí)現(xiàn)。回顧SGD和大樣本隨機(jī)優(yōu)化方程——這里，w是權(quán)重向量，z是輸入特征向量。對(duì)于t = 0，1，2…

在線凸優(yōu)化：另一項(xiàng)開創(chuàng)性的研究。它被模擬為游戲，玩家將嘗試預(yù)測(cè)權(quán)重向量，并在每個(gè)t處計(jì)算出最終的損失。主要目的是最大程度地減少這種損失——結(jié)果與我們使用隨機(jī)梯度下降進(jìn)行優(yōu)化的方式非常相似

壓縮學(xué)習(xí)：這包括套索回歸，L1正則化最小二乘和其他混合正則化方案

近端梯度法：與早期的技術(shù)相比，這是一種減少損耗且仍保留凸度的更快的方法

盡管先前的研究開發(fā)了一種收斂到O（1/t）的有效算法，但數(shù)據(jù)稀疏性是在那之前一直被忽略的一個(gè)因素。本文提出了一種新的正則化技術(shù)，稱為正則化雙重平均法（RDA），用于解決在線凸優(yōu)化問題。

當(dāng)時(shí)，這些凸優(yōu)化問題效率不高，特別是在可伸縮性方面。

這項(xiàng)研究提出了一種批處理優(yōu)化的新方法。這意味著最初僅提供一些獨(dú)立樣本，并且基于這些樣本（在當(dāng)前時(shí)間t）計(jì)算權(quán)重向量。相對(duì)于當(dāng)前權(quán)重向量的損失與次梯度一起計(jì)算。并在迭代中（在時(shí)間t + 1）再次使用它。

具體而言，在RDA中，考慮了平均次梯度，而不是當(dāng)前的次梯度。

“當(dāng)時(shí)，對(duì)于稀疏的MNIST數(shù)據(jù)集，此方法比SGD和其他流行技術(shù)獲得了更好的結(jié)果。實(shí)際上，隨著稀疏度的增加，RDA方法也具有明顯更好的結(jié)果?！?/p>

在進(jìn)一步研究上述方法的多篇論文中，如流形識(shí)別、加速RDA等，都證明了這篇論文被授予經(jīng)典論文獎(jiǎng)是當(dāng)之無愧。

結(jié)語

NeurIPS 2019再次成為了一次極富教育意義和啟發(fā)性的會(huì)議。我對(duì)杰出新方向論文獎(jiǎng)以及它如何解決深度學(xué)習(xí)中的泛化問題特別感興趣。

哪一篇機(jī)器學(xué)習(xí)研究論文引起了你的注意？或者是否有其他的論文，讓你想要去嘗試或者啟發(fā)了你？請(qǐng)?jiān)谙旅娴脑u(píng)論區(qū)中告訴我們吧。