一年一度的NeurIPS又開始啦！寒冷的蒙特利爾這一周將開啟AI模式，來自世界各地的研究人員、相關(guān)企業(yè)和學(xué)者將齊聚這里探討AI的最新進(jìn)展和未來發(fā)展。

為期七天的會議將帶來一系列豐富的主題演講、論文口頭報告、海報展示、demo展示等內(nèi)容。我們?yōu)楦魑恍』锇閹砹私裉旒磳⑴e行教程部分的內(nèi)容概覽，以及即將到來的Oral口頭報告的精彩內(nèi)容預(yù)告。

Tutorials 新理論新方法新技術(shù)

Adversarial Robustness: Theory and Practice

來自CMU和MIT的研究人員將對于如何實現(xiàn)真正可靠和魯棒的機器學(xué)習(xí)系統(tǒng)進(jìn)行講解。這一教程首先對這一領(lǐng)域存在的關(guān)鍵挑戰(zhàn)進(jìn)行了綜述，并集中在對抗魯棒性這一問題上進(jìn)行深入細(xì)致的分析。將從理論和實踐角度討論這一問題的各個方面，并將展示近年來一些經(jīng)過驗證的有效做法。

Scalable Bayesian Inference

來自杜克大學(xué)的研究人員將帶來利用貝葉斯統(tǒng)計方法應(yīng)用于大規(guī)模數(shù)據(jù)集分析的前沿方法。教程將集中與兩個方面，首先是應(yīng)用于大規(guī)模數(shù)據(jù)的算法，其次是處理超高維度數(shù)據(jù)的手段。教程首先將回顧經(jīng)典的大樣本近似后驗分布方法（拉普拉斯方法和貝葉斯中心極限定理），隨后轉(zhuǎn)向利用馬爾科夫蒙特卡洛算法那的概念與實踐方法。主要的注意力將放在如何在保證精度的情況下，快速的獲取大規(guī)模數(shù)據(jù)集的后驗。

Visualization for Machine Learning

對于機器學(xué)習(xí)來說，可視化是幫助我們理解算法和數(shù)據(jù)的有效手段。這一教程將概覽目前的機器學(xué)習(xí)可視化方法，如何在研究的不同階段使用合適的可視化方法：分析訓(xùn)練數(shù)據(jù)、理解模型、測試模型分析等。同時還將探索可視化在教育以及非技術(shù)領(lǐng)域的應(yīng)用價值。

Unsupervised Deep Learning

非監(jiān)督學(xué)習(xí)在深度學(xué)習(xí)領(lǐng)域起到越來越重要的作用，其最主要的挑戰(zhàn)在于如何確定目標(biāo)函數(shù)。這一教程將提供一種概率模型的方法，它將對數(shù)據(jù)進(jìn)行盡可能的壓縮。同時教程還將提供包括非歸一化的基于能量的方法、自監(jiān)督算法以及生成模型等方法。

Automatic Machine Learning

機器學(xué)習(xí)的成功最開始依賴于人類的經(jīng)驗，需要經(jīng)驗豐富的研究人員構(gòu)建復(fù)雜的特征工程和選擇合適的機器學(xué)習(xí)方法、架構(gòu)并詳細(xì)的調(diào)節(jié)各種超參數(shù)。但自動機器學(xué)習(xí)的出現(xiàn)將逐漸改變這一狀況，通過機器學(xué)習(xí)和優(yōu)化方法來提供一種無須專業(yè)知識就可以使用的模型。這一領(lǐng)域十分廣泛，包含了超參數(shù)優(yōu)化、神經(jīng)網(wǎng)絡(luò)搜索、元學(xué)習(xí)和遷移學(xué)習(xí)等方向。這一教程將概述目前前沿的方法和技術(shù)。

Statistical Learning Theory: a Hitchhiker's Guide

這一教程將展示統(tǒng)計學(xué)習(xí)如何評估和實現(xiàn)學(xué)習(xí)系統(tǒng)，通過強調(diào)算法如何從結(jié)果中獲得反饋來提升性能，并理解其極限。這一教程主要為希望進(jìn)一步了解統(tǒng)計學(xué)習(xí)的研究人員準(zhǔn)備。

此外還有以下教程等待著各位熱愛學(xué)習(xí)的小伙伴們：

Common Pitfalls for Studying the Human Side of Machine Learning

Counterfactual Inference

Negative Dependence, Stable Polynomials, and All That

Oral 報告前沿進(jìn)展

Oral部分的演講往往會帶來很多優(yōu)秀的研究成果。下面讓我們一起來看看有哪些有趣的報告吧！

Learning to Reconstruct Shapes from Unseen Classes

從單張圖片重建未知物體。來自MIT的研究人員設(shè)計了一種稱為Generalizable Reconstraction(GenRe)的算法，來從訓(xùn)練數(shù)據(jù)中抽取更多一般的與類別無關(guān)的形狀信息。通過結(jié)合了可見表面的2.5D表示、可見和不可見表面的球形表示以及三位體素表示來探索了3D形狀如何得到2D圖片的過程，并成功的利用訓(xùn)練的網(wǎng)絡(luò)從單張圖片中恢復(fù)出訓(xùn)練集中不存在物體的三維形狀。

文章中提出的模型有三部分構(gòu)成：首先是一個從深度估計器；隨后是一個球面圖像補全網(wǎng)絡(luò)，最后是一個體素精煉網(wǎng)絡(luò)。最后通過體素和深度圖的疊加來實現(xiàn)3D形狀輸出。

下圖是網(wǎng)絡(luò)的預(yù)測，網(wǎng)絡(luò)僅僅在汽車、飛機和椅子的數(shù)據(jù)上進(jìn)行了訓(xùn)練，這表明模型已經(jīng)學(xué)習(xí)到了形狀的通用表示。

Discovery of Latent 3D Keypoints via End-to-end Geometric Reasoning

泰國科技學(xué)院和谷歌的研究人員提出了利用端到端的幾何推理方法發(fā)現(xiàn)潛在的3D關(guān)鍵點。這篇文章中，研究人員提出了KeyPointNet幾何推理框架來學(xué)習(xí)優(yōu)化每一類特定的3D關(guān)鍵點及其檢測器。這一框架在3D位姿估計任務(wù)中可以搜尋到一組最優(yōu)的關(guān)鍵點集來重建某個物體在兩個視角下的相對位姿。

同時它可以從不同視角的圖像中發(fā)現(xiàn)幾何和語義上一致的關(guān)鍵點，并在位姿估計任務(wù)中超越了全監(jiān)督學(xué)習(xí)的網(wǎng)絡(luò)表現(xiàn)。訓(xùn)練過程和推理過程如下，其中兩個視角下的剛體變換作為監(jiān)督信號，網(wǎng)絡(luò)優(yōu)化得到了一組在兩個視角下都一致的關(guān)鍵點。

網(wǎng)絡(luò)得到的關(guān)鍵點如上圖所示

Isolating Sources of Disentanglement in VAEs

多倫多大學(xué)向量學(xué)院的研究人員研究了隱變量間整體相關(guān)性，發(fā)現(xiàn)了解構(gòu)的變分下界可以用于解釋β-VAE用于學(xué)習(xí)解耦隱變量的能力，它鼓勵模型尋找統(tǒng)計上相互獨立的因素。隨后提出了一種稱為β-TCVAE（total correlation VAE）的算法用于代替β-VAE來學(xué)習(xí)解耦的隱變量。最后研究人員還提出了一個與類別無關(guān)的解耦計量指標(biāo)MIG（mutual information gap）。基于這一算法訓(xùn)練的模型顯示了解耦和整體相關(guān)性間的強烈關(guān)系。

上圖顯示了利用這種算法對于隱空間變量結(jié)構(gòu)的學(xué)習(xí)和效果

Policy Optimization via Importance Sampling

來自米蘭理工的研究人員們提出了一種基于重要性采樣的策略優(yōu)化方法。這篇文章中提出了一種新穎的不基于模型測策略搜索算法POIS（Policy Optimization via Importance Sampling），可以用于基于行為或者基于參數(shù)的方式。在這一研究中，研究人員首先得到高置信度的重要性采樣估計，隨后定義了代理目標(biāo)函數(shù)來進(jìn)行線下優(yōu)化，最終在一系列連續(xù)控制任務(wù)中進(jìn)行了線性和深度策略的測試。

Neuronal Capacity

來自加州大學(xué)歐文分校的研究人員認(rèn)為，學(xué)習(xí)機器的能力可以被定義為它可以執(zhí)行函數(shù)數(shù)量的對數(shù)。在這一工作中，研究人員回顧了已有的工作并推導(dǎo)出了新的結(jié)果，同時對多種神經(jīng)模型的容量進(jìn)行了計算：包括線性和多項式閾值門、線性和多項式受限閾值門以及ReLU神經(jīng)元，同時還推導(dǎo)了一些網(wǎng)絡(luò)的容量。

上圖是不同布爾函數(shù)在N個變量下的分級容量圖。

Dendritic cortical microcircuits approximate the backpropagation algorithm

來自伯爾尼、蒙特利爾大學(xué)的研究人員提出了利用樹突皮質(zhì)微電（回）路來近似反向傳播的方法。在這篇文章中研究人員們基于簡化的輸入間隔引入了一種多層神經(jīng)網(wǎng)絡(luò)模型，它可以基于誤差驅(qū)動突觸可塑性適應(yīng)網(wǎng)絡(luò)的全局輸出。與先前方法不同的是，這種模型不需要分成幾個部分，突觸學(xué)習(xí)是通過局域樹突的連續(xù)誤差信號驅(qū)動的。這一誤差信號來自于預(yù)測信號和實際信號不匹配的時候，通過簡單地使用樹突間隔，這一模型可以表示神經(jīng)元的誤差和正?；顒印Ｑ芯咳藛T還將其用于回歸和分類任務(wù)中，并發(fā)現(xiàn)它可以近似誤差反向計算的BP算法。

圖中顯示了樹突皮質(zhì)近似bp算法的原理。

A Retrieve-and-Edit Framework for Predicting Structured Outputs

斯坦福的研究人員實現(xiàn)了可以預(yù)測結(jié)構(gòu)化輸出的檢索-編輯框架。對于生成源代碼這樣復(fù)雜的結(jié)構(gòu)化輸出任務(wù)來說，通過對已有的代碼進(jìn)行編輯比從零開始生成容易的多。基于這樣的想法，研究人員提出了一種新的框架：首先根據(jù)輸入檢索出訓(xùn)練樣本，隨后對其進(jìn)行編輯得到期望的輸出結(jié)果。這種方法無需復(fù)雜的手工度量或與編輯器進(jìn)行聯(lián)調(diào)，計算高效適應(yīng)性強。作者表示這一框架可以用于任何基礎(chǔ)框架之上，并在Github Python代碼和Hearthstone card上取得了優(yōu)異的結(jié)果。

框架如上圖所示

顯示一些基于檢索-編輯框架生成的源碼。

Model-Agnostic Private Learning

牛津大學(xué)的研究人員在神經(jīng)科學(xué)的啟發(fā)下研究了如何實現(xiàn)知識泛化（一般化）的能力，在本文中提出為了一般化結(jié)構(gòu)化的知識、表示世界結(jié)構(gòu)的知識（例如世界中的實體間的相互關(guān)系）需要與實體自身的表示進(jìn)行分離。研究表明，在這一觀點的指導(dǎo)下、利用層級和記憶實現(xiàn)的神經(jīng)網(wǎng)絡(luò)可以學(xué)到記憶的統(tǒng)計信息并泛化結(jié)構(gòu)化知識，同時空間認(rèn)知能力是更一般化組織原則的實例。

結(jié)構(gòu)化與傳感信息的獨立表示在銜接編碼中結(jié)合。右圖顯示了模型需要從不同的域中抽取出一般化的統(tǒng)計信息。

除此之外，還有包括學(xué)習(xí)理論、優(yōu)化過程、強化學(xué)習(xí)、采樣、近似和各個領(lǐng)域詳盡的理論分析。感興趣的小伙伴可以在這里找到更多的Oral報告：https://neurips.cc/Conferences/2018/Schedule?type=Oral