這一年都有哪些重要進展呢？2018年即將過去，一些大牛也給出了自己的看法。

剛剛，前Quora技術(shù)VP、AI領(lǐng)域技術(shù)專家Xavier Amatriain在Quora上回答了一個相關(guān)的問題：2018年ML/AI領(lǐng)域最重要的進展是什么？

他在答案中給出了4個方面：

答案發(fā)布之后，便引發(fā)了大量圍觀，Quora上點贊近400，Yann LeCun也在Twitter上轉(zhuǎn)發(fā)推薦。

當然，答案不僅僅只有這4句話，Amatriain也都給出了解釋。

炒作降溫

2017年，是AI炒作無所不在的一年。最突出的，就是馬斯克和扎克伯格等各方大佬就AI對于人類是福是禍進行了隔空論戰(zhàn)。這些論戰(zhàn)為AI賺足了注意力。

Amatriain表示，與2017年相比，我們好像冷靜下來了。一個主要的原因可能是這些大佬們忙于處理其他事情了。

比如Facebook深陷數(shù)據(jù)與隱私旋渦，麻煩事情不斷。馬斯克也歷經(jīng)特斯拉生產(chǎn)地獄，度過了艱難的一年。

與此同時，雖然很多人都認為自動駕駛以及類似的技術(shù)正在向前發(fā)展，但就目前事故不斷的情況，所謂的“明天”，還有很遠。

更關(guān)注具體問題

相對于AI是福是禍的討論，2018年對AI的關(guān)注也開始變得愈加務(wù)實了。

首先是公平性。2018年，對公平性的討論，并不僅僅限于發(fā)表一些論文或者言論。谷歌還上線了相應(yīng)的課程。

谷歌推出針對AI歧視的新課程！60分鐘的ML公平自學(xué)訓(xùn)練模塊 | 資源

其次是可解釋性和因果關(guān)系。因果關(guān)系之所以重新成為了人們關(guān)注的焦點，主要是因為圖靈獎得主、貝葉斯網(wǎng)絡(luò)之父Judea Pearl出版了《The Book of Why》一書，在Twitter上引發(fā)了關(guān)于因果關(guān)系的大討論。

而且，ACM Recsys上獲得最佳論文獎的論文，也探討了如何在嵌入中包含因果關(guān)系的問題。

討論也不僅僅限于學(xué)界，大眾媒體《大西洋月刊》也發(fā)表文章指出，這是對現(xiàn)有人工智能方法的“挑戰(zhàn)”。

雖然因果關(guān)系引發(fā)了不少的討論，但也有許多學(xué)者認為，從某種程度上來說， 因果關(guān)系其實分散了人們對理論的關(guān)注，應(yīng)該關(guān)注更加具體的問題，比如模型的可解釋性。

其中最具代表性的，就是華盛頓大學(xué)Marco Tulio Ribeiro等人發(fā)表的論文，這篇論文是對著名的LIME（一種解釋任何機器學(xué)習(xí)分類器的預(yù)測的技術(shù)）模型的跟進。

論文鏈接：

https://homes.cs.washington.edu/~marcotcr/aaai18.pdf

深度學(xué)習(xí)在NLP領(lǐng)域大放異彩

2018年，深度學(xué)習(xí)依舊受到了質(zhì)疑。CMU學(xué)者Simon DeDeo在Twitter上猛烈炮轟Google Brain團隊，稱這技術(shù)（機器學(xué)習(xí)）現(xiàn)在所做的事情，跟1990年沒什么差別，頂多就是規(guī)模更大，但并沒有給我們帶來比20年前更深刻的見解。

“Google只認錢！機器學(xué)習(xí)20年沒進步”，CMU學(xué)者開炮

Amatriain說，深度學(xué)習(xí)等技術(shù)并沒有止步不前，還有很多領(lǐng)域沒有運用相關(guān)的技術(shù)。具體來說，深度學(xué)習(xí)在計算機視覺之外的領(lǐng)域取得了前所未有的成功。

最為突出的就是NLP領(lǐng)域。谷歌的Smart Compose（Gmail中智能預(yù)測拼寫神經(jīng)網(wǎng)絡(luò)）和Duplex對話系統(tǒng)（會打電話的AI），可以說是2018年最令人印象深刻的兩個AI應(yīng)用了。

NLP領(lǐng)域的進展，也不僅僅只體現(xiàn)在應(yīng)用上。在語言模型上也有了很大的進步。最大的功臣是Fast.ai的UMLFit，推廣了相關(guān)的概念與想法。

然后是其他的方法，比如艾倫研究所的ELMo、OpenAI的Transformers、谷歌最近的BERT等等，都取得了非常好的效果。

它們提供了即用型的預(yù)訓(xùn)練和通用模型，可以針對特定任務(wù)微調(diào)。因此，這些模型的出現(xiàn)，也被描述為“NLP的Imagenet時刻”。

除了這些之外，還有其他一些進步，比如Facebook的多語言嵌入。而且，我們也看到了這些方法被整合到通用的NLP框架中的速度變得非?？炝?，比如AllenNLP或Zalando的FLAIR。

關(guān)于NLP領(lǐng)域的總結(jié)，還有一篇文章，推薦給你閱讀：

圍繞著數(shù)據(jù)改進，深度學(xué)習(xí)領(lǐng)域仍然有非常有趣的進展。

比如說，對于深度學(xué)習(xí)非常關(guān)鍵的數(shù)據(jù)擴充（data augmentation）在今年有了新的進展。谷歌發(fā)布了auto-augment，一種深度強化學(xué)習(xí)方法，可以自動擴充訓(xùn)練數(shù)據(jù)。

一個更加極端想法是用合成數(shù)據(jù)訓(xùn)練深度學(xué)習(xí)模型，許多人都認為這是AI未來發(fā)展的關(guān)鍵。英偉達在《Training Deep Learning with Synthetic Data》論文中提出了一些新的想法。

論文鏈接：

https://arxiv.org/abs/1804.06516

在《Learning from the Experts》一文中，展示了如何使用專家系統(tǒng)合成數(shù)據(jù)。

論文鏈接：

https://arxiv.org/abs/1804.08033

最后，還有一種方法是“weak supervision”，可以減少對大量手工標注數(shù)據(jù)的需求。Snorkel是一個非常有趣的項目，想要提供了一個通用的框架，來推進這種方法。

項目地址：

https://blog.acolyer.org/2018/08/22/snorkel-rapid-training-data-creation-with-weak-supervision/amp/?__twitter_impression=true

Amatriain說，就AI領(lǐng)域更為基礎(chǔ)的突破，今年并沒有看到太多。

但他不同意Hinton的看法，即認為缺乏創(chuàng)新是因為這個領(lǐng)域年輕人太多，資深的人太少。

在他看來，缺乏突破的主要原因是，現(xiàn)有的方法仍舊有許多地方可以應(yīng)用，因此很少有人去冒險近嘗試不切實際的想法。尤其是當前大多數(shù)研究都是由大公司資助的，讓這一特點更加突出了。

不過，還是有一些人在嘗試，代表性的論文有兩篇。

論文鏈接：

https://arxiv.org/pdf/1803.01271.pdf

雖然這篇論文是高度實驗性的，并且使用的是已知的方法，但它打開了新方法的大門。因為它證明了現(xiàn)有的最佳方法，并不是最好的。

論文鏈接：

https://arxiv.org/abs/1806.07366

這篇論問是最近NeurIPS最佳論文獲得者，它挑戰(zhàn)了深度學(xué)習(xí)中的一些基本內(nèi)容，包括層本身的概念。