我們現(xiàn)在所處的位置其實(shí)并不差。我們過去兩三年的進(jìn)步都是在深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)領(lǐng)域。深度學(xué)習(xí)在處理語音、文本、圖像和視頻方面給我們帶來了了不起的能力。再加上強(qiáng)化學(xué)習(xí)，我們在游戲、自主車輛、機(jī)器人等方面都有了很大的進(jìn)步。 我們正處于商業(yè)爆炸的最早階段，基于諸如通過聊天機(jī)器人與客戶互動來節(jié)省大量資金、個人助理和Alexa等新的個人便利應(yīng)用、個人汽車中的二級自動化，比如自適應(yīng)巡航控制、事故避免制動和車道維護(hù)。 Tensorflow、Keras和其他深度學(xué)習(xí)平臺比以往任何時候都更容易獲得，而且由于GPU的存在，比以往任何時候都更高效。 但是，已知的缺陷清單根本沒有解決：

需要太多標(biāo)簽化的訓(xùn)練數(shù)據(jù)。

模型的訓(xùn)練時間太長或者需要太多昂貴的資源，而且還可能根本無法訓(xùn)練。

超參數(shù)，尤其是圍繞節(jié)點(diǎn)和層的超參數(shù)，仍然是神秘的。自動化甚至是公認(rèn)的經(jīng)驗(yàn)法則仍然遙不可及。

遷移學(xué)習(xí)，意味著只能從復(fù)雜到簡單，而不是從一個邏輯系統(tǒng)到另一個邏輯系統(tǒng)。

我相信我們可以列一個更長的清單。正是在解決這些主要的缺點(diǎn)方面，我們已經(jīng)陷入了困境。

是什么阻止了我們

在深度神經(jīng)網(wǎng)絡(luò)中，目前的傳統(tǒng)觀點(diǎn)是，只要我們不斷地推動，不斷地投資，那么這些不足就會被克服。例如，從80年代到00年代，我們知道如何讓深度神經(jīng)網(wǎng)絡(luò)工作，只是我們沒有硬件。一旦趕上了，那么深度神經(jīng)網(wǎng)絡(luò)結(jié)合新的開源精神，就會打開這個新的領(lǐng)域。 所有類型的研究都有自己的動力。特別是一旦你在一個特定的方向上投入了大量的時間和金錢，你就會一直朝著這個方向前進(jìn)。如果你已經(jīng)投入了多年的時間來發(fā)展這些技能的專業(yè)知識，你就不會傾向于跳槽。 改變方向，即使你不完全確定應(yīng)該是什么方向。 有時候我們需要改變方向，即使我們不知道這個新方向到底是什么。最近，領(lǐng)先的加拿大和美國AI研究人員做到了這一點(diǎn)。他們認(rèn)為他們被誤導(dǎo)了，需要從本質(zhì)上重新開始。 這一見解在去年秋天被Geoffrey Hinton口頭表達(dá)出來，他在80年代末啟動神經(jīng)網(wǎng)絡(luò)主旨研究的過程中功不可沒。Hinton現(xiàn)在是多倫多大學(xué)的名譽(yù)教授，也是谷歌的研究員，他說他現(xiàn)在 "深深地懷疑 "反向傳播，這是DNN的核心方法。觀察到人腦并不需要所有這些標(biāo)簽數(shù)據(jù)來得出結(jié)論，Hinton說 "我的觀點(diǎn)是把這些數(shù)據(jù)全部扔掉，然后重新開始"。 因此，考慮到這一點(diǎn)，這里是一個簡短的調(diào)查，這些新方向介于確定可以實(shí)現(xiàn)和幾乎不可能實(shí)現(xiàn)之間，但不是我們所知道的深度神經(jīng)網(wǎng)的增量改進(jìn)。 這些描述有意簡短，無疑會引導(dǎo)你進(jìn)一步閱讀以充分理解它們。

看起來像DNN卻不是的東西

有一條研究路線與Hinton的反向傳播密切相關(guān)，即認(rèn)為節(jié)點(diǎn)和層的基本結(jié)構(gòu)是有用的，但連接和計(jì)算方法需要大幅修改。

我們從Hinton自己目前新的研究方向——CapsNet開始說起是很合適的。這與卷積神經(jīng)網(wǎng)絡(luò)的圖像分類有關(guān)，問題簡單來說，就是卷積神經(jīng)網(wǎng)絡(luò)對物體的姿勢不敏感。也就是說，如果要識別同一個物體，在位置、大小、方向、變形、速度、反射率、色調(diào)、紋理等方面存在差異，那么必須針對這些情況分別添加訓(xùn)練數(shù)據(jù)。 在卷積神經(jīng)網(wǎng)絡(luò)中，通過大量增加訓(xùn)練數(shù)據(jù)和（或）增加最大池化層來處理這個問題，這些層可以泛化，但只是損失實(shí)際信息。 下面的描述是眾多優(yōu)秀的CapsNets技術(shù)描述之一，該描述來自Hackernoon。

Capsule是一組嵌套的神經(jīng)層。在普通的神經(jīng)網(wǎng)絡(luò)中，你會不斷地添加更多的層。在CapsNet中，你會在一個單層內(nèi)增加更多的層?；蛘邠Q句話說，把一個神經(jīng)層嵌套在另一個神經(jīng)層里面。capsule里面的神經(jīng)元的狀態(tài)就能捕捉到圖像里面一個實(shí)體的上述屬性。一個膠囊輸出一個向量來代表實(shí)體的存在。向量的方向代表實(shí)體的屬性。該向量被發(fā)送到神經(jīng)網(wǎng)絡(luò)中所有可能的父代。預(yù)測向量是基于自身權(quán)重和權(quán)重矩陣相乘計(jì)算的。哪個父代的標(biāo)量預(yù)測向量乘積最大，哪個父代就會增加膠囊的結(jié)合度。其余的父代則降低其結(jié)合度。這種通過協(xié)議的路由方式優(yōu)于目前的max-pooling等機(jī)制。

CapsNet極大地減少了所需的訓(xùn)練集，并在早期測試中顯示出卓越的圖像分類性能。

多粒度級聯(lián)森林

2月份，我們介紹了南京大學(xué)新型軟件技術(shù)國家重點(diǎn)實(shí)驗(yàn)室的周志華和馮霽的研究，展示了他們稱之為多粒度級聯(lián)森林的技術(shù)。他們的研究論文顯示，多粒度級聯(lián)森林在文本和圖像分類上都經(jīng)常擊敗卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)。效益相當(dāng)顯著。

只需要訓(xùn)練數(shù)據(jù)的一小部分。

在您的桌面CPU設(shè)備上運(yùn)行，無需GPU。

訓(xùn)練速度一樣快，在許多情況下甚至更快，適合分布式處理。

超參數(shù)少得多，在默認(rèn)設(shè)置下表現(xiàn)良好。

依靠容易理解的隨機(jī)森林，而不是完全不透明的深度神經(jīng)網(wǎng)。

簡而言之，gcForest（多粒度級聯(lián)森林）是一種決策樹集合方法，其中保留了深網(wǎng)的級聯(lián)結(jié)構(gòu)，但不透明的邊緣和節(jié)點(diǎn)神經(jīng)元被隨機(jī)森林組與完全隨機(jī)的樹林配對取代。在我們的原文中閱讀更多關(guān)于gcForest的內(nèi)容。

Pyro and Edward

Pyro和Edward是兩種新的編程語言，它們?nèi)诤狭松疃葘W(xué)習(xí)框架和概率編程。Pyro是Uber和Google的作品，而Edward則來自哥倫比亞大學(xué)，由DARPA提供資金。其結(jié)果是一個框架，允許深度學(xué)習(xí)系統(tǒng)衡量他們對預(yù)測或決策的信心。 在經(jīng)典的預(yù)測分析中，我們可能會通過使用對數(shù)損失作為健身函數(shù)來處理這個問題，懲罰有信心但錯誤的預(yù)測（假陽性）。到目前為止，還沒有用于深度學(xué)習(xí)的必然結(jié)果。 例如，這有望使用的地方是在自動駕駛汽車或飛機(jī)中，允許控制在做出關(guān)鍵或致命的災(zāi)難性決定之前有一些信心或懷疑感。這當(dāng)然是你希望你的自主Uber在你上車之前就知道的事情。 Pyro和Edward都處于開發(fā)的早期階段。

不像深網(wǎng)的方法

我經(jīng)常會遇到一些小公司，他們的平臺核心是非常不尋常的算法。在我追問的大多數(shù)案例中，他們都不愿意提供足夠的細(xì)節(jié)，甚至讓我為你描述里面的情況。這種保密并不能使他們的效用失效，但是在他們提供一些基準(zhǔn)和一些細(xì)節(jié)之前，我無法真正告訴你里面發(fā)生了什么。當(dāng)他們最終揭開面紗的時候，就把這些當(dāng)作我們未來的工作臺吧。 目前，我所調(diào)查的最先進(jìn)的非DNN算法和平臺是這樣的。

層次時間記憶(HTM)

層次時間記憶（HTM）使用稀疏分布式表示法（SDR）對大腦中的神經(jīng)元進(jìn)行建模，并進(jìn)行計(jì)算，在標(biāo)量預(yù)測（商品、能源或股票價(jià)格等未來值）和異常檢測方面優(yōu)于CNN和RNN。 這是Palm Pilot名宿Jeff Hawkins在其公司Numenta的奉獻(xiàn)作品?；艚鹚乖趯Υ竽X功能進(jìn)行基礎(chǔ)研究的基礎(chǔ)上，追求的是一種強(qiáng)大的人工智能模型，而不是像DNN那樣用層和節(jié)點(diǎn)來結(jié)構(gòu)。 HTM的特點(diǎn)是，它發(fā)現(xiàn)模式的速度非常快，只需1,000次觀測。這與訓(xùn)練CNN或RNN所需的幾十萬或幾百萬次的觀測相比，簡直是天壤之別。 此外，模式識別是無監(jiān)督的，并且可以根據(jù)輸入的變化來識別和概括模式的變化。這使得系統(tǒng)不僅訓(xùn)練速度非?？?，而且具有自學(xué)習(xí)、自適應(yīng)性，不會被數(shù)據(jù)變化或噪聲所迷惑。

一些值得注意的漸進(jìn)式改進(jìn)

我們開始關(guān)注真正的游戲改變者，但至少有兩個漸進(jìn)式改進(jìn)的例子值得一提。這些顯然仍然是經(jīng)典的CNN和RNNs，具有反向支撐的元素，但它們工作得更好

使用Google Cloud AutoML進(jìn)行網(wǎng)絡(luò)修剪 谷歌和Nvidia的研究人員使用了一種名為網(wǎng)絡(luò)修剪的過程，通過去除對輸出沒有直接貢獻(xiàn)的神經(jīng)元，讓神經(jīng)網(wǎng)絡(luò)變得更小，運(yùn)行效率更高。這一進(jìn)步最近被推出，作為谷歌新的AutoML平臺性能的重大改進(jìn)。

Transformer

Transformer是一種新穎的方法，最初在語言處理中很有用，比如語言到語言的翻譯，這一直是CNNs、RNNs和LSTMs的領(lǐng)域。去年夏末由谷歌大腦和多倫多大學(xué)的研究人員發(fā)布，它在各種測試中都表現(xiàn)出了顯著的準(zhǔn)確性改進(jìn)，包括這個英語/德語翻譯測試。 RNNs的順序性使其更難充分利用現(xiàn)代快速計(jì)算設(shè)備（如GPU），因?yàn)镚PU擅長的是并行而非順序處理。CNN比RNN的順序性要差得多，但在CNN架構(gòu)中，隨著距離的增加，將輸入的遠(yuǎn)端部分的信息組合起來所需的步驟數(shù)仍然會增加。 準(zhǔn)確率的突破來自于 "自注意功能 "的開發(fā)，它將步驟大幅減少到一個小的、恒定的步驟數(shù)。在每一個步驟中，它都應(yīng)用了一種自我關(guān)注機(jī)制，直接對一句話中所有詞之間的關(guān)系進(jìn)行建模，而不管它們各自的位置如何。 就像VC說的那樣，也許是時候該換換口味了。

編輯：黃飛