作者 | Andre Ye 譯者 | 平川 策劃 | 陳思

深度學習是一個廣闊的領域，它圍繞著一種形態(tài)由數(shù)百萬甚至數(shù)十億個變量決定并不斷變化的算法——神經(jīng)網(wǎng)絡。似乎每隔一天就有大量的新方法和新技術(shù)被提出來。不過，總的來說，現(xiàn)代深度學習可以分為三種基本的學習范式。每一種都有自己的學習方法和理念，提升了機器學習的能力，擴大了其范圍。

本文最初發(fā)布于 Towards Data Science 博客，由 InfoQ 中文站翻譯并分享。

深度學習的未來在于這三種學習模式，而且它們彼此之間密切相關：

混合學習——現(xiàn)代深度學習方法如何跨越監(jiān)督學習和非監(jiān)督學習之間的邊界，以適應大量未使用的無標簽數(shù)據(jù)？

復合學習——如何以創(chuàng)造性的方法將不同的模型或組件連接起來，以生成一個大于各部分之和的復合模型？

簡化學習——出于性能和部署目的，如何減少模型的規(guī)模和信息流，同時保持相同或更強的預測能力？

混合學習

這種范式試圖跨越監(jiān)督學習和非監(jiān)督學習之間的界限。由于有標簽數(shù)據(jù)缺乏且成本高，所以常常在業(yè)務上下文中使用。從本質(zhì)上說，混合學習是對下面這個問題的回答：

如何使用監(jiān)督方法解決非監(jiān)督問題？

首先，半監(jiān)督學習在機器學習領域取得了良好的進展，因為它只需要很少的有標簽數(shù)據(jù)就能夠在監(jiān)督問題上有非常好的表現(xiàn)。例如，一個設計良好的半監(jiān)督式 GAN（生成式對抗網(wǎng)絡）只需要 25 個訓練樣本，就能在 MNIST 數(shù)據(jù)集上獲得了超過 90% 的準確率。

半監(jiān)督學習是針對有大量無監(jiān)督數(shù)據(jù)和少量有監(jiān)督數(shù)據(jù)的數(shù)據(jù)集而設計的。傳統(tǒng)上，監(jiān)督學習模型只在一部分數(shù)據(jù)上進行訓練，無監(jiān)督模型則在另一部分數(shù)據(jù)上進行訓練，而半監(jiān)督模型則可以將有標簽數(shù)據(jù)與從無標簽數(shù)據(jù)中提取的見解結(jié)合起來。

半監(jiān)督 GAN（簡稱 SGAN）是對 標準生成式對抗網(wǎng)絡模型 的改寫。判別器輸出 0/1 表示圖像是否生成，它也輸出項的類別（多輸出學習）。

這是基于這樣一種想法，即通過判別器學習區(qū)分真實的和生成的圖像，它能夠?qū)W習它們的結(jié)構(gòu)而不需要具體的標簽。通過少量標簽數(shù)據(jù)的額外增強，半監(jiān)督模型就可以在少量監(jiān)督數(shù)據(jù)的情況下實現(xiàn)最高的性能。

要了解關于 SGAN 和半監(jiān)督學習的更多內(nèi)容，請查看這里：

https://towardsdatascience.com/supervised-learning-but-a-lot-better-semi-supervised-learning-a42dff534781

GAN 還參與了混合學習的另一個領域——自監(jiān)督學習，在這種學習中，非監(jiān)督問題被明確地定義為監(jiān)督問題。GAN 通過引入生成器人為地創(chuàng)建監(jiān)督數(shù)據(jù)；創(chuàng)建標簽來識別真實 / 生成的圖像。在無監(jiān)督的前提下，創(chuàng)建了一個有監(jiān)督的任務。

或者，考慮使用 編碼器 - 解碼器壓縮模型。在最簡單的形式中，它們是中間有少量節(jié)點（表示某種瓶頸壓縮形式）的神經(jīng)網(wǎng)絡。兩端分別是編碼器和解碼器。

網(wǎng)絡被訓練成產(chǎn)生與輸入向量相同的輸出（從無監(jiān)督數(shù)據(jù)人為地創(chuàng)建監(jiān)督任務）。由于故意在中間設置了瓶頸，所以網(wǎng)絡不會被動地傳遞信息；相反，它必須找到最好的方法將輸入內(nèi)容保存到一個小的單元中，這樣，解碼器就可以再次合理地對它解碼。

訓練完成后，將編碼器和解碼器分開，用于壓縮或編碼數(shù)據(jù)的接收端，以極小的形式傳輸信息，而又幾乎不丟失數(shù)據(jù)。它們還可以用來降低數(shù)據(jù)的維數(shù)。

另一個例子，考慮一個大型的文本集（可能是來自數(shù)字平臺的評論）。通過一些聚類或流形學習（manifold learning）方法，我們可以為文本集生成聚類標簽，然后用它們作為標簽（如果聚類做得好的話）。

在對每個類進行解釋之后（例如，類 A 表示對產(chǎn)品的抱怨，類 B 表示積極的反饋，等等），可以使用像 BERT 這樣的深層 NLP 架構(gòu)將新文本分類到這些類中，所有這些都是使用了完全未標記的數(shù)據(jù)，并將人的參與降至最低。

這又是一個將非監(jiān)督任務轉(zhuǎn)換為監(jiān)督任務的有趣應用。在一個絕大多數(shù)數(shù)據(jù)都是非監(jiān)督數(shù)據(jù)的時代，通過混合學習，在監(jiān)督學習和非監(jiān)督學習之間創(chuàng)造性地架起一座橋梁，具有巨大的價值和潛力。

復合學習

復合學習為的是利用幾種模式的知識，而不是一種。該方法認為，通過獨特的組合或信息注入——包括靜態(tài)和動態(tài)——與單一模式相比，深度學習能夠在理解和性能方面不斷地深入。

遷移學習是復合學習的一個明顯的例子，它的前提是模型的權(quán)重可以從一個在類似的任務上預先訓練過的模型中借用，然后在特定任務上進行微調(diào)。像 Inception 或 VGG-6 這樣的預訓練模型，其結(jié)構(gòu)和權(quán)重被設計成可以區(qū)分幾種不同類別的圖像。

如果我要訓練一個神經(jīng)網(wǎng)絡來識別動物（貓、狗等），我不會從頭開始訓練卷積神經(jīng)網(wǎng)絡，因為要達到不錯的效果需要太長時間。相反，我會使用一個預先訓練過的模型（比如 Inception，它已經(jīng)存儲了圖像識別的基礎知識），在數(shù)據(jù)集上額外進行幾個 epoch 的訓練。

類似地，在 NLP 神經(jīng)網(wǎng)絡中，詞嵌入會根據(jù)單詞之間的關系在一個嵌入空間中將單詞映射到實際距離較近的其他單詞（例如，“apple”和“orange”的距離比“apple”和“truck”的距離更?。?。像 GloVe 這樣預先訓練好的嵌入可以放到神經(jīng)網(wǎng)絡中，從單詞到有意義的數(shù)字化實體的有效映射開始。

較為隱秘的一點是，競爭也能促進知識增長。首先，生成式對抗網(wǎng)絡借鑒了復合學習范式，從根本上使兩個神經(jīng)網(wǎng)絡相互競爭。生成器的目標是欺騙判別器，而判別器的目標是不被騙。

下文會將模型之間的競爭稱為“對抗性學習”，不要與另一種 設計惡意輸入并利用模型弱決策邊界 的對抗性學習相混淆。

對抗性學習可以增強模型，通常是不同類型的模型，在對抗性學習中，一個模型的性能可以用其他模型的性能來表示。在對抗性學習領域還有很多研究需要做，生成式對抗網(wǎng)絡是這個子領域唯一突出的創(chuàng)新。

另一方面，競爭性學習與對抗性學習類似，但是逐節(jié)點執(zhí)行的：節(jié)點競爭對輸入數(shù)據(jù)的一個子集作出響應的權(quán)利。競爭性學習是在一個“競爭層”中實現(xiàn)的，在這個“競爭層”中，除了某些權(quán)重隨機分布外，神經(jīng)元都是相同的。

將每個神經(jīng)元的權(quán)值向量與輸入向量進行比較，然后激活（output = 1）相似度最高的“贏者全拿”神經(jīng)元，其余神經(jīng)元“不激活”（output = 0），這種無監(jiān)督技術(shù)是 自組織映射 和 特征發(fā)現(xiàn) 的核心組成部分。

復合學習的另一個有趣的例子是神經(jīng)結(jié)構(gòu)搜索。簡而言之，在強化學習環(huán)境中，神經(jīng)網(wǎng)絡（通常是 RNN）通過學習為數(shù)據(jù)集生成最好的神經(jīng)網(wǎng)絡——算法為你找出最好的架構(gòu)！

集成（Ensemble）方法也是一種重要的復合學習方法。深度集成方法已經(jīng)被證明非常 有效，而且，端到端模型疊加，像編碼器和解碼器，已經(jīng)變得越來越流行。

復合學習的主要目的是找出在不同模型之間建立聯(lián)系的獨特方法。它的前提是：

單個模型，即使是一個非常大的模型，其性能也不如幾個小模型 / 組件，其中每一個都被委派專門處理一部分任務。

例如，考慮為一家餐館構(gòu)建一個聊天機器人的任務。

我們可以將其劃分為三個獨立的部分：寒暄 / 閑聊、信息檢索和動作，并針對每個部分單獨設計一個模型?；蛘?，我們可以委托一個模型來執(zhí)行所有這三個任務。

復合模型性能更好，同時占用的空間更少，這應該沒什么可奇怪的。此外，這些非線性拓撲可以用 Keras 函數(shù)式 API 這樣的工具輕松構(gòu)建。

為了處理越來越多樣化的數(shù)據(jù)類型，如視頻和三維數(shù)據(jù)，研究人員必須建立創(chuàng)造性的復合模型。

簡化學習

模型的規(guī)模，尤其是在 NLP 領域（深度學習研究的中心），正在大幅增長。最新的 GPT-3 模型有 1750 億個參數(shù)。把它和 BERT 比較就像把木星和蚊子比較一樣（并不夸張）。未來，深度學習的模型會更大嗎？

很可能不會。誠然，GPT-3 非常強大，但歷史一再表明，“成功的科學”是那些對人類影響最大的科學。當學術(shù)偏離現(xiàn)實太遠時，通常會淡出人們的視線。這就是神經(jīng)網(wǎng)絡在 20 世紀末期被短暫遺忘的原因，因為可用的數(shù)據(jù)太少了，以至于這個想法，無論多么巧妙，都是沒用的。

GPT-3 是另一種語言模型，它可以寫出令人信服的文本。它的應用在哪里？是的，它可以生成查詢的答案。不過，還有更高效的方法來實現(xiàn)這一點（例如，遍歷一個知識圖，并使用一個更小的模型如 BERT 來輸出答案）。

考慮到 計算能力的枯竭，GPT-3 的龐大規(guī)模（更不用說更大的模型）似乎是不可行的，或者是不必要的。

“摩爾定律有點過時了?！薄④浭紫瘓?zhí)行官 Satya Nadella

相反，我們正在走向一個嵌入式人工智能的世界，智能冰箱可以自動訂購食品雜貨，無人機可以自行導航飛遍整個城市。強大的機器學習方法應該能夠下載到個人電腦、手機和小型芯片上。

這就需要輕量級人工智能：在保持性能的同時使神經(jīng)網(wǎng)絡更小。

事實證明，在深度學習研究中，幾乎所有的東西都與直接或間接地減少必要參數(shù)的數(shù)量有關，而這又與提高泛化能力和性能緊密相關。例如，卷積層的引入大大減少了神經(jīng)網(wǎng)絡處理圖像所需的參數(shù)數(shù)量。遞歸層在使用相同權(quán)值的同時融入了時間的概念，使得神經(jīng)網(wǎng)絡能夠以更少的參數(shù)更好地處理序列。

嵌入層顯式地將實體映射到具有物理意義的數(shù)值，這樣負擔就不會落在其他參數(shù)上。有一種解釋說，Dropout 層在對輸入的某些部分進行操作時會顯式地屏蔽參數(shù)。L1/L2 正則化 確保網(wǎng)絡利用了所有的參數(shù)，而且每個參數(shù)都不會太大，并最大化了每個參數(shù)的信息價值。

隨著專用層的建立，網(wǎng)絡對更復雜、更大數(shù)據(jù)的要求越來越少。其他最新方法明確地尋求簡化網(wǎng)絡。

神經(jīng)網(wǎng)絡剪枝 試圖去除對網(wǎng)絡輸出沒有價值的突觸和神經(jīng)元。通過剪枝，網(wǎng)絡可以在去除大部分網(wǎng)絡節(jié)點的情況下保持其性能。

其他方法，如 Patient Knowledge Distillation，可以將大型語言模型壓縮成可下載到用戶手機上的形式。對于支撐谷歌翻譯的 谷歌神經(jīng)機器翻譯（GNMT）系統(tǒng) 來說，這種考慮是有必要的，該系統(tǒng)需要創(chuàng)建一個能夠離線訪問的高性能翻譯服務。

本質(zhì)上講，簡化學習以部署為中心進行設計。這就是為什么大多數(shù)關于簡化學習的研究都來自于公司的研究部門。以部署為中心的設計不能盲目地遵循數(shù)據(jù)集上的性能指標，而要關注模型部署時的潛在問題。

例如，前面提到的 對抗性輸入 是設計用來欺騙網(wǎng)絡的惡意輸入。可以用噴漆或貼紙來欺騙自動駕駛汽車，使其遠遠超過限速。負責任的簡化學習不僅是使模型足夠輕量化，而且要確保它能夠適應數(shù)據(jù)集中沒有表示出的極端情況。

在深度學習研究中，簡化學習得到的關注最少，因為“我們成功地在可行的架構(gòu)規(guī)模下實現(xiàn)了良好的性能”遠不如“我們利用一個擁有無數(shù)參數(shù)的架構(gòu)實現(xiàn)了最先進的性能”那么吸引人。

不可避免地，當對更高百分比的追求消失時，正如創(chuàng)新的歷史所顯示的那樣，簡化學習——實際上就是實用的學習——將得到更多它應該得到的關注。

總 結(jié)

混合學習試圖跨越監(jiān)督學習和非監(jiān)督學習的邊界。像半監(jiān)督和自監(jiān)督學習這樣的方法能夠從無標簽數(shù)據(jù)中提取有價值的見解，當無監(jiān)督數(shù)據(jù)的數(shù)量呈指數(shù)增長時，這些見解就變得非常有價值。

隨著任務變得越來越復雜，復合學習將一個任務分解為幾個更簡單的組件。當這些組件一起工作或者相互對抗，就可以得到一個更強大的模型。

深度學習已經(jīng)進入炒作階段，而簡化學習還沒有得到太多關注，但很快就會出現(xiàn)足夠?qū)嵱貌⑶沂且圆渴馂橹行牡脑O計。

感謝閱讀！

原文標題：深度學習未來的三種范式

文章出處：【微信公眾號：新機器視覺】歡迎添加關注！文章轉(zhuǎn)載請注明出處。

責任編輯：haq