DeepMind的最新研究提出一種新的表示學(xué)習(xí)方法——對(duì)比預(yù)測(cè)編碼。研究人員在多個(gè)領(lǐng)域進(jìn)行實(shí)驗(yàn)：音頻、圖像、自然語言和強(qiáng)化學(xué)習(xí)，證明了相同的機(jī)制能夠在所有這些領(lǐng)域中學(xué)習(xí)到有意義的高級(jí)信息，并且優(yōu)于其他方法。

2013年，Bengio等人發(fā)表了關(guān)于表示學(xué)習(xí)（ representation learning）的綜述，將表示學(xué)習(xí)定義為“學(xué)習(xí)數(shù)據(jù)的表征，以便在構(gòu)建分類器或其他預(yù)測(cè)器時(shí)更容易提取有用的信息”，并將無監(jiān)督特征學(xué)習(xí)和深度學(xué)習(xí)的諸多進(jìn)展納入表示學(xué)習(xí)的范疇。

今天，DeepMind在最新論文Representation Learning with Contrastive Predictive Coding中，提出一種新的表示學(xué)習(xí)方法——對(duì)比預(yù)測(cè)編碼（Contrastive Predictive Coding, CPC），將其應(yīng)用于各種不同的數(shù)據(jù)模態(tài)、圖像、語音、自然語言和強(qiáng)化學(xué)習(xí)，證明了相同的機(jī)制能夠在所有這些領(lǐng)域中學(xué)習(xí)到有意義的高級(jí)信息，并且優(yōu)于其他方法。

預(yù)測(cè)編碼思想

使用分層的可微模型以端到端的方式從標(biāo)記數(shù)據(jù)中學(xué)習(xí)高級(jí)表示，這是人工智能迄今為止最大的成功之一。這些技術(shù)使得人工指定的特性在很大程度上變得多余，并且在一些真實(shí)世界的應(yīng)用中極大地改進(jìn)了當(dāng)前最優(yōu)的技術(shù)。但是，這些技術(shù)仍存在許多挑戰(zhàn)，例如數(shù)據(jù)效率、穩(wěn)健性或泛化能力。

改進(jìn)表示學(xué)習(xí)需要一些不是專門解決單一監(jiān)督任務(wù)的特征。例如，當(dāng)預(yù)訓(xùn)練一個(gè)模型以進(jìn)行圖像分類時(shí)，特征可以相當(dāng)好地轉(zhuǎn)移到其他圖像分類域，但也缺少某些信息，例如顏色或計(jì)數(shù)的能力，因?yàn)檫@些信息與分類無關(guān)，但可能與其他任務(wù)相關(guān)，例如圖像描述生成（image captioning）。類似地，用于轉(zhuǎn)錄人類語音的特征可能不太適合于說話者識(shí)別或音樂類型預(yù)測(cè)。因此，無監(jiān)督學(xué)習(xí)是實(shí)現(xiàn)強(qiáng)健的、通用的表示學(xué)習(xí)的重要基石。

盡管無監(jiān)督學(xué)習(xí)很重要，但無監(jiān)督學(xué)習(xí)尚未得到類似監(jiān)督學(xué)習(xí)的突破：從原始觀察中建模高級(jí)表示仍然難以實(shí)現(xiàn)。此外，并不總是很清楚理想的表示是什么，以及是否可以在沒有對(duì)特定的數(shù)據(jù)模態(tài)進(jìn)行額外的監(jiān)督學(xué)習(xí)或?qū)ｉT化的情況下學(xué)習(xí)這樣的表示。

無監(jiān)督學(xué)習(xí)最常見的策略之一是預(yù)測(cè)未來、缺失信息或上下文信息。這種預(yù)測(cè)編碼（predictive coding）的思想是數(shù)據(jù)壓縮信號(hào)處理中最古老的技術(shù)之一。在神經(jīng)科學(xué)中，預(yù)測(cè)編碼理論表明，大腦可以預(yù)測(cè)不同抽象層次的觀察。

最近在無監(jiān)督學(xué)習(xí)方面的一些工作已經(jīng)成功地利用這些概念，通過預(yù)測(cè)鄰近的單詞來學(xué)習(xí)單詞表示。對(duì)于圖像來說，從灰度或image patches的相對(duì)位置來預(yù)測(cè)顏色，也被證明是有用的。我們假設(shè)這些方法卓有成效，部分原因是我們預(yù)測(cè)相關(guān)值的上下文通常是有條件地依賴于相同的共享高級(jí)潛在信息之上。通過將其作為一個(gè)預(yù)測(cè)問題，我們可以自動(dòng)推斷出這些特征與表示學(xué)習(xí)相關(guān)。

本文有以下貢獻(xiàn)：

首先，我們將高維數(shù)據(jù)壓縮成一個(gè)更緊湊的潛在嵌入空間，在這個(gè)空間中，條件預(yù)測(cè)更容易建模。

其次，我們?cè)谶@個(gè)潛在空間中使用強(qiáng)大的自回歸模型來預(yù)測(cè)未來。

最后，我們依賴噪聲對(duì)比估計(jì)（Noise-Contrastive Estimation）損失函數(shù)，與在自然語言模型中學(xué)習(xí)詞嵌入的方法類似，允許對(duì)整個(gè)模型進(jìn)行端到端的訓(xùn)練。

對(duì)比預(yù)測(cè)編碼

圖1：對(duì)比預(yù)測(cè)編碼的概覽，即我們提出的表示學(xué)習(xí)方法。雖然圖中將音頻作為輸入，但是我們對(duì)圖像、文本和強(qiáng)化學(xué)習(xí)使用的是相同的設(shè)置。

圖1顯示了對(duì)比預(yù)測(cè)編碼模型的架構(gòu)。首先，非線性編碼器將輸入的觀察序列映射到潛在表示序列，可能具有較低的時(shí)間分辨率。接下來，自回歸模型概括潛在空間中所有，并生成一個(gè)上下文潛在表示。

我們不是直接用生成模型來預(yù)測(cè)未來的觀察。 相反，我們對(duì)密度比建模，保留了之間的交互信息，公式如下：

其中代表“成正比”。

在我們的實(shí)驗(yàn)中，我們使用線性變換對(duì)每個(gè)步驟k進(jìn)行不同的預(yù)測(cè)，也可以使用非線性網(wǎng)絡(luò)或遞歸神經(jīng)網(wǎng)絡(luò)。

4個(gè)不同領(lǐng)域的實(shí)驗(yàn)：語音、圖像、NLP和強(qiáng)化學(xué)習(xí)

我們提出四個(gè)不同應(yīng)用領(lǐng)域的benchmark：語音、圖像、自然語言和強(qiáng)化學(xué)習(xí)。對(duì)于每個(gè)領(lǐng)域，我們訓(xùn)練CPC模型，并通過線性分類任務(wù)或定性評(píng)估來探討“表示”（representations）所包含的內(nèi)容；在強(qiáng)化學(xué)習(xí)中，我們測(cè)量了輔助的CPC loss如何加速agent的學(xué)習(xí)。

語音（Audio）

對(duì)于語音，我們使用了公開的LibriSpeech數(shù)據(jù)集中100小時(shí)的子數(shù)據(jù)集。雖然數(shù)據(jù)集不提供原始文本以外的標(biāo)簽，但我們使用Kaldi工具包獲得了強(qiáng)制對(duì)齊的通話序列，并在Librispeech上預(yù)訓(xùn)練模型。該數(shù)據(jù)集包含來自251個(gè)不同說話者的語音。

圖2：10個(gè)說話者子集的音頻表示的t-SNE可視化。每種顏色代表不同的說話者。

圖3：在語音波形中預(yù)測(cè)未來1到20個(gè)潛在步驟的對(duì)比損失，正樣本預(yù)測(cè)的平均精度。該模型最多預(yù)測(cè)未來200 ms，因?yàn)槊恳徊桨?0ms的音頻。

圖像（Vision）

在視覺表示實(shí)驗(yàn)中，我們使用ImageNet數(shù)據(jù)集。我們使用ResNet v2 101架構(gòu)作為圖像編碼器來提取CPC表示（該編碼器沒有經(jīng)過預(yù)訓(xùn)練）。在無監(jiān)督訓(xùn)練后，訓(xùn)練一個(gè)線性層以測(cè)量ImageNet標(biāo)簽的分類精度。

圖4：圖像實(shí)驗(yàn)中對(duì)比預(yù)測(cè)編碼的可視化

圖5：每一行都顯示了激活CPC架構(gòu)的某個(gè)神經(jīng)元的image patches

表3：ImageNet top-1無監(jiān)督分類結(jié)果。

表4：ImageNet top-5無監(jiān)督分類結(jié)果。

表3和表4顯示了與state-of-the-art相比，CPC模型在ImageNet top-1和top-5的分類精度。盡管相對(duì)領(lǐng)域不可知，但CPC模型在top-1相比當(dāng)前最優(yōu)模型的精度提高了9％，在top-5的精度提高了4%。

自然語言

在自然語言實(shí)驗(yàn)中，我們首先在BookCorpus 數(shù)據(jù)集上學(xué)習(xí)我們的無監(jiān)督模型，并通過對(duì)一組分類任務(wù)使用CPC表示來評(píng)估模型作為通用特征提取器的能力。

對(duì)于分類任務(wù)，我們使用了以下數(shù)據(jù)集：我們使用以下數(shù)據(jù)集：電影評(píng)論情緒（MR），客戶產(chǎn)品評(píng)論（CR），主觀性/客觀性，意見極性（MPQA）和問題類型分類 （TREC）。

表5：五種常見NLP基準(zhǔn)的分類精度。

評(píng)估任務(wù)的結(jié)果如表5所示。

強(qiáng)化學(xué)習(xí)

最后，我們?cè)u(píng)估了DeepMind Lab 在3D環(huán)境下的五種強(qiáng)化學(xué)習(xí)的無監(jiān)督學(xué)習(xí)方法：rooms_watermaze，explore_goal_locations_small，seekavoid_arena_01，lasertag_three_opponents_small和rooms_keys_doors_puzzle。

在這里，我們采用標(biāo)準(zhǔn)的batched A2C agent作為基本模型，并添加CPC作為輔助損失。 學(xué)習(xí)的表示對(duì)其未來觀察的分布進(jìn)行編碼。

圖6：五個(gè)DeepMind Lab任務(wù)的強(qiáng)化學(xué)習(xí)結(jié)果。黑色:batched A2C基線，紅色：添加輔助對(duì)比損失

如圖6所示，在10億幀的訓(xùn)練后，對(duì)于5個(gè)游戲中的4個(gè)，agent的表現(xiàn)有明顯提高。

結(jié)論

在本文中，我們提出了對(duì)比預(yù)測(cè)編碼（CPC），這是一種用于提取緊湊潛在表示以對(duì)未來觀測(cè)進(jìn)行編碼的框架。CPC將自回歸建模和噪聲對(duì)比估計(jì)與預(yù)測(cè)編碼的直覺相結(jié)合，以一種無監(jiān)督的方式學(xué)習(xí)抽象表示。

我們?cè)诙鄠€(gè)領(lǐng)域測(cè)試了這些表現(xiàn)形式：音頻、圖像、自然語言和強(qiáng)化學(xué)習(xí)，并在用作獨(dú)立特征時(shí)實(shí)現(xiàn)了強(qiáng)大的或最優(yōu)的性能。訓(xùn)練模型的簡(jiǎn)單性和低計(jì)算要求，以及在強(qiáng)化學(xué)習(xí)領(lǐng)域與主要損失一起使用時(shí)令人鼓舞的結(jié)果，都展現(xiàn)了無監(jiān)督學(xué)習(xí)令人興奮的發(fā)展，并且這種學(xué)習(xí)普遍適用于更多數(shù)據(jù)模態(tài)。