本文是IJCAI 2018的深度生成模型tutorial，作者是斯坦福大學(xué)PH.D Aditya Grover，長(zhǎng)達(dá)115頁的slides非常詳盡地介紹了主要的生成模型和代表性的應(yīng)用，希望對(duì)大家的學(xué)習(xí)有所幫助。

生成模型是圖模型和概率編程語言中概率推理的關(guān)鍵模型。最近，使用神經(jīng)網(wǎng)絡(luò)對(duì)這些模型進(jìn)行參數(shù)化，以及使用基于梯度的技術(shù)進(jìn)行隨機(jī)優(yōu)化的最新進(jìn)展，使得可以跨多種模態(tài)和應(yīng)用程序?qū)Ω呔S數(shù)據(jù)進(jìn)行可擴(kuò)展建模。

本教程的前半部分將提供對(duì)深度生成模型的主要家庭成員的整體回顧，包括生成對(duì)抗網(wǎng)絡(luò)、變分自編碼器和自回歸模型。對(duì)于每個(gè)模型，我們都將深入討論概率公式、學(xué)習(xí)算法以及與其他模型的關(guān)系。

本教程的后半部分將演示如何在一組具有代表性的推理任務(wù)中使用深度生成模型：半監(jiān)督學(xué)習(xí)、模仿學(xué)習(xí)、對(duì)抗樣本防御，以及壓縮感知。

最后，我們將討論當(dāng)前該領(lǐng)域面臨的挑戰(zhàn)，并展望未來的研究方向。

目錄

第一部分：

生成建模的動(dòng)機(jī)，以及與判別模型的對(duì)比

生成模型的定義和特征：估計(jì)密度、模擬數(shù)據(jù)、學(xué)習(xí)表示

傳統(tǒng)的生成建模方法，以及深度神經(jīng)網(wǎng)絡(luò)在有效參數(shù)化中的作用

基于學(xué)習(xí)算法的生成模型的分類：likelihood-based的學(xué)習(xí)和likelihood-free的學(xué)習(xí)

Likelihood-based學(xué)習(xí)實(shí)例：

自回歸模型（定向，完全觀察）

變分自編碼器（定向，潛變量）

第二部分：

Likelihood-based學(xué)習(xí)實(shí)例（續(xù)）：

規(guī)范化流模型

likelihood-free學(xué)習(xí)實(shí)例化：

生成對(duì)抗網(wǎng)絡(luò)

深度生成模型的應(yīng)用

半監(jiān)督學(xué)習(xí)

模仿學(xué)習(xí)

對(duì)抗樣本

壓縮感知

生成模型未來研究的主要挑戰(zhàn)和展望

生成建模概述、與判別模型的對(duì)比

生成模型應(yīng)用領(lǐng)域：

計(jì)算機(jī)視覺

計(jì)算語音

自然語言處理

計(jì)算機(jī)視覺/機(jī)器人學(xué)

統(tǒng)計(jì)生成模型

判別 vs. 生成

生成模型中的學(xué)習(xí)

給定：來自數(shù)據(jù)分布和模型家族的樣本

目標(biāo)是：盡可能地接近數(shù)據(jù)分布

挑戰(zhàn)：如何評(píng)價(jià)和優(yōu)化數(shù)據(jù)分布和模型分布之間的接近性（closeness）?

最大似然估計(jì)

解決方案1： = KL 散度

統(tǒng)計(jì)學(xué)上有效

需要可跟蹤地評(píng)估或優(yōu)化似然性

最大似然估計(jì)

易處理似然性（Tractable likelihoods）：有向模型，如自回歸模型

難處理似然性：無向模型，如受限玻爾茲曼機(jī)（RBM）；有向模型，如變分自編碼器（VAE）

intractable likelihoods的替代選擇：

- 使用MCMC或變分推理進(jìn)行近似推理

- 利用對(duì)抗訓(xùn)練進(jìn)行 Likelihood-free的推理

基于似然性的生成模型

提供一個(gè)對(duì)數(shù)似然的解析表達(dá)式，即 log N

學(xué)習(xí)涉及（近似）評(píng)估模型對(duì)數(shù)似然相對(duì)于參數(shù)的梯度

關(guān)鍵設(shè)計(jì)選擇

有向（Directed）和無向（undirected）

完全觀察 vs. 潛在變量

有向、完全觀察的圖模型

這里的關(guān)鍵想法是：將聯(lián)合分布分解為易處理?xiàng)l件的乘積

學(xué)習(xí)和推理

學(xué)習(xí)最大化數(shù)據(jù)集上的模型對(duì)數(shù)似然

易處理?xiàng)l件允許精確的似然評(píng)估

訓(xùn)練期間并行的條件評(píng)估

有向模型允許ancestral采樣，每次一個(gè)變量

基于神經(jīng)網(wǎng)絡(luò)的參數(shù)化

基于MLP的參數(shù)化

基于RNN的參數(shù)化

基于CNN的參數(shù)化

likelihood-free的生成模型

likelihood-free的生成模型

最佳生成模型：最佳樣本和最高的對(duì)數(shù)似然

對(duì)于不完美的模型，對(duì)數(shù)似然和樣本是不相關(guān)的

Likelihood-free的學(xué)習(xí)考慮的目標(biāo)不直接依賴于似然函數(shù)

生成對(duì)抗網(wǎng)絡(luò)

這里的關(guān)鍵想法是：generator（生成器）和discriminator（判別器）兩者的博弈

判別器區(qū)分真實(shí)數(shù)據(jù)集樣本和來自生成器的假樣本

生成器生成可以欺騙判別器的樣本

對(duì)于一個(gè)固定的生成器，判別器最大化負(fù)交叉熵

GAN動(dòng)物園

深度生成模型的應(yīng)用：半監(jiān)督學(xué)習(xí)、模仿學(xué)習(xí)、對(duì)抗樣本、壓縮感知

半監(jiān)督學(xué)習(xí)

在這個(gè)例子中，我們可以如何利用這些未標(biāo)記的數(shù)據(jù)呢？

步驟1：學(xué)習(xí)標(biāo)記數(shù)據(jù)和未標(biāo)記數(shù)據(jù)的潛在變量生成模型

步驟2：使用z作為特征，訓(xùn)練分類器（例如SVM），僅使用有標(biāo)記的部分

半監(jiān)督學(xué)習(xí)的結(jié)果

模仿學(xué)習(xí)

有幾個(gè)現(xiàn)有的方法：

行為克?。˙ehavioral cloning）

逆向強(qiáng)化學(xué)習(xí)

學(xué)徒學(xué)習(xí)（Apprenticeship learning）

我們的方法是：生成式的潛變量模型

對(duì)抗樣本

添加微小的噪聲，最先進(jìn)的分類器都有可能被欺騙！

檢測(cè)對(duì)抗樣本

遷移壓縮感知

從源、數(shù)據(jù)豐富的域遷移到目標(biāo)、數(shù)據(jù)饑渴的域

總結(jié)

1. 生成模型的殺手級(jí)應(yīng)用是什么？

基于模型的RL？

2. 什么是正確的評(píng)估指標(biāo)？

從根本上說，它是無監(jiān)督學(xué)習(xí)。評(píng)估指標(biāo)定義不明確。

3. 在推理中是否存在基本的權(quán)衡?

采樣

評(píng)估

潛在特征