而今，深度學(xué)習(xí)大行其道。

結(jié)果來(lái)看，它是能說(shuō)會(huì)畫外加打游戲，但這是如何實(shí)現(xiàn)的？模型里的中間數(shù)據(jù)有什么意義？換句話說(shuō)，模型訓(xùn)練中所生成的高維數(shù)據(jù)如何進(jìn)行有意義的理解？

這離不開(kāi)非監(jiān)督學(xué)習(xí)解耦表征（Unsupervised Learning of Disentangled Representations）。

一個(gè)在好奇心驅(qū)動(dòng)的探索（curiosity driven exploration）、抽象推理（abstract reasoning）、視覺(jué)概念學(xué)習(xí)（visual concept learning ）等方面早已用起來(lái)的方法。

但是目前，并未有什么方案可以統(tǒng)一衡量非監(jiān)督學(xué)習(xí)解耦表征的有效性和局限性。即，解耦表征所得出的因子是否真正獨(dú)立？某些解耦表征指標(biāo)是否的確代表解耦的有效程度？

為解決這一問(wèn)題，F(xiàn)rancesco Locatello等人在“Challenging Common Assumptions in the Unsupervised Learning of Disentangled Representations ”(ICML 2019)一文中，對(duì)目前最佳的一些非監(jiān)督解耦表征模型做出了大規(guī)模可復(fù)現(xiàn)評(píng)估，并指出了一些未來(lái)發(fā)展方向，造福業(yè)界人士。

該評(píng)估經(jīng)由7個(gè)不同數(shù)據(jù)集上超12000個(gè)模型得出，涵蓋了對(duì)業(yè)界最佳的解耦方法以及一些評(píng)估指標(biāo)的評(píng)測(cè)，不僅可復(fù)現(xiàn)，而且該研究的代碼和10800個(gè)預(yù)訓(xùn)練好的模型都已開(kāi)源在disentanglement_lib，研究者們也可以將自己的解耦模型在此進(jìn)行統(tǒng)一評(píng)估，與其他解耦模型進(jìn)行對(duì)比，非常棒。

啥是解耦

通俗來(lái)講，解耦就是將一個(gè)對(duì)象分解為各自獨(dú)立的因素。不同的因素控制不同的結(jié)果，一個(gè)因素只控制一個(gè)結(jié)果的改變。解耦表征，也就是找出對(duì)象特征里的可解釋因子，從而對(duì)高維的數(shù)據(jù)產(chǎn)生有意義的理解。

非監(jiān)督解耦認(rèn)為，現(xiàn)實(shí)世界的數(shù)據(jù)是由一些可解釋的獨(dú)立因子不同組合產(chǎn)生的，可以通過(guò)非監(jiān)督學(xué)習(xí)的方式找到這些獨(dú)立因子。如在Shapes3D數(shù)據(jù)集中，每個(gè)圖像由六個(gè)獨(dú)立因子控制，分別是：物體形狀、物體大小、相機(jī)角度、地板顏色、墻壁顏色，物體顏色。

圖 | Shapes3D數(shù)據(jù)集的獨(dú)立真值因子可視化：地板顏色：上左；墻壁顏色：上中；物體顏色：上右；物體尺寸：下左；物體形狀：下中；相機(jī)角度：下右。

解耦表征希望捕捉到這些獨(dú)立因子，下圖中每個(gè)3D圖像數(shù)據(jù)是10維的數(shù)據(jù)，用FactorVAE解耦模型（一種變分自編碼器variational autoencoders，即VAE的變種）對(duì)3D圖像進(jìn)行解耦，企圖找出十維數(shù)據(jù)的每一維度信息，也即獨(dú)立控制因子，結(jié)果有些因子被成功分離，而有些因子仍然未被捕捉。上右和上中表明，模型成功分解了地板顏色，然而，下左一和下左二兩圖表明物體顏色和尺寸仍未被分解開(kāi)來(lái)，物體的顏色和大小都在變化，說(shuō)明控制的兩個(gè)因子并未獨(dú)立分解。

圖 | 可視化用FactorVAE模型所學(xué)到的隱含維度信息。墻壁顏色、地板顏色、相機(jī)角度被成功分解（見(jiàn)上右一、上中、和下中）；物體的形狀、尺寸、顏色還未被分解出來(lái)（見(jiàn)上左一和下左一、下左二）

本大型可復(fù)現(xiàn)研究的關(guān)鍵結(jié)論

為了理解高維數(shù)據(jù)，目前已有大量的非監(jiān)督解耦模型。這些解耦模型一般基于變分自編碼器（variational autoencoders， VAE，一種非監(jiān)督生成模型，通過(guò)將數(shù)據(jù)分解出獨(dú)立隱含因子來(lái)進(jìn)行數(shù)據(jù)的生成，也即將高維數(shù)據(jù)映射成低維數(shù)據(jù)，并且低維數(shù)據(jù)的每一維度都獨(dú)立控制著該數(shù)據(jù)的某一個(gè)性質(zhì)）衍變而來(lái)，同時(shí)研究者們也設(shè)計(jì)了一些度量指標(biāo)來(lái)衡量解耦水平，但實(shí)際上，并沒(méi)有一個(gè)大規(guī)模的可復(fù)現(xiàn)實(shí)驗(yàn)來(lái)對(duì)這些模型及指標(biāo)做出統(tǒng)一的衡量。

為解決這一問(wèn)題，F(xiàn)rancesco Locatello等人對(duì)六個(gè)現(xiàn)有最佳模型（BetaVAE，AnnealedVAE，F(xiàn)actorVAE，DIP-VAE I / II和Beta-TCVAE， 以上皆為變分自編碼器的變種）和六個(gè)解耦指標(biāo)（BetaVAE評(píng)分，F(xiàn)actorVAE評(píng)分，MIG，SAP，Modularity和DCI Disentanglement）的實(shí)際解耦的程度做了統(tǒng)一的可復(fù)現(xiàn)衡量實(shí)驗(yàn)，通過(guò)7個(gè)數(shù)據(jù)集上12800個(gè)模型的訓(xùn)練，衡量模型和參數(shù)的實(shí)際效果，他們有了這樣的發(fā)現(xiàn)：

1、無(wú)法證實(shí)解耦模型的確可以進(jìn)行可靠的解耦。

解耦模型的結(jié)果，即所分析出的獨(dú)立因子并不是每次都確定，會(huì)隨著模型的改變而變化，也就是說(shuō)，分析出的獨(dú)立因子并不是真正的唯一控制因子。解耦表征是非監(jiān)督的，如果沒(méi)有一些真值標(biāo)簽，其實(shí)無(wú)法衡量是否成功解耦。如想對(duì)解耦進(jìn)行衡量，必須提前規(guī)定好數(shù)據(jù)集和模型的歸納偏好（Inductive Bias）。即，必須有假設(shè)才能知曉結(jié)果是否吻合假設(shè)，如果什么假設(shè)都沒(méi)有，那就無(wú)法衡量結(jié)論好壞。

將不同解耦模型在同一個(gè)數(shù)據(jù)集上多次訓(xùn)練，只是每次隨機(jī)數(shù)不同，解耦指標(biāo)FactorsVAE分?jǐn)?shù)的分布跨度很大，即使同一個(gè)模型，僅僅隨機(jī)數(shù)不同，F(xiàn)actorsVAE分?jǐn)?shù)就會(huì)變化，并且該影響超過(guò)了正則化強(qiáng)度所能施加的影響。因此這種解耦表征的結(jié)果不固定，所解出的因子便難以稱之為獨(dú)立因子，畢竟我們?cè)O(shè)想現(xiàn)實(shí)世界中的對(duì)象是由確定因素以某種組合造成的。

圖 | 不同模型在Cars3D數(shù)據(jù)集上FactorsVAE分?jǐn)?shù)的分布：左圖是不同分解模型的FactorsVAE分布；右圖是FactorVAE模型不同正則化強(qiáng)度的FactorsVAE分布。

2、解耦表征有益于下游任務(wù)（如分類任務(wù)）也是無(wú)法證實(shí)的。

FactorVAE分?jǐn)?shù)和分類表現(xiàn)（基于Gradient Boosted Trees，GBT）并沒(méi)有什么相關(guān)性，也就是FactorVAE分?jǐn)?shù)高的解耦模型，利用模型解出的因子實(shí)現(xiàn)的分類任務(wù)表現(xiàn)也不一定就很好。

圖 | 利用相應(yīng)解耦模型的下游分類任務(wù)在dSprites數(shù)據(jù)集上的表現(xiàn)

由此，他們得出了這樣一些見(jiàn)解：

1． 進(jìn)行非監(jiān)督的解耦表征需設(shè)置歸納偏好。未來(lái)工作需要明確描述強(qiáng)加的歸納偏好并明確是否利用了顯性和隱性監(jiān)督。

2． 找到好的能適用多個(gè)數(shù)據(jù)集的非監(jiān)督模型歸納偏好非常關(guān)鍵。

3． 應(yīng)證明引入解耦表征舉措的具體實(shí)際益處。

4． 解耦模型效果應(yīng)該在多種數(shù)據(jù)集上具有可重復(fù)性。

開(kāi)源解耦表征庫(kù)

該研究所用評(píng)估流程及方法、所用解耦模型（10800個(gè)，有一些模型關(guān)于Shapes3D不可用）、所采用的解耦衡量指標(biāo)，以及一些幫助理解模型的可視化工具都開(kāi)源在disentanglement_lib（https://github.com/google-research/disentanglement_lib）此庫(kù)優(yōu)點(diǎn)有三：

易復(fù)現(xiàn)。少于4個(gè)shell命令，disentanglement_lib即可重現(xiàn)評(píng)估所用的任何模型。另，雖所用參考模型所需算力非常之巨，但別怕，10800個(gè)預(yù)訓(xùn)練好的模型已奉上。

能修改。可對(duì)實(shí)驗(yàn)方案可以進(jìn)行一些修改，驗(yàn)證你自己的想法。

易擴(kuò)展。該庫(kù)可實(shí)現(xiàn)公正統(tǒng)一的、可復(fù)現(xiàn)的，標(biāo)準(zhǔn)化的評(píng)估，可以輕松地將自己的新模型與參考模型對(duì)比。