需要大量的注釋數(shù)據(jù)；難以在標(biāo)準(zhǔn)測試集外取得良好表現(xiàn)；對于數(shù)據(jù)的微小變化尤為敏感。

這都是近年來深度學(xué)習(xí)被詬病的缺陷。

即便深度學(xué)習(xí)已經(jīng)在諸多領(lǐng)域得到廣泛應(yīng)用，但這三大缺陷也成為了深度學(xué)習(xí)仍舊無法完全勝任自動駕駛、醫(yī)療診斷等“敏感”任務(wù)的致命弱點。

畢竟，如果一臺自動駕駛系統(tǒng)因為訓(xùn)練數(shù)據(jù)集中不包含“坐在路上的嬰兒”這一情境，就無法作出正確的避讓判斷，想必不會有人會放心讓這一系統(tǒng)完全接管方向盤。

那么，這些問題的背后，究竟體現(xiàn)了深度神經(jīng)網(wǎng)絡(luò)怎樣的致命缺陷呢？

近期，計算機視覺的奠基人之一、約翰霍普金斯大學(xué)教授Alan Yuille和他的學(xué)生劉晨曦撰寫了一篇博文，詳述了深度網(wǎng)絡(luò)局限性的本質(zhì)所在。

那么，什么是組合爆炸問題呢？

讓我們先來看下面這個例子。

圖1 :添加遮擋體(Occluders)會導(dǎo)致深層網(wǎng)絡(luò)失敗。左：添加遮擋體摩托車將猴子變成了人類。中心：添加遮擋體自行車將猴子變成人，叢林將自行車把手變成鳥。右：添加遮擋體吉他將猴子變成了人類，叢林將吉他變成了一只鳥。

這張圖顯示了將吉他照片添加到叢林中的猴子照片中的效果。Deep Net錯誤地將猴子識別為人類并將吉他誤解為鳥類，大概是因為Deep Net認為猴子不可能攜帶吉他，并且鳥類比吉他更可能在猴子附近的叢林中出現(xiàn)。

這種對背景的過度敏感可以歸因于有限的數(shù)據(jù)集大小。對于任何對象，數(shù)據(jù)集中僅出現(xiàn)有限數(shù)量的背景，因此神經(jīng)網(wǎng)絡(luò)就會發(fā)生判斷偏差。

例如，在早期數(shù)據(jù)集中，長頸鹿僅在樹木邊出現(xiàn)，因此，如果長頸鹿附近如果沒有樹，那神經(jīng)網(wǎng)絡(luò)就無法正確識別，即使它們是圖片中最主要的對象主體。

捕捉各種各樣背景的困難，以及探索大范圍的滋擾因素的需要，造成了Deep Nets這類方法的缺陷。

關(guān)于組合爆炸

上面這一問題就是“組合爆炸”很好的例子。

真實世界圖像集是組合的。因此，任何數(shù)據(jù)集（無論多大）都很難代表現(xiàn)實世界的復(fù)雜性。

組合能產(chǎn)生出多大的集合呢？

想象一下，我們可以在一個場景中隨意添加各種物體，這顯然可以用很多方式完成。即使對于單個對象的圖像，我們也可以獲得類似的復(fù)雜度，因為它可以以指數(shù)增加的方式添加被部分遮擋的情況。我們還可以通過無數(shù)種方式更改對象的背景。

盡管人類能夠自然地適應(yīng)視覺環(huán)境的變化，但是深度神經(jīng)網(wǎng)絡(luò)卻更敏感，然而更容易出錯，就如圖1所示。

在某些視覺任務(wù)中，這種組合爆炸基本不會發(fā)生。深度神經(jīng)網(wǎng)絡(luò)在醫(yī)學(xué)圖像的應(yīng)用中可謂是非常成功，因為其背景的變化相對較?。ɡ缫认倏偸欠浅＝咏改c）。

但是，對于許多日常使用的應(yīng)用程序來說，如果沒有指數(shù)級別的數(shù)據(jù)集，我們就無法捕捉到現(xiàn)實世界的復(fù)雜性。

這就帶來了巨大的挑戰(zhàn)——在數(shù)量有限、隨機抽取的樣本上訓(xùn)練和測試模型的標(biāo)準(zhǔn)范式變得不切實際。

所以這迫使我們解決兩個新的問題：

我們怎樣在有限大小的數(shù)據(jù)集上訓(xùn)練算法，從而使它們能夠在需要龐大數(shù)據(jù)集才能捕獲現(xiàn)實世界的組合復(fù)雜性的任務(wù)中表現(xiàn)良好？

如果我們只能在有限的子集上測試這些算法，那么我們?nèi)绾斡行У販y試并確保它們在龐大的數(shù)據(jù)集中表現(xiàn)優(yōu)秀？

如果克服組合性爆炸

像深度神經(jīng)網(wǎng)絡(luò)這樣的方法，以目前的形式來看，似乎不太可能具有處理組合爆炸的能力，因為數(shù)據(jù)集的數(shù)量可能永遠都不足以訓(xùn)練或測試它們。

我們認為，組合模型或許是解決問題的關(guān)鍵。

組合性

組合性是一個基本原則，可以感性的稱它為“一種信仰的體現(xiàn)，即世界是可知的，人們可以將事物拆開并理解它們，然后在精神上隨意地重新組合它們”。

但其中關(guān)鍵的假設(shè)是，結(jié)構(gòu)是由更基本的子結(jié)構(gòu)按照一組語法規(guī)則組成的。這就表明子結(jié)構(gòu)和語法可以從有限的數(shù)據(jù)中學(xué)習(xí)，然后拓展到組合的場景中。

與深度神經(jīng)網(wǎng)絡(luò)不同，組合模型需要結(jié)構(gòu)化的表征，從而明確其結(jié)構(gòu)和子結(jié)構(gòu)。組合模型能夠?qū)梢姷臄?shù)據(jù)進行外推，對系統(tǒng)進行推理、干預(yù)、診斷以及使用相同的基礎(chǔ)知識結(jié)構(gòu)回答許多不同問題。

我們注意到，盡管深度神經(jīng)網(wǎng)絡(luò)捕獲了一種組合性形式，例如，高層特征是由來自下層特征的響應(yīng)組成的，但與本文中我們所指的組合性顯然還是不一樣的。

圖2：從（a）到（c），可變性增加同時出現(xiàn)了遮擋情況。尤其（c）是一個龐大組合數(shù)據(jù)集的例子，它本質(zhì)上與驗證碼相同。有趣的是，關(guān)于驗證碼的研究表明，組合模型的性能很好，而深度神經(jīng)網(wǎng)絡(luò)的性能則較差。

組合模型的優(yōu)勢已經(jīng)在很多視覺問題上得到了證明，例如使用相同的底層模型執(zhí)行多個任務(wù)和識別驗證碼（圖2）。其他非視覺的例子也說明了同樣的觀點，比如智商測試。

在這項任務(wù)中，我們的目標(biāo)是預(yù)測3x3網(wǎng)格中丟失的圖像，其中8個網(wǎng)格的圖像已經(jīng)給出，同時任務(wù)的基本規(guī)則是組合型的（并且可以存在干擾）。在這一任務(wù)上，組合模型相比深度神經(jīng)網(wǎng)絡(luò)也有相當(dāng)?shù)膬?yōu)勢。

組合模型具有許多理想的理論性質(zhì)，例如可解釋性和可生成樣本性。這使得錯誤更容易診斷，因此它們比像DeepNets這樣的黑盒方法更難被欺騙。

但是，學(xué)習(xí)組合模型也是十分困難的，因為它涉及到學(xué)習(xí)構(gòu)件和語法（甚至語法的本質(zhì)也是有爭議的）。此外，為了通過合成進行分析，它們需要有一個模型來生成對象和場景結(jié)構(gòu)。

更為根本的是，處理組合爆炸需要學(xué)習(xí)三維世界的因果模型以及這些模型如何生成圖像。對人類嬰兒的研究表明，他們通過預(yù)測環(huán)境結(jié)構(gòu)的因果模型來學(xué)習(xí)。這種因果理解能夠讓他們從有限的數(shù)據(jù)中學(xué)習(xí)，并拓展到新的環(huán)境中。

這與牛頓定律與托勒密模型的對比類似，牛頓定律用最小的自由參數(shù)來解釋因果關(guān)系，而太陽系的托勒密模型給出了非常精確的預(yù)測，但它需要大量的數(shù)據(jù)來確定其細節(jié)。

在組合數(shù)據(jù)上測試

在現(xiàn)實世界中測試視覺算法的組合復(fù)雜度的一個潛在挑戰(zhàn)是，我們只能測試有限的數(shù)據(jù)。我們可以通過關(guān)注最壞情況，而不是一般情況來解決這一問題。

正如我們前面所說，如果數(shù)據(jù)集沒體現(xiàn)出問題的組合復(fù)雜性，那么算法在有限大小數(shù)據(jù)集中的結(jié)果可能沒有意義。顯然，如果目標(biāo)是為自動駕駛汽車開發(fā)視覺算法，或者在醫(yī)學(xué)圖像中診斷癌癥，那么關(guān)注最壞的情況也是有意義的，因為算法的失敗可能會產(chǎn)生嚴重的后果。

如果能在低維空間中捕捉到故障模式，例如立體匹配算法的危險因素，那么我們可以利用計算機圖形學(xué)和網(wǎng)格搜索對其進行研究。但對于大多數(shù)視覺任務(wù)，特別是涉及組合數(shù)據(jù)的任務(wù)，我們很難識別出少數(shù)可以被隔離和測試的危險因素。

另一種策略是將標(biāo)準(zhǔn)對抗攻擊的概念擴展到包括非局部結(jié)構(gòu)，并允許復(fù)雜的操作，這些操作會導(dǎo)致圖像或場景發(fā)生變化，例如通過遮擋或更改正在查看的對象的物理屬性，盡管這不會對人的感知造成太大的影響。

將此策略擴展到處理組合數(shù)據(jù)的視覺算法仍然是非常具有挑戰(zhàn)性的。但是，如果在設(shè)計算法時考慮到了組合性，那么它們的顯式結(jié)構(gòu)可能使診斷和確定它們的故障模式成為可能。

挑戰(zhàn)與未來

幾年前，Aude Oliva和Alan Yuille（本文第一作者）共同組織了一個由NSF贊助的計算機視覺前沿研討會（MIT CSAIL 2011）。這次會議鼓勵參會者坦誠交換意見，參會者對計算機視覺的深度神經(jīng)網(wǎng)絡(luò)的潛力產(chǎn)生了巨大分歧。

Yann LeCun大膽地預(yù)言，每個人都將很快地使用深度神經(jīng)網(wǎng)絡(luò)。他的預(yù)測是正確的。深度神經(jīng)網(wǎng)絡(luò)的成功非同尋常，它帶領(lǐng)計算機視覺走向了熱門，極大地增加了學(xué)術(shù)界和工業(yè)界之間的互動，將計算機視覺應(yīng)用到了許多不同的學(xué)科，并產(chǎn)生了很多有意義的成果。

但是，盡管深度神經(jīng)網(wǎng)絡(luò)取得了成功，但在我們達到通用人工智能和理解生物視覺系統(tǒng)的目標(biāo)之前，仍然存在著巨大的挑戰(zhàn)。我們的一些擔(dān)憂與最近對深層網(wǎng)絡(luò)的批評中提到的類似。

其中，我們今天討論的“組合爆炸”就是最大的挑戰(zhàn)之一。

雖然深度神經(jīng)網(wǎng)絡(luò)肯定是解決方案的一部分，但我們相信，我們還需要一些額外的方法用來捕獲數(shù)據(jù)基礎(chǔ)結(jié)構(gòu)的復(fù)合原理和因果模型。此外，面對組合爆炸，我們需要重新思考如何訓(xùn)練和評估視覺算法。