神經(jīng)網(wǎng)絡(luò)的黑盒屬性，一直是困擾研究人員和開(kāi)發(fā)者最頭疼的問(wèn)題之一。以至于大家給神經(jīng)網(wǎng)絡(luò)戴了了一個(gè)煉丹術(shù)的帽子。但是OpenAI發(fā)現(xiàn)，梯度噪聲量表是一種簡(jiǎn)單的統(tǒng)計(jì)度量，可以預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)訓(xùn)練在各種任務(wù)中的可并行性。

由于復(fù)雜的任務(wù)往往具有更嘈雜的梯度，因此越來(lái)越大的batch計(jì)算包，可能在將來(lái)變得有用，從而消除了AI系統(tǒng)進(jìn)一步增長(zhǎng)的一個(gè)潛在限制。

更廣泛地說(shuō)，這些結(jié)果表明神經(jīng)網(wǎng)絡(luò)訓(xùn)練不需要被認(rèn)為是一種煉丹術(shù)，而是可以被量化和系統(tǒng)化。

在過(guò)去的幾年里，AI研究人員通過(guò)數(shù)據(jù)并行技術(shù)，在加速神經(jīng)網(wǎng)絡(luò)訓(xùn)練方面取得了越來(lái)越大的成功，數(shù)據(jù)并行性將大batch數(shù)據(jù)分散到許多機(jī)器上。

研究人員成功地使用了成各種的batch進(jìn)行圖像分類和語(yǔ)言建模，甚至玩Dota 2。

這些大batch數(shù)據(jù)允許將越來(lái)越多的計(jì)算量有效地投入到單個(gè)模型的訓(xùn)練中，并且是人工智能訓(xùn)練計(jì)算快速增長(zhǎng)的重要推動(dòng)者。

但是，batch如果太大，則梯度消失。并且不清楚為什么這些限制對(duì)于某些任務(wù)影響更大而對(duì)其他任務(wù)影響較小。

我們已經(jīng)發(fā)現(xiàn)，通過(guò)測(cè)量梯度噪聲標(biāo)度，一個(gè)簡(jiǎn)單的統(tǒng)計(jì)量來(lái)量化網(wǎng)絡(luò)梯度的信噪比，我們可以近似預(yù)測(cè)最大有效batch大小。

同理，噪聲尺度可以測(cè)量模型所見(jiàn)的數(shù)據(jù)變化（在訓(xùn)練的給定階段）。當(dāng)噪聲規(guī)模很小時(shí)，快速并行查看大量數(shù)據(jù)變得多余；反之，我們?nèi)匀豢梢詮拇骲atch數(shù)據(jù)中學(xué)到很多東西。

這種類型的統(tǒng)計(jì)數(shù)據(jù)被廣泛用于樣本量選擇，并且已被提議用于深度學(xué)習(xí)，但尚未被系統(tǒng)地測(cè)量或應(yīng)用于現(xiàn)代訓(xùn)練運(yùn)行。

我們對(duì)上圖所示的各種機(jī)器學(xué)習(xí)任務(wù)進(jìn)行了驗(yàn)證，包括圖像識(shí)別，語(yǔ)言建模，Atari游戲和Dota。

由于大batch通常需要仔細(xì)和昂貴的調(diào)整或特殊高效的學(xué)習(xí)率，因此提前知道上限在訓(xùn)練新模型方面提供了顯著的實(shí)際優(yōu)勢(shì)。

我們發(fā)現(xiàn)，根據(jù)訓(xùn)練的現(xiàn)實(shí)時(shí)間和我們用于進(jìn)行訓(xùn)練的總體積計(jì)算（與美元成本成比例）之間的權(quán)衡，可視化這些實(shí)驗(yàn)的結(jié)果是有幫助的。

在非常小的batch的情況下，batch加倍可以讓我們?cè)诓皇褂妙~外計(jì)算的情況下減少一半的訓(xùn)練。在非常大的batch，更多的并行化不會(huì)導(dǎo)致更快的訓(xùn)練。中間的曲線中存在“彎曲”，漸變?cè)肼晿?biāo)度預(yù)測(cè)彎曲發(fā)生的位置。

我們通過(guò)設(shè)置性能水平（比如在Beam Rider的Atari游戲中得分為1000）來(lái)制作這些曲線，并觀察在不同batch大小下訓(xùn)練到該性能所需的時(shí)間。 結(jié)果與績(jī)效目標(biāo)的許多不同值相對(duì)較緊密地匹配了我們模型的預(yù)測(cè)。

梯度噪聲尺度中的模式

我們?cè)谔荻仍肼暳勘碇杏^察到了幾種模式，這些模式提供了人工智能訓(xùn)練未來(lái)可能存在的線索。

首先，在我們的實(shí)驗(yàn)中，噪聲標(biāo)度通常在訓(xùn)練過(guò)程中增加一個(gè)數(shù)量級(jí)或更多。

直觀地，這意味著網(wǎng)絡(luò)在訓(xùn)練早期學(xué)習(xí)任務(wù)的“更明顯”的特征，并在以后學(xué)習(xí)更復(fù)雜的特征。

例如，在圖像分類器的情況下，網(wǎng)絡(luò)可能首先學(xué)習(xí)識(shí)別大多數(shù)圖像中存在的小尺度特征（例如邊緣或紋理），而稍后將這些部分組合成更一般的概念，例如貓和狗。

要查看各種各樣的邊緣或紋理，網(wǎng)絡(luò)只需要看到少量圖像，因此噪聲比例較??；一旦網(wǎng)絡(luò)更多地了解更大的對(duì)象，它就可以一次處理更多的圖像，而不會(huì)看到重復(fù)的數(shù)據(jù)。

我們看到一些初步跡象表明，在同一數(shù)據(jù)集上不同模型具有相同的效果。更強(qiáng)大的模型具有更高的梯度噪聲標(biāo)度，但這僅僅是因?yàn)樗鼈儗?shí)現(xiàn)了更低的損耗。

因此，有一些證據(jù)表明，訓(xùn)練中增加的噪聲比例不僅僅是收斂的假象，而是因?yàn)槟Ｐ妥兊酶?。如果這是真的，那么我們期望未來(lái)的更強(qiáng)大的模型具有更高的噪聲規(guī)模，因此可以更加并行化。

在監(jiān)督學(xué)習(xí)的背景下，從MNIST到SVHN到ImageNet都有明顯的進(jìn)展。在強(qiáng)化學(xué)習(xí)的背景下，從Atari Pong到Dota 1v1到Dota 5v5有明顯的進(jìn)展，最佳batch大小相差10,000倍以上。

因此，隨著AI進(jìn)入新的和更困難的任務(wù)，我們希望模型能夠容忍更高的batch。

啟示

數(shù)據(jù)并行度顯著影響AI功能的進(jìn)展速度。更快的訓(xùn)練使更強(qiáng)大的模型成為可能，并通過(guò)更快的迭代時(shí)間加速研究。

在早期研究中，我們觀察到用于訓(xùn)練最大ML模型的計(jì)算，每3.5個(gè)月翻一番。我們注意到這種趨勢(shì)是由經(jīng)濟(jì)能力和算法并行訓(xùn)練的能力共同決定的。

后一因素（算法可并行性）更難以預(yù)測(cè)，其局限性尚不清楚，但我們目前的結(jié)果代表了系統(tǒng)化和量化的一步。

特別是，我們有證據(jù)表明，在同一任務(wù)中，更困難的任務(wù)和更強(qiáng)大的模型將允許比我們迄今為止看到的更激進(jìn)的數(shù)據(jù)并行性，這為訓(xùn)練計(jì)算的持續(xù)快速指數(shù)增長(zhǎng)提供了關(guān)鍵驅(qū)動(dòng)因素。