近日,OpenAI的研究人員提出了一種全新的AI安全策略——迭代放大法(iterated amplification),通過(guò)描述如何將一個(gè)復(fù)雜的任務(wù)分解成簡(jiǎn)單的子任務(wù)而不是提供標(biāo)簽數(shù)據(jù)或獎(jiǎng)勵(lì)函數(shù)，實(shí)現(xiàn)了對(duì)于復(fù)雜行為和目標(biāo)的描述。雖然這一方法還處于比較初級(jí)的階段，但研究人員認(rèn)為這種方法將為AI安全提供一種大規(guī)模的實(shí)現(xiàn)手段。

如果我們想要訓(xùn)練一個(gè)機(jī)器學(xué)習(xí)模型完成特定的任務(wù)，我們一定需要訓(xùn)練信號(hào)來(lái)評(píng)價(jià)模型的表現(xiàn)并幫助模型不斷學(xué)習(xí)和改進(jìn)。例如監(jiān)督學(xué)習(xí)中的標(biāo)簽和強(qiáng)化學(xué)習(xí)中的獎(jiǎng)勵(lì)函數(shù)就是訓(xùn)練訊號(hào)。機(jī)器學(xué)習(xí)體系中的一個(gè)重要假設(shè)就是這些訊號(hào)已經(jīng)存在，并且算法可以按照它來(lái)學(xué)習(xí)。但實(shí)際情況是訓(xùn)練信號(hào)可能來(lái)自于不知道的某個(gè)地方。如果我們沒(méi)有訓(xùn)練信號(hào)就意味著我們沒(méi)有辦法學(xué)習(xí)。如果我們得到的是錯(cuò)誤信號(hào)，那么算法可能會(huì)得到無(wú)意識(shí)的甚至危險(xiǎn)的結(jié)果。所以對(duì)于新的任務(wù)和AI安全來(lái)說(shuō)，提高得到訓(xùn)練訊號(hào)的能力是十分必要且極具價(jià)值的。

那么讓我們看看目前是怎么獲取訓(xùn)練信號(hào)的呢？有時(shí)候我們可以利用算法得到，比如在圍棋游戲中可以通過(guò)計(jì)數(shù)評(píng)分得到信號(hào)。不過(guò)大多數(shù)真實(shí)世界的任務(wù)并沒(méi)有一個(gè)數(shù)學(xué)形式表達(dá)的信號(hào)，但通常我們可以人工的手段來(lái)獲取訓(xùn)練信號(hào)。但實(shí)際情況是，很多復(fù)雜的任務(wù)已經(jīng)遠(yuǎn)遠(yuǎn)超過(guò)了人類(lèi)的認(rèn)知能力，我們沒(méi)辦法判斷模型的輸出是否正確，例如設(shè)計(jì)一個(gè)復(fù)雜的運(yùn)輸系統(tǒng)或者管理龐大計(jì)算機(jī)網(wǎng)絡(luò)安全細(xì)節(jié)的管理系統(tǒng)這樣的任務(wù)，或者是預(yù)測(cè)全球長(zhǎng)期氣候趨勢(shì)這種復(fù)雜的任務(wù)。

需要不同訓(xùn)練信號(hào)的問(wèn)題，訓(xùn)練序號(hào)可以來(lái)自表達(dá)式評(píng)價(jià)、人類(lèi)反饋，但有的任務(wù)超出了人類(lèi)的能力。

本文提出的迭代放大，是一種在確定性假設(shè)下為后續(xù)任務(wù)生成訓(xùn)練假設(shè)的方法。實(shí)際上，雖然人類(lèi)不能在全局上直接把握復(fù)雜的問(wèn)題，但我們可以假設(shè)人類(lèi)可以有效的評(píng)估復(fù)雜任務(wù)中的一小塊任務(wù)是否符合要求。例如在計(jì)算機(jī)網(wǎng)絡(luò)安全的例子中，人們可以將“防御一系列針對(duì)于服務(wù)器和路由器的攻擊”分解為“針對(duì)服務(wù)器的攻擊”和“針對(duì)路由的攻擊”以及“兩個(gè)攻擊間可能的相關(guān)性”。此外，我們還可以假設(shè)，人類(lèi)可以承擔(dān)很少的一部分任務(wù)，例如“識(shí)別出日志中的一行可疑記錄”。如果人類(lèi)的分解任務(wù)能力和分擔(dān)任務(wù)能力得以落實(shí)，這兩項(xiàng)假設(shè)得以成立，那我們就可以為一項(xiàng)龐大的任務(wù)建立訓(xùn)練信號(hào)，這些訊號(hào)來(lái)自于人類(lèi)針對(duì)分解任務(wù)訊號(hào)的組合。

迭代放大的機(jī)制

研究人員在實(shí)際訓(xùn)練放大的過(guò)程中，首先訓(xùn)練AI系統(tǒng)從一個(gè)很小的子任務(wù)開(kāi)始學(xué)習(xí)，通過(guò)尋求人類(lèi)的幫助（標(biāo)簽/獎(jiǎng)勵(lì)信號(hào)）來(lái)學(xué)會(huì)解決這一子問(wèn)題。隨后讓系統(tǒng)學(xué)習(xí)一個(gè)稍大的問(wèn)題，這時(shí)候需要人類(lèi)將較大的任務(wù)進(jìn)行分解，AI系統(tǒng)依靠上一步的學(xué)習(xí)來(lái)解決這些問(wèn)題。研究人員將這種解決方案用于那些稍微困難的問(wèn)題，在這些問(wèn)題中系統(tǒng)從人類(lèi)處得到訓(xùn)練信號(hào)，來(lái)直接訓(xùn)練二級(jí)任務(wù)（此時(shí)無(wú)需人類(lèi)幫助）。

隨著訓(xùn)練的進(jìn)行，研究人員繼續(xù)為AI提供更為復(fù)雜的復(fù)合任務(wù)，不斷構(gòu)建出訓(xùn)練信號(hào)。如果這個(gè)過(guò)程得以完成，AI系統(tǒng)將學(xué)會(huì)解決高度復(fù)雜的問(wèn)題，盡管這個(gè)系統(tǒng)一開(kāi)始沒(méi)有從任務(wù)中獲得直接的訓(xùn)練信號(hào)。

這一過(guò)程在一定程度上與AlphaGo Zero專(zhuān)家迭代過(guò)程很像，不過(guò)個(gè)專(zhuān)家迭代在強(qiáng)化現(xiàn)存的訓(xùn)練信號(hào)，而迭代放大則從零開(kāi)始構(gòu)建訓(xùn)練信號(hào)。它也和最近的一些問(wèn)題分解的算法很像，但區(qū)別在于它可以用于沒(méi)有先前訓(xùn)練信號(hào)的問(wèn)題。

實(shí) 驗(yàn)

先前的實(shí)驗(yàn)表明，直接用AI系統(tǒng)解決超越人類(lèi)能力的問(wèn)題十分困難，同時(shí)利用人類(lèi)作為訓(xùn)練信號(hào)也會(huì)引入復(fù)雜性。所以研究人員的第一個(gè)實(shí)驗(yàn)在于嘗試放大了算法的訓(xùn)練信號(hào)，來(lái)驗(yàn)證這種方法可以在簡(jiǎn)單任務(wù)的有效性。同時(shí)也限制了對(duì)于監(jiān)督學(xué)習(xí)的注意力。研究人員在5個(gè)示例算法任務(wù)上進(jìn)行了嘗試。這五個(gè)算法示例都有具體的數(shù)學(xué)表達(dá)，但研究人員先排除算法信號(hào)，了利用一步步從簡(jiǎn)單到復(fù)雜的方法從零開(kāi)始解決。利用迭代放大的方法，從一些不直接的子任務(wù)中間接學(xué)習(xí)出訓(xùn)練信號(hào)。

在五個(gè)任務(wù)中（排列、序列賦值、通配符匹配、最短路徑、查找并集），新的方法可以與表達(dá)式方法獲得同等甚至更好的效果。

在沒(méi)有l(wèi)abel的情況下迭代放大法獲得了與監(jiān)督學(xué)習(xí)相同甚至更好的結(jié)果

放大法在尋求解決那些超越人類(lèi)直接認(rèn)知和能力的問(wèn)題，通過(guò)迭代的過(guò)程使得人類(lèi)可以提供間接的監(jiān)督信號(hào)。這項(xiàng)工作同時(shí)也建立在人類(lèi)反饋的基礎(chǔ)上，通過(guò)實(shí)現(xiàn)獎(jiǎng)勵(lì)預(yù)測(cè)系統(tǒng)，接下來(lái)的版本將會(huì)包含來(lái)自于真實(shí)人類(lèi)的反饋。目前研究人員僅僅在探索的初級(jí)階段，隨著研究的深入和規(guī)模的擴(kuò)大將會(huì)為很多復(fù)雜的問(wèn)題帶來(lái)新的可能。

人類(lèi)反饋