訓(xùn)練最先進(jìn)的人工智能系統(tǒng)所需的巨大計(jì)算資源意味著，經(jīng)驗(yàn)豐富的科技公司將學(xué)術(shù)團(tuán)隊(duì)置于塵埃中。但是一種新方法可以幫助平衡規(guī)模，使科學(xué)家可以在一臺計(jì)算機(jī)上解決最先進(jìn)的AI問題。

OpenAI的2018年報(bào)告發(fā)現(xiàn)，用于訓(xùn)練最強(qiáng)大的AI的處理能力以令人難以置信的快速速度增長，每3.4個(gè)月翻一番。最需要數(shù)據(jù)的方法之一是深度強(qiáng)化學(xué)習(xí)，其中AI通過遍歷數(shù)百萬次仿真來通過反復(fù)試驗(yàn)來學(xué)習(xí)。最近在諸如Starcraft和Dota2之類的視頻游戲上取得的令人印象深刻的進(jìn)步依賴于裝有數(shù)百個(gè)CPU和GPU的服務(wù)器。

諸如Cerebras System的Wafer Scale Engine之類的專用硬件有望用完美優(yōu)化用于訓(xùn)練AI的單個(gè)大型芯片來取代這些機(jī)架式處理器。但是，由于價(jià)格高達(dá)數(shù)百萬美元，對于資金不足的研究人員來說，這并不是什么安慰。

現(xiàn)在，南加州大學(xué)和英特爾實(shí)驗(yàn)室的團(tuán)隊(duì)創(chuàng)建了一種方法，可以在學(xué)術(shù)實(shí)驗(yàn)室常用的硬件上訓(xùn)練深度強(qiáng)化學(xué)習(xí)（RL）算法。在本周于2020年國際機(jī)器學(xué)習(xí)大會（ICML）上發(fā)表的一篇論文中，他們描述了他們?nèi)绾文軌蚴褂脝蝹€(gè)高端工作站在第一人稱射擊游戲中訓(xùn)練具有最先進(jìn)性能的AI電子游戲Doom。他們還使用一小部分正常計(jì)算能力來解決DeepMind提出的30種多樣化3D挑戰(zhàn)套件。

“發(fā)明對商品硬件進(jìn)行深度RL的方法是一個(gè)了不起的研究目標(biāo)，”德克薩斯大學(xué)奧斯汀分校的教授Peter Stone說，他專門研究深度RL。他補(bǔ)充說，除了將較小的研究小組拋在身后之外，進(jìn)行此類研究通常所需的計(jì)算資源也會產(chǎn)生大量的碳足跡。他說：“在使RL民主化和減少進(jìn)行研究所需的能源方面取得的任何進(jìn)展都是朝著正確方向邁出的一步。”

USC研究生的主要作者Aleksei Petrenko說，該項(xiàng)目的靈感來自于必須成為發(fā)明之母的經(jīng)典案例。隨著在英特爾的暑期實(shí)習(xí)期結(jié)束，Petrenko失去了進(jìn)入該公司的超級計(jì)算集群的權(quán)限，這使尚未完成的深度RL項(xiàng)目陷入危險(xiǎn)之中。因此，他和同事決定找到一種方法來繼續(xù)進(jìn)行簡單系統(tǒng)的工作。