OpenAI研究人員日前發(fā)布了一個工具庫，該工具庫可以幫助研究人員在圖形處理器（graphics-processor-unit，GPU）上建立更快、更高效、占內(nèi)存更少的神經(jīng)網(wǎng)絡(luò)。

OpenAI研究人員日前發(fā)布了一個工具庫，可以幫助研究人員在圖形處理器上建立更快、更高效、占內(nèi)存更少的神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)由多層相連的節(jié)點構(gòu)成。這類網(wǎng)絡(luò)的架構(gòu)根據(jù)數(shù)據(jù)和應(yīng)用變化很多，但是所有模型都受到它們在圖形處理器上運行方式的限制。

以更少的計算能力訓(xùn)練更大模型的一種辦法是引入稀疏矩陣。如果一個矩陣?yán)锩嬗泻芏嗔?，那就視為稀疏矩陣。陣列中的空元素可以在矩陣乘法中壓縮和跳過，就在圖形處理器中占用的內(nèi)存更少。進行運算的計算成本與矩陣中非零條目的數(shù)量成比例,有了稀疏矩陣就意味著節(jié)省了多的計算能力用于構(gòu)建更廣或更深的網(wǎng)絡(luò)，能訓(xùn)練更高效，進行推斷的速度可提高十倍。

研究人員指出，英偉達(dá)并不支持塊稀疏模型。所以，OpenAI的團隊決定開發(fā)核——將軟件匯集在硬件上運行的微程序，優(yōu)化用于為更大的研究圈構(gòu)建塊稀疏網(wǎng)絡(luò)。

伊隆·馬斯克（Elon Musk）的人工智能研究部門的研究人員內(nèi)部使用這種程序訓(xùn)練長的短時記憶網(wǎng)絡(luò)，對亞馬遜網(wǎng)（Amazon）和互聯(lián)網(wǎng)電影資料庫（IMDB）的評論文本進行情感分析。

“我們的稀疏模型將互聯(lián)網(wǎng)電影資料庫數(shù)據(jù)集文本水平的藝術(shù)狀態(tài)誤差從5.91%降低到5.01%。從我們以往的結(jié)果來看，這個提高很有前景，因為之前最好的結(jié)果也只是在更短句子水平的數(shù)據(jù)集運算。”O(jiān)penAI在博文中表示。

核心程序在英偉達(dá)的統(tǒng)一計算設(shè)備架構(gòu)(CUDA)運算平臺編寫，OpenAI最近只開發(fā)了TensorFlow的服務(wù)運行，所以在不同框架下工作的研究人員要編寫自己的服務(wù)運行,它也只支持英偉達(dá)圖形處理器。OpenAI的技術(shù)人員表示：這確實可以擴展到支持小型塊矩陣乘法的其他架構(gòu)，包含了我知道的大多數(shù)架構(gòu)，但是谷歌的TPU2不在其中。雖然結(jié)果很有前景，“但是由于這些核程序仍然很新，我們還沒有確定它們能在何時何處幫助“神經(jīng)網(wǎng)絡(luò)架構(gòu)”。實驗中，我們提供了一些情景，它能幫助向模型增加稀疏。我們鼓勵研究圈幫助進一步探索這個領(lǐng)域?！痹撗芯咳藛T表示。

英偉達(dá)知道了這項工作，正在等著代碼發(fā)布，以便為其提供更廣的支持，這名技術(shù)人員補充說。OpenAI的工作與麻省理工學(xué)院研究人員開發(fā)的軟件Taco相似，后者產(chǎn)生了自動處理稀疏矩陣所需的代碼。