自2017年以來，AI研究人員一直在使用AI神經(jīng)網(wǎng)絡(luò)來幫助設(shè)計更好、更快的AI神經(jīng)網(wǎng)絡(luò)。迄今為止，應(yīng)用AI來實現(xiàn)更好的AI很多程度上是一種學(xué)術(shù)追求——主要是因為這種方法需要數(shù)萬個GPU小時。

然而，下個月，麻省理工學(xué)院（MIT）的一個研究小組將展示一種所謂的“神經(jīng)架構(gòu)搜索”算法，該算法可以將AI優(yōu)化的AI設(shè)計過程加速240倍或更多。這將使AI更快、更準(zhǔn)確，在實際應(yīng)用中達(dá)到可應(yīng)用于圖像識別算法和其他相關(guān)應(yīng)用的程度。

MIT電子工程和計算機科學(xué)助理教授Song Han表示：“在模型大小、推理延遲、準(zhǔn)確性和模型容量之間存在各種各樣的權(quán)衡。”他補充說：“（這些）加起來就是一個巨大的設(shè)計空間。以前，人們設(shè)計了基于啟發(fā)法的神經(jīng)網(wǎng)絡(luò)。神經(jīng)架構(gòu)搜索試圖將這種勞動密集型的、基于啟發(fā)法的探索轉(zhuǎn)變?yōu)榛趯W(xué)習(xí)的、基于AI的設(shè)計空間探索。就像AI可以學(xué)習(xí)下圍棋一樣，AI也可以學(xué)習(xí)如何設(shè)計一個神經(jīng)網(wǎng)絡(luò)?！?/p>

就像在圍棋和國際象棋中獲勝的AI程序已經(jīng)向這些游戲的大師們教授新策略一樣，AI優(yōu)化的AI設(shè)計結(jié)果為AI神經(jīng)網(wǎng)絡(luò)設(shè)計提供了新的方法。

MIT的新算法加速了其開發(fā)的AI神經(jīng)網(wǎng)絡(luò)的類型為卷積神經(jīng)網(wǎng)絡(luò)（CNN）。CNN通常是用于圖像識別程序的首選神經(jīng)網(wǎng)絡(luò)。除了圖像和視頻領(lǐng)域的應(yīng)用外，CNN在自然語言處理和藥物發(fā)現(xiàn)等領(lǐng)域也有所應(yīng)用。

MIT的Han指出，一旦他們的算法建立起最優(yōu)的CNN，所得到的系統(tǒng)很可能將圖像分類的速度提高到其他神經(jīng)架構(gòu)搜索構(gòu)建的AI的1.8倍。

Han說，其團(tuán)隊能夠以如此驚人的速度精確定位最優(yōu)的CNN設(shè)計，得益于三個重要的想法。

首先，他們減少了運行神經(jīng)架構(gòu)搜索的GPU的內(nèi)存負(fù)載。一個標(biāo)準(zhǔn)的神經(jīng)結(jié)構(gòu)搜索可以同時檢查網(wǎng)絡(luò)中神經(jīng)層之間所有可能的連接。相反，Han的團(tuán)隊每次只在GPU的內(nèi)存中保存一條路徑。這個技巧可以在僅使用十分之一內(nèi)存空間的情況下對參數(shù)空間進(jìn)行完整的搜索，從而使他們的搜索覆蓋更多的網(wǎng)絡(luò)配置，而不會耗盡芯片上的空間。

他們的第二個錦囊妙計是從已被丟棄的神經(jīng)網(wǎng)絡(luò)搜索中刪除整個路徑，這顯著加快了神經(jīng)網(wǎng)絡(luò)搜索的速度。（通常，神經(jīng)結(jié)構(gòu)搜索只丟棄單個“神經(jīng)元”，刪除掉所有次優(yōu)的神經(jīng)網(wǎng)絡(luò)連接。）

第三個創(chuàng)新之處涉及使神經(jīng)網(wǎng)絡(luò)搜索意識到AI系統(tǒng)可能正在運行的每種類型硬件的延遲時間——無論是直接的CPU還是用于移動平臺的GPU加速系統(tǒng)。

Han說，令人驚訝的是，關(guān)于一些類型的圖像識別神經(jīng)網(wǎng)絡(luò)的傳統(tǒng)觀點是錯誤的。從某種意義上說，AI網(wǎng)絡(luò)設(shè)計師在設(shè)計主要運行在GPU系統(tǒng)上的網(wǎng)絡(luò)時，他們的想法仍然停留在CPU時代。

CNN在其圖像識別算法中使用過濾器，這些過濾器是由3×3、5×5或7×7像素組成的正方形網(wǎng)格。傳統(tǒng)上，很少使用7×7大小的過濾器，因為人們認(rèn)為運行多層3×3過濾器比運行單個7×7過濾器更快。

然而，Han說，AI優(yōu)化的AI使用了相當(dāng)數(shù)量的7×7過濾器——Han認(rèn)為，這是當(dāng)今大多數(shù)AI計算中GPU占主導(dǎo)地位的一個原因。

“我們發(fā)現(xiàn)，在GPU上運行多層7×7過濾器更容易，因為GPU具有很大的并行性，”Han說。“而且調(diào)用一個大型內(nèi)核調(diào)用比調(diào)用幾個小型內(nèi)核調(diào)用更有效。”

在談到他們團(tuán)隊的算法時，Han說:“它為人類工程師設(shè)計未來的神經(jīng)網(wǎng)絡(luò)提供了良好的反饋?！比欢@并不意味著AI能夠構(gòu)建其自身的更強大版本。（那些擔(dān)心會發(fā)生AI大災(zāi)難的人，可能無法從目前的研究中找到對其觀點有利的證據(jù)。）