一年前，ZDNet 與Google Brain總監(jiān)Jeff Dean 談了有關(guān)該公司如何利用人工智能來推進其定制芯片內(nèi)部開發(fā)以加速其軟件的過程。Dean指出，在某些情況下，人工智能的深度學習形式可以比人類做出更好的決策，以決定如何在芯片中布局電路。

本月，Google 在arXiv文件服務(wù)器 上 發(fā)表 的一篇題為《阿波羅：可移植的體系結(jié)構(gòu)探索》（Apollo：Transferable Architecture Exploration）的論文上，向世人揭示了一個名為Apollo的研究項目。

阿波羅（Apollo）代表著一個有趣的發(fā)展，超越了Dean一年前在國際固態(tài)電路會議上的正式講話中以及在他對ZDNet的講話中所暗示的含義。

在Dean當時提供的示例中，機器學習可用于一些低級設(shè)計決策，即“布局和布線”。在位置和路線上，芯片設(shè)計人員使用軟件來確定構(gòu)成芯片操作的電路布局，類似于設(shè)計建筑物的平面圖。

相比之下，在阿波羅，該計劃執(zhí)行的是論文作者Yazdanbakhsh及其同事所說的“架構(gòu)探索”，而不是平面圖。

芯片的體系結(jié)構(gòu)是芯片功能元素的設(shè)計，主要是決定它們?nèi)绾蜗嗷プ饔靡约败浖?a href="http://www.www27dydycom.cn/v/tag/1730/" target="_blank">程序員應如何訪問這些功能元素。

例如，經(jīng)典的Intel x86處理器具有一定數(shù)量的片上內(nèi)存，專用的算術(shù)邏輯單元和許多寄存器，等等。這些部分的組合方式賦予了所謂的英特爾架構(gòu)以意義。

當被問及Dean的描述時，Yazdanbakhsh在電子郵件中告訴ZDNet： “我會看到我們的工作和布局規(guī)劃項目是正交且互補的。

Yazdanbakhsh解釋說：“架構(gòu)探索比 計算棧中的 布局布線要高級得多，”他指的是康奈爾大學（Cornell University）的Christopher Batten的演講。

Yazdanbakhsh表示：“我認為，在［架構(gòu)探索］中，存在更高的性能改進余地。

Yazdanbakhsh及其同事將Apollo稱為“第一個可移植的體系結(jié)構(gòu)探索基礎(chǔ)結(jié)構(gòu)”，這是第一個程序，它在不同的芯片上工作的越多，越能更好地探索可能的芯片體系結(jié)構(gòu)，從而將學到的知識轉(zhuǎn)移到每個新任務(wù)上。

Yazdanbakhsh和團隊正在開發(fā)的芯片本身就是用于AI的芯片，稱為加速器。該芯片與Nvidia A100“ Ampere” GPU，Cerebras Systems WSE芯片以及目前投放市場的許多其他啟動部件屬于同一類。因此，使用AI設(shè)計運行AI的芯片具有很好的對稱性。

鑒于任務(wù)是設(shè)計一個AI芯片，Apollo程序正在探索的架構(gòu)是適合運行神經(jīng)網(wǎng)絡(luò)的架構(gòu)。這意味著很多線性代數(shù)，很多簡單的數(shù)學單元執(zhí)行矩陣乘法并對結(jié)果求和。

團隊將挑戰(zhàn)定義為找到適合給定AI任務(wù)的這些數(shù)學塊的正確組合之一。他們選擇了一個相當簡單的AI任務(wù)，即一個稱為MobileNet的卷積神經(jīng)網(wǎng)絡(luò)，這是一種資源有效的網(wǎng)絡(luò)，由Andrew G.Howard和Google的同事于2017年設(shè)計。此外，他們使用多個內(nèi)部設(shè)計的網(wǎng)絡(luò)測試了工作負載，以執(zhí)行諸如對象檢測和語義分段之類的任務(wù)。

這樣，目標就變成了：對于芯片的體系結(jié)構(gòu)，什么是正確的參數(shù)，以使得對于給定的神經(jīng)網(wǎng)絡(luò)任務(wù)，芯片滿足諸如速度之類的某些標準？

搜索涉及對超過4.52億個參數(shù)進行排序，包括將使用多少個數(shù)學單元（稱為處理器元素），以及對于給定模型而言最佳的參數(shù)存儲量和激活存儲量。

Apollo的優(yōu)點是可以將各種現(xiàn)有的優(yōu)化方法相提并論，以了解它們?nèi)绾卧趦?yōu)化新型芯片設(shè)計的體系結(jié)構(gòu)中相互疊加。在這里，上圖顯示了相對結(jié)果。

Apollo是一個框架，這意味著它可以采用文獻中開發(fā)的多種方法進行所謂的黑盒優(yōu)化，并且可以使這些方法適應特定的工作負載，并比較每種方法在解決目標方面的效果。

在另一個很好的對稱性中，Yazdanbakhsh采用了一些優(yōu)化方法，這些方法實際上是為開發(fā)神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)而設(shè)計的。其中包括Google的Quoc V.Le及其同事于2019年開發(fā)的所謂進化法; Christoph Angermueller和其他人在Google上基于模型的強化學習和所謂的基于群體的方法集成，目的是“設(shè)計” DNA序列；和貝葉斯優(yōu)化方法。因此，Apollo包含了令人愉悅的對稱性的主要層次，將為神經(jīng)網(wǎng)絡(luò)設(shè)計和生物合成設(shè)計的方法匯集在一起，以設(shè)計可用于神經(jīng)網(wǎng)絡(luò)設(shè)計和生物合成的電路。

比較所有這些優(yōu)化，這就是Apollo框架的亮點。它的整個存在目的是有條不紊地采用不同的方法，并指出最有效的方法。阿波羅（Apollo）試驗結(jié)果詳細說明了進化方法和基于模型的方法如何優(yōu)于隨機選擇和其他方法。

但是，阿波羅最引人注目的發(fā)現(xiàn)是，與蠻力搜索相比，運行這些優(yōu)化方法使流程效率更高。例如，他們將基于群體的集成方法與他們所說的對體系結(jié)構(gòu)方法的解決方案集的半窮盡搜索進行了比較。

Yazdanbakhsh及其同事看到的是，基于人群的方法能夠發(fā)現(xiàn)利用電路中權(quán)衡取舍的解決方案，例如計算與內(nèi)存，而這通常需要特定領(lǐng)域的知識。由于基于人口的方法是一種博學的方法，因此它可以找到半窮舉搜索無法找到的解決方案。

實際上，P3BO（基于人口的黑盒優(yōu)化）發(fā)現(xiàn)的設(shè)計比3K樣本搜索空間的半窮盡略好。我們觀察到該設(shè)計使用非常小的內(nèi)存大小（3MB）來支持更多的計算單元。這充分利用了視覺工作負載的計算密集型性質(zhì)，而原始半詳盡搜索空間中并未包含該功能。這證明了半窮舉方法需要人工搜索空間工程，而基于學習的優(yōu)化方法利用大的搜索空間來減少人工工作。

因此，Apollo能夠弄清楚不同的優(yōu)化方法在芯片設(shè)計中的效果如何。但是，它還可以做更多的事情，那就是它可以運行所謂的遷移學習，以展示如何依次改進這些優(yōu)化方法。

通過運行優(yōu)化策略以將芯片設(shè)計提高一個設(shè)計點，例如以毫米為單位的最大芯片尺寸，這些實驗的結(jié)果便可以作為輸入輸入到隨后的優(yōu)化方法中。Apollo團隊發(fā)現(xiàn)的是，通過利用初始或種子優(yōu)化方法的最佳結(jié)果，各種優(yōu)化方法可在諸如面積受限的電路設(shè)計之類的任務(wù)上提高其性能。

所有這些必須由以下事實括起來：為MobileNet或任何其他網(wǎng)絡(luò)或工作負載設(shè)計芯片受設(shè)計過程對給定工作負載的適用性的限制。

實際上，其中一位作者Berkin Akin幫助開發(fā)了MobileNet版本MobileNet Edge，他指出優(yōu)化是芯片和神經(jīng)網(wǎng)絡(luò)優(yōu)化的產(chǎn)物。

“神經(jīng)網(wǎng)絡(luò)架構(gòu)必須了解目標硬件架構(gòu)，才能優(yōu)化整體系統(tǒng)性能和能源效率，” Akin去年在與同事Suyog Gupta的論文中寫道。

ZDNet通過電子郵件與Akin聯(lián)絡(luò)，問一個問題：與神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)的設(shè)計隔離時，硬件設(shè)計有多有價值？

“很好的問題?！盇kim在電子郵件中回答。

Akin說，Apollo對于給定的工作負載可能就足夠了，但是在芯片和神經(jīng)網(wǎng)絡(luò)之間進行的所謂的“共同優(yōu)化”將帶來其他好處。

這是Akin的完整回覆：

當然，在某些用例中，我們正在為給定的一組固定神經(jīng)網(wǎng)絡(luò)模型設(shè)計硬件。這些模型可以是硬件目標應用領(lǐng)域中高度優(yōu)化的代表性工作負載的一部分，也可以是定制加速器用戶的要求。在這項工作中，我們正在解決這種性質(zhì)的問題，我們使用ML為給定的工作負載套件找到最佳的硬件體系結(jié)構(gòu)。但是，當然在某些情況下，可以靈活地共同優(yōu)化硬件設(shè)計和神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)。實際上，我們正在進行一些此類聯(lián)合優(yōu)化的工作，我們希望可以取得更好的權(quán)衡。

那么，最后的收獲是，即使芯片設(shè)計受到AI的新工作量的影響，芯片設(shè)計的新過程也可能對神經(jīng)網(wǎng)絡(luò)的設(shè)計產(chǎn)生可衡量的影響。
責任編輯:tzh