在深度神經(jīng)網(wǎng)絡(DNN)發(fā)展的簡短歷史中，業(yè)界不斷嘗試各種可提升性能的硬件架構。通用CPU最容易編程，但每瓦特性能的效率最低。GPU針對平行浮點運算進行了優(yōu)化，性能也比CPU更高幾倍。因此，當GPU供貨商有了一大批新客戶，他們開始增強設計，以進一步提高DNN效率。例如，Nvidia新的Volta架構增加專用矩陣乘法單元，加速了常見的DNN運算。

即使是增強型的GPU，仍然受其圖形專用邏輯的拖累。此外，盡管大多數(shù)的訓練仍然使用浮點運算，但近來的趨勢是使用整數(shù)運算進行DNN推論。例如Nvidia Volta的整數(shù)性能，但仍然建議使用浮點運算進行推論。芯片設計人員很清楚，整數(shù)單元比浮點單元更小且功效更高得多；當使用8位(或更小)整數(shù)而非16位或32位浮點數(shù)時，其優(yōu)勢更加明顯。

相較于GPU，DSP則是針對整數(shù)數(shù)學而設計的，特別適用于卷積神經(jīng)網(wǎng)絡(CNN)中的卷積函數(shù)。向量DSP使用寬SIMD單元進一步加速推論計算，例如，Cadence的C5 DSP核心包括四個2048位寬度的SIMD單元；因此，核心在每個周期內(nèi)可以完成1,024個8位整數(shù)乘法累加(MAC)作業(yè)。在16nm設計中，它能每秒處理超過1兆個MAC運算。聯(lián)發(fā)科技(MediaTek)即取得了Cadence的DSP IP授權，用于其最新智能手機處理器的DNN加速器。

新架構的機會

最有效率的架構是從頭開始設計DNN，消除其它應用的特性，并針對DNN需要的特定計算進行優(yōu)化。這些架構能建置于專用ASIC或銷售至系統(tǒng)制造商的芯片(這些芯片稱為專用標準產(chǎn)品或ASSP)中。最顯著的DNN ASIC是Google的TPU，它為推論任務進行了優(yōu)化，主要包括65,536個MAC單元的脈動數(shù)組和28MB內(nèi)存，以容納DNN權重和累加器。TPU使用一個簡單的四階流水線，而且只執(zhí)行少數(shù)指令。

多家新創(chuàng)公司也在為DNN開發(fā)客制架構。英特爾(Intel)去年收購了其中的一家(Nervana)，并計劃在今年年底前出樣其第一款ASSP；但該公司尚未透露該架構的任何細節(jié)。Wave Computing為DNN開發(fā)了數(shù)據(jù)流處理器。其它為此獲得眾多資金的新創(chuàng)公司包括Cerebras、Graphcore和Groq。我們預計這些公司至少有幾家會在2018年投產(chǎn)組件。

另一種建置優(yōu)化架構的方法是利用FPGA。微軟(Microsoft)廣泛采用FPGA作為其Catapult和Brainwave計劃的一部份；百度(Baidu)、Facebook以及其它云端服務器供貨商(CSP)也使用FPGA加速DNN。這種方法避免了數(shù)百萬美元的ASIC和ASSP投片費用，并提供了更快的產(chǎn)品驗證時程；只要設計改動，F(xiàn)PGA就能在幾分鐘內(nèi)重新編程和設計。但它們作業(yè)于較低的時鐘速率，并且比ASIC所能容納的邏輯塊更少得多。圖1總結(jié)了我們對這些解決方案之間相對效率的看法。

圖1：根據(jù)不同的硬件設計，各種深度學習加速器之間的性能/功耗比至少存在兩個數(shù)量級的差異

有些公司藉由客制程度更高的加速器來強化現(xiàn)有設計，從而提供了一定的空間與彈性，例如，Nvidia專為自動駕駛車設計的Xavier芯片增加了一個整數(shù)數(shù)學模塊以加速DNN推論。Ceva和新思科技(Synopsys)設計了類似的單元，以便增強其SIMD DSP核心。這些模塊只包含大量的整數(shù)MAC單元，從而提高了數(shù)學運算效率。然而，由于他們并未置換底層的GPU或DSP架構，所以也不像從頭設計那么有效率。

客制設計的挑戰(zhàn)之一在于深度學習算法持續(xù)迅速發(fā)展中。時下最流行的DNN開發(fā)工具TensorFlow兩年前才出現(xiàn)，數(shù)據(jù)科學家們已經(jīng)在評估新的DNN結(jié)構、卷積函數(shù)和數(shù)據(jù)格式了。對于兩年后的DNN來說，如今為現(xiàn)有工作負載客制的設計可能不再是理想的選擇，或甚至無法發(fā)揮作用。為了解決這個問題，大多數(shù)的ASIC和ASSP設計都是可編程且靈活的，但是FPGA提供了最大靈活度。例如，微軟已經(jīng)將專有的9位浮點格式定義為其Brainwave深度學習平臺的一部份。

融會貫通各種選擇

縱觀深度學習發(fā)展史，半導體產(chǎn)業(yè)通常首先在通用CPU中實現(xiàn)新應用。如果應用適用于現(xiàn)有的專用芯片，如GPU和DSP，那么接下來可能會轉(zhuǎn)移到這兩者。隨著時間的推移，如果新應用發(fā)展成一個規(guī)模市場，業(yè)界公司就會開始開發(fā)ASIC和ASSP，雖然這些組件可能保留一定的可編程性。只有當算法變得極其穩(wěn)定時(例如MPEG)，才能真的看到以固定功能邏輯的應用建置。

深度學習目前也正按這一發(fā)展路線展開。GPU和DSP顯然是適用的，而且因需求夠高，所以ASIC開始出現(xiàn)。幾家新創(chuàng)公司和其它公司正在開發(fā)即將在2018年及其后出貨的ASSP。至于少量或利基應用，F(xiàn)PGA通常更受歡迎；深度學習已經(jīng)顯示出足以為ASIC投片帶來的前景了。

然而，哪一種DNN架構將會勝出？如今看來還不夠明朗。盡管深度學習市場正迅速成長，但仍遠低于PC、智能手機和汽車市場。因此，ASIC和ASSP的商業(yè)案例看起來還微不足道。相形之下，像英特爾和Nvidia這樣的公司可以采用來自其它市場的高性能處理器，并增強其深度學習，透過大量的軟件支持和持續(xù)的更新以提供具競爭力的產(chǎn)品。未來幾年，我們將會看到許多不同的硬件架構在深度學習市場中共存。