繼年初發(fā)布新一代FPGA框架后，F(xiàn)PGA巨頭賽靈思在Hot Chips大會揭露了最新一代深度神經(jīng)網(wǎng)絡(luò)推理裝置xDNN的部分規(guī)格參數(shù)。隨著更多定制芯片的發(fā)展，現(xiàn)如今AI芯片的戰(zhàn)火已經(jīng)蔓延到推理領(lǐng)域。賽靈思的xDNN可配置、可復(fù)寫，進行多任務(wù)處理，還配有Tensor內(nèi)存。

目前來看，F(xiàn)PGA可能沒有像一些人預(yù)期的那樣在深度學(xué)習(xí)的訓(xùn)練空間中占據(jù)一席之地，但AI推理的低功耗、高頻率需求非常適合可重復(fù)編程硬件的性能曲線。

然而，現(xiàn)在人們越來越專注于推理與訓(xùn)練的新體系架構(gòu)，F(xiàn)PGA也在努力在定制化硬件領(lǐng)域保持領(lǐng)先，而這要靠一些高級編程工具來降低編程的復(fù)雜度。

目前，要判斷通用CPU、GPU、FPGA及定制芯片如何才能吸引最廣泛的用戶群還為時尚早，但基于云的FPGA以及不斷發(fā)展的高級FPGA集，越來越多地作為實驗工具使用，讓FPGA在面向推理的任務(wù)中占據(jù)了一席之地。

考慮到所有這些因素，F(xiàn)PGA制造商Xilinx近日在Hot Chips大會上發(fā)布了Xilinx深度神經(jīng)網(wǎng)絡(luò)推理（xDNN）設(shè)備的一些參數(shù)細節(jié)，公司將在接下來10月1日舉行的開發(fā)者大會上發(fā)布更多信息和性能基準(zhǔn)。

就在幾年前，神經(jīng)網(wǎng)絡(luò)訓(xùn)練處理器還是架構(gòu)展上的耀眼明星，但最近，GPU已經(jīng)在與定制化、專門化的ASIC芯片和其他通用硬件展開激烈競爭，眼下戰(zhàn)火又蔓延到了推理任務(wù)領(lǐng)域。

Xilinx的數(shù)據(jù)中心和IP總監(jiān)Rahul Nimaiyar上周在Hot Chips大會上表示，用FPGA執(zhí)行推理任務(wù)具備堅實的硬件基礎(chǔ)。FPGA的數(shù)據(jù)處理并行的，并且支持數(shù)據(jù)重用、數(shù)據(jù)壓縮，能夠應(yīng)對數(shù)據(jù)稀疏。

xDNN處理器的2D二維MAC陣列，靈活的高帶寬片載存儲器，支持多種方式訪問，讓數(shù)據(jù)的傳輸和轉(zhuǎn)移更加高效。此外，xDNN還支持靈活的數(shù)據(jù)類型（FP32 / FP16及INT 16/8/4/2等）。

xDNN是一個可配置、可復(fù)寫的處理器，可以映射到FPGA上而無需重新編程。Xilinx還提供了深度神經(jīng)網(wǎng)絡(luò)特定指令集（如卷積，最大池化等），可適用于任何網(wǎng)絡(luò)和任何大小的圖像，還可以編譯和運行新網(wǎng)絡(luò)。也就是說，xDNN可以與TensorFlow一起使用，無需重新編程或更改FPGA。

Virtex硬件可以用于幾種類型的存儲器；從位于DSP模塊旁邊的分布式基礎(chǔ)RAM到UltraRAM，再到高帶寬內(nèi)存和外部DDR4內(nèi)存都可以，從而實現(xiàn)計算效率的優(yōu)化和性能提升。

上圖是一個通道并行脈動陣列（channel parallel systolic arrays）的放大示意圖，圖中所示為分布式加權(quán)緩沖區(qū)。處理元件被加權(quán)映射到DSP塊上，具體權(quán)重保存在處理旁邊分布式RAM中，該RAM容量很小，速度很快。換句話說，這些分布式RAM就是權(quán)重緩存。

xDNN的“Tensor內(nèi)存”位于脈動陣列的旁邊，并存儲輸入和輸出的特征映射。該部分也是并行通道，因此該陣列中的每個行都與一行內(nèi)存相關(guān)聯(lián)。也就是說，xDNN可以進行多任務(wù)處理，在陣列上進行計算，同時還可以根據(jù)需要引入新的網(wǎng)絡(luò)層。

與其他面向推理任務(wù)的芯片一樣，xDNN也在芯片內(nèi)壓縮了盡量多的內(nèi)置存儲器，以保持芯片的活性。這是一種比較艱難的平衡做法，目的是為了保證計算效率，從下面的基準(zhǔn)測試結(jié)果來看，Xilinx的配置似乎是有效的。

除了硬件之外，提升易用性也是關(guān)鍵問題，無論是對于那些使用F1進行深度學(xué)習(xí)的人，還是用FPGA編程實現(xiàn)更精細的點的人來說，編譯器和運行時間都是關(guān)鍵指標(biāo)。

上圖是關(guān)于Xilinx為用戶開發(fā)的機器學(xué)習(xí)工具套件的更多信息，實際上，這是一個允許用戶連接至框架的API，可以更容易地在Tensorflow中獲得經(jīng)過訓(xùn)練的模型和權(quán)重，例如，將其轉(zhuǎn)換為一個Xilinx圖，在它到達編譯器之前通過一些優(yōu)化，生成所有必要的指令集，以便在xDNN上運行該網(wǎng)絡(luò)。

Xilinx還提供了一個量化器，可以將經(jīng)過訓(xùn)練的權(quán)重數(shù)據(jù)輸入到一些校準(zhǔn)集中，以找到范圍并快速獲得這些權(quán)重的量化結(jié)果。

Nimaiyar表示，Xilinx已經(jīng)抽取出了產(chǎn)生有效推理的其他元素，包括操作的融合（一旦訪問被激活，這些操作直接作為流程運算符執(zhí)行，而不再返回Tensor Memory），當(dāng)特征映射大小超過片載存儲器空間時，會進行指令級的并行化處理，和自動將映射在層內(nèi)平鋪，這意味著xDNN可以處理任何規(guī)模的特征映射。

上圖的稀疏基準(zhǔn)測試是Xilinx在其開發(fā)者論壇上發(fā)布的結(jié)果，到目前為止，60-80％的跨框架高效數(shù)據(jù)表現(xiàn)已經(jīng)足夠令人期待。