FPGA越來越多地用于加速數據中心中的AI工作負載，以完成諸如機器學習推理之類的任務。越來越多的FPGA加速器正在挑戰(zhàn)數據中心GPU的部署，從而有望減輕數據中心服務器中已經工作過度的CPU的負擔。

本月初，英特爾（NASDAQ：INTC）推出了Stratix 10 NX FPGA，著眼于AI模型訓練和推理。賽靈思公司（納斯達克股票代碼：XLNX）已經對其在VMware vSphere云計算虛擬化平臺上運行的Alveo FPGA進行了驗證。

VMware使用Xilinx Alveo U250加速卡進行測試，通過Docker容器提供了機器學習模型，該容器與FPGA制造商的新Vitis AI開發(fā)堆棧集成在一起，用于機器學習推理。開源堆棧支持Caffe和TensorFlow框架。

合作伙伴本周報告說，虛擬部署和裸機部署之間機器學習推理的低延遲性能“幾乎相同”。

使用直接路徑I / O配置，虛擬機內部運行的應用程序可以訪問FPGA。該設置繞過了管理程序層，以提高性能并減少延遲

Xilinx在描述vSphere測試結果的博客文章中指出：“測試證明，虛擬機和裸機之間的性能差距在吞吐量和延遲方面均保持在2%以內?！?/p>

“這表明在虛擬環(huán)境中用于［機器學習］推理的vSphere上Alveo U250的性能幾乎與裸機基準相同?！?/p>

賽靈思和FPGA競爭對手英特爾正在推廣其最新的數據中心加速器卡，以滿足客戶對異構架構不斷增長的需求，并隨著客戶運行更多的AI工作負載而提高性能。隨著延遲的減少，FPGA的發(fā)展也得到了推廣，以降低與通用CPU中未充分利用的硅片容量相關的成本。

隨著新工具的出現，FPGA逐漸進入主流，以挑戰(zhàn)GPU加速器，以簡化FPGA編程和開發(fā)。

例如，Xilinx 的Vitis AI工具被定位為一個開發(fā)平臺，用于推斷從Alveo卡到邊緣設備的各種硬件。Vitis包括旨在加快AI推理速度的芯片IP，工具，庫和模型。

該工具包與“ AI模型動物園”一起包含“ AI優(yōu)化器”之類的功能，這些功能旨在將模型壓縮多達50倍，以提高AI推理性能。同時，探查器跟蹤推理實現的效率和利用率，而AI庫運行時包括用于應用程序開發(fā)的C ++和Python API。

Xilinx AI推理開發(fā)堆棧可在GitHub上獲得。

同時，競爭對手Stratix 10 NX的推出也使英特爾向異構計算邁進了相似的道路。芯片制造商的戰(zhàn)略還包括硬件和軟件集成，以及應用程序開發(fā)中使用的標準庫和框架的集成。