數(shù)據(jù)中心對高性能硬件加速器的需求不斷增長，這些芯片在深度學(xué)習(xí)、圖像分類、對象檢測和識別以及自然語言處理等應(yīng)用中采用人工智能技術(shù)。這些基于硬件加速器的芯片正在迅速取代傳統(tǒng)的 CPU 和 GPU，因為它們能夠以更低的功耗更快地處理 AI 任務(wù)。

硬件加速器——執(zhí)行基于云的訓(xùn)練、數(shù)據(jù)分析、基因組學(xué)和搜索排名等特定任務(wù)的專用設(shè)備——被嵌入到 CPU、GPU、FPGA 和 ASIC 中，以服務(wù)于大規(guī)模并行的 AI 工作負(fù)載。還有 AI 加速卡，例如 Xilinx 的 Alveo U50和 Intel 的 D5005，可以處理更專業(yè)和計算密集型的工作負(fù)載。

FPGA 為數(shù)據(jù)中心服務(wù)器設(shè)計中的 CPU 提供工作負(fù)載加速。（圖片：英特爾）

那么對于從事以人工智能為中心的數(shù)據(jù)中心和云計算環(huán)境的工程師來說，與硬件加速器相關(guān)的基本設(shè)計考慮是什么？本文深入探討了一些值得關(guān)注的關(guān)鍵問題。

電源效率AI 芯片和加速器卡的設(shè)計和構(gòu)建優(yōu)先考慮數(shù)據(jù)中心中的兩個關(guān)鍵現(xiàn)實世界考慮因素：盡可能快地執(zhí)行訓(xùn)練和推理任務(wù)，并在給定的功率預(yù)算內(nèi)完成。AI 芯片為視頻內(nèi)容流和大規(guī)模模擬等數(shù)據(jù)中心應(yīng)用程序提供高耗電工作負(fù)載，因此這些 AI 芯片中的硬件加速器必須在處理復(fù)雜工作負(fù)載時確保能源效率。

當(dāng)總部位于中國上海的燎原科技宣布與 GlobalFoundries （GF） 合作推出用于數(shù)據(jù)中心培訓(xùn)的深度學(xué)習(xí)解決方案時，基于云的 AI 培訓(xùn)平臺的高能效數(shù)據(jù)處理被提及為關(guān)鍵價值主張。該公司的 深度思考單元 （DTU）加速器芯片基于格芯的 12LP FinFET 平臺，采用 2.5D 封裝。

數(shù)據(jù)中心正在膨脹，運營商正在尋找新的方法來加速從深度學(xué)習(xí)到自然語言處理等一系列數(shù)據(jù)驅(qū)動的工作負(fù)載。我們在即將到來的數(shù)據(jù)中心特別項目中深入研究了加速模型訓(xùn)練和推理、數(shù)據(jù)分析和其他分布式應(yīng)用程序的敏捷和超融合數(shù)據(jù)中心架構(gòu)。

硬件加速器架構(gòu)除了能效這一數(shù)據(jù)中心環(huán)境中的主要問題之外，AI 芯片設(shè)計人員還必須確定要加速什么、如何加速以及如何在各種神經(jīng)網(wǎng)絡(luò)（CNN、DNN 和 RNN）上運行加速器，以及廣泛的數(shù)據(jù)類型。這反過來又強調(diào)了如何在 AI 芯片上構(gòu)建多個硬件加速器的重要性。

AI 設(shè)計人員正在對算法進(jìn)行越來越精細(xì)的切片，同時添加更多硬件加速器，以滿足現(xiàn)代數(shù)據(jù)中心工作負(fù)載處理和分析龐大數(shù)據(jù)集的不斷變化的需求。這使得硬件架構(gòu)對于處理機器視覺、深度學(xué)習(xí)和其他 AI 工作負(fù)載至關(guān)重要。

英偉達(dá)收購 Mellanox就是一個很好的例子。Mellanox 的互連技術(shù)可以幫助領(lǐng)先的 AI 芯片制造商創(chuàng)建更全面的架構(gòu)，并支持包含數(shù)萬個計算節(jié)點的數(shù)據(jù)中心規(guī)模的工作負(fù)載。高效的互連技術(shù)提高了神經(jīng)網(wǎng)絡(luò)訓(xùn)練的速度和準(zhǔn)確性，并降低了數(shù)據(jù)中心的功耗。

可編程加速器另一項收購指出了對 AI 加速器的另一個關(guān)鍵要求：可編程性。當(dāng)英特爾 以大約 20 億美元的價格收購總部位于以色列的深度學(xué)習(xí)加速器開發(fā)商Habana Labs時，主要是 Habana 數(shù)據(jù)中心加速器的可編程性成為頭條新聞。隨后，英特爾停止了其內(nèi)部 Nervana 神經(jīng)網(wǎng)絡(luò)處理器系列的開發(fā)。

可編程性功能使 AI 設(shè)計人員能夠滿足各種工作負(fù)載和神經(jīng)網(wǎng)絡(luò)拓?fù)涞男枨?。?dāng)軟件算法的變化速度超過人工智能芯片的開發(fā)速度時，這一點尤其重要，這使得硬件加速器成為固定功能的設(shè)備。

在這里，可編程性使 AI 加速器能夠適應(yīng)不斷變化的數(shù)據(jù)中心設(shè)計需求。例如，具有可編程功能的靈活架構(gòu)可以幫助 AI 設(shè)計人員管理不斷變化的工作負(fù)載、新標(biāo)準(zhǔn)和更新的算法。

人工智能設(shè)計生態(tài)系統(tǒng)上述兩項收購也表明人工智能芯片制造商正在努力拼湊包括硬件和軟件在內(nèi)的廣泛技術(shù)組合。英特爾和英偉達(dá)等公司的目標(biāo)是提供從人工智能處理器到人工智能軟件工具包的產(chǎn)品。

因此，人工智能設(shè)計人員必須仔細(xì)審查用于模型創(chuàng)建、芯片評估和概念驗證設(shè)計的開發(fā)工具的可用性。檢查硬件加速器支持哪些 AI 框架（Caffe、PyTorch、TensorFlow 等）也是值得的。

然后是軟件開發(fā)工具包，將 TensorFlow 等 AI 框架作為學(xué)習(xí)環(huán)境，并提供迎合學(xué)習(xí)模型和推理處理的數(shù)據(jù)轉(zhuǎn)換工具。

開發(fā)套件如何促進(jìn)數(shù)據(jù)中心工作負(fù)載的 AI 加速（圖片：Xilinx）

硬件加速器 IP集成到芯片中的 AI 加速器也可用作硬件 IP。幾家半導(dǎo)體公司通過 IP 許可模式提供用于定制芯片的 AI 加速器。

以加州米爾皮塔斯的 Gyrfalcon Technology Inc. （GTI） 為例，該公司為數(shù)據(jù)中心設(shè)計 AI 芯片，并為數(shù)據(jù)中心芯片提供 Lightspeeur 2803加速器 IP。Gyrfalcon 為被許可方提供 USB 3.0 加密狗，人工智能芯片設(shè)計人員可以在 Windows 和 Linux PC 以及 Raspberry Pi 等硬件開發(fā)套件上使用這些加密狗?！?/p>