隨著人工智能和物聯(lián)網技術的融合，AIoT（人工智能物聯(lián)網）的概念應運而生，即AI（人工智能）+IoT（物聯(lián)網）。目前，邊緣AI正廣泛應用于工業(yè)領域，這種技術可以為工業(yè)物聯(lián)網邊緣的多傳感器分析和機器學習應用提供最低的時延、功耗和成本。在工業(yè)領域，當前熱門的邊緣AI應用包括工業(yè)機器人、智慧路燈、智能監(jiān)控等。

目前，在AI計算平臺使用最廣泛的兩種加速部件是GPU和FPGA。GPU已經在深度學習訓練模型領域開創(chuàng)性地創(chuàng)建了包含CNN、DNN、RNN、LSTM以及強化學習網絡等算法在內的應用加速平臺和完整的生態(tài)系統(tǒng)。深度學習包含兩個計算環(huán)節(jié)，即線下訓練和線上推理環(huán)節(jié)。GPU在深度學習算法模型訓練上非常高效，但在推理時，一次性只能對于一個輸入項進行處理，并行計算的優(yōu)勢不能發(fā)揮出來.

相比較而言，運行深度學習算法實現同樣的性能，GPU所需功耗遠大于FPGA，通常情況下，GPU只能達到FPGA能效比的一半或更低。目前來看，深度學習算法還未完全成熟，算法還在迭代衍化過程中，若深度學習算法發(fā)生大的變化，GPU無法像FPGA一樣可以靈活的配置硬件結構，快速切入市場。

01、FPGA有啥優(yōu)勢?什么樣的場景更適合FPGA?

CPU是一種非常通用的架構，它的工作方式基于一系列的計算機指令，也稱為“指令集”。簡單來說，CPU從內存中提取一小部分數據，放在寄存器或者緩存中，然后使用一系列指令對這些數據進行操作。操作完畢后，將數據寫回內存，提取另一小部分數據，再用指令進行操作，并周而復始。我把這種計算方式稱為“時域計算”。

不過，如果這些需要用指令進行處理的數據集太大，或者這些數據值太大，那么CPU就不能很高效的應對這種情況。這就是為什么在處理高速網絡流量的時候，我們往往需要使用定制芯片，比如網卡芯片等，而不是CPU。這是因為在CPU中，即使處理一個字節(jié)的數據也必須使用一堆指令才能完成，而當數據流以每秒125億字節(jié)進入系統(tǒng)時，這種處理方式哪怕使用再多的線程也忙不過來。

對于GPU來說，它所擅長的是被稱作“單指令多數據流（SIMD）”的并行處理。這種處理方式的本質是，在GPU中有著一堆相同的計算核心，可以處理類似但并不是完全相同的數據集。因此，可以使用一條指令，就讓這些計算核心執(zhí)行相同的操作，并且平行的處理所有數據。

首先，深度學習包含兩個計算環(huán)節(jié)，即訓練和推理環(huán)節(jié)。GPU強在訓練，而FPGA強在推斷，FPGA 同時擁有流水線并行和數據并行，因此處理任務時候延遲更低。例如處理一個數據包有10 個步驟，FPGA 可以搭建一個10 級流水線，流水線的不同級在處理不同的數據包，每個數據包流經10 級之后處理完成。每處理完成一個數據包，就能馬上輸出。通常來說，FPGA 加速只需要微秒級的PCIe 延遲。當Intel 推出通過QPI快速通道互聯(lián)的Xeon + FPGA 之后，CPU 和FPGA 之間的延遲甚至可以降到100 納秒以下。

其次，FPGA是可編程芯片，算法燒錄更加靈活。目前來看，深度學習算法還未完全成熟，算法還在迭代衍化過程中，若深度學習算法發(fā)生大的變化，FPGA是軟件定義硬件，可以靈活切換算法，快速切入市場。

02、FPGA的計算性能在其他領域的應用

除了在AI的線上推理方向，FPGA在其他很多方面也能發(fā)揮價值。在面向計算密集型任務，比如矩陣運算、圖像處理、機器學習、壓縮、非對稱加密、搜索的排序等的時候，擁有流水線并行和數據并行的FPGA效率會高很多

03、FPGA的獨特優(yōu)勢有哪些?

傳統(tǒng)的FPGA的開發(fā)類似于芯片的開發(fā)，采用硬件描述語言（HDL）開發(fā)，HDL開發(fā)帶來的問題就會像芯片設計一樣周期會比較長，從架構設計、到仿真驗證、再到最終完成，需要一年左右的開發(fā)時間。

但是互聯(lián)網的業(yè)務迭代速度極快，在幾個月時間內就可能完成龐大用戶群的積累，因此業(yè)務對于數據中心的要求是“快”—計算力平臺的升級要盡量快地滿足業(yè)務的發(fā)展，因此FPGA的傳統(tǒng)開發(fā)模式動輒以半年或年為單位的開發(fā)周期難以滿足需求。

為此嘗試通過OpenCL高級語言開發(fā)方式，它把底層的硬件如總線、IO接口、訪存控制器等和底層軟件如驅動、函數調用等全部封裝，變成標準單元提供上層支持，用戶只需要關注算法本身，OpenCL開發(fā)的邏輯通過編譯工具直接映射到FPGA中，開發(fā)周期從至少1年縮短至4個月以內。

04、FPGA可以應用在哪些領域?

在機器學習領域、金融領域、大數據領域、基因檢測領域都存在比較大的數據量需要分析計算，這些是FPGA可以發(fā)揮高吞吐優(yōu)勢的領域。

網絡安全領域有更安全、更低延時的需求，這些場景也可以發(fā)揮FPGA低延時的優(yōu)勢。

超大規(guī)模圖像處理，這些圖片的處理都使用FPGA來進行處理加速，都可以得到滿意的效果。

現在比較熱門的自然語言處理和語音識別這些也都是FPGA可以發(fā)揮優(yōu)勢的場景。

當FPGA成為一種計算力服務，有著高效的硬件、成熟的IP和云化管理，你還在顧慮什么?

未來，CPU+FPGA或許將作為新的異構加速模式，被越來越多的應用領域采用。

編輯：hfy