機器學習和深度學習已經(jīng)成為我們生活中不可或缺的一部分。通過自然語言處理（NLP），圖像分類和對象檢測的人工智能（AI）應用程序已深深地嵌入到我們使用的許多設備中。大多數(shù)AI應用程序都通過基于云的引擎提供服務，這些引擎可以很好地滿足其用途，例如在Gmail中鍵入電子郵件響應時獲取單詞預測。

盡管我們享受這些AI應用程序帶來的好處，但這種方法帶來了隱私，功耗，延遲和成本挑戰(zhàn)。如果存在一個本地處理引擎能夠在數(shù)據(jù)本身的原始位置執(zhí)行部分或全部計算（推斷），則可以解決這些挑戰(zhàn)。對于傳統(tǒng)的數(shù)字神經(jīng)網(wǎng)絡實現(xiàn)而言，這已經(jīng)很難做到了，在傳統(tǒng)的數(shù)字神經(jīng)網(wǎng)絡實現(xiàn)中，內存成為了耗電的瓶頸。該問題可以通過多級存儲器以及模擬內存計算方法來解決，該方法可以使處理引擎共同滿足更低的毫瓦（mW）至微瓦（uW）功率要求，從而可以在以下條件下執(zhí)行AI推理網(wǎng)絡的邊緣。

當AI應用程序通過基于云的引擎提供服務時，用戶必須（有意或無意）將一些數(shù)據(jù)上傳到云，計算引擎將在該云上處理數(shù)據(jù)，提供預測，并將預測發(fā)送到下游以供用戶使用。

為了使用本地處理引擎解決這些挑戰(zhàn)，必須首先使用給定的數(shù)據(jù)集對將要執(zhí)行推理操作的神經(jīng)網(wǎng)絡模型進行訓練，以實現(xiàn)所需的用例。通常，這需要大量的計算（和內存）資源以及浮點算術運算。結果，機器學習解決方案的訓練部分仍然需要在具有數(shù)據(jù)集的公共或私有云（或本地GPU，CPU，FPGA場）上完成，以生成最佳的神經(jīng)網(wǎng)絡模型。一旦神經(jīng)網(wǎng)絡模型準備就緒，就可以使用小型計算引擎為本地硬件進一步優(yōu)化模型，因為神經(jīng)網(wǎng)絡模型不需要反向傳播進行推理操作。推理引擎通常需要大量的乘積（MAC）引擎。

大多數(shù)神經(jīng)網(wǎng)絡模型需要大量的MAC操作。例如，即使是相對較小的“ 1.0 MobileNet-224”模型也具有420萬個參數(shù)（權重），并且需要5.69億個MAC操作來執(zhí)行推理。由于大多數(shù)模型都由MAC操作控制，因此這里的重點將放在機器學習計算的這一部分上，并探索創(chuàng)造更好解決方案的機會。下面的圖2說明了一個簡單的，完全連接的兩層網(wǎng)絡。