相信很多小伙伴都已經(jīng)知道，在最新一代的英特爾 酷睿 Ultra 移動(dòng)端處理中已經(jīng)集成了被稱為 NPU 的神經(jīng)網(wǎng)絡(luò)加速處理器，以提供低功耗的 AI 算力，特別適合于 PC 端需要長(zhǎng)時(shí)間穩(wěn)定運(yùn)行的 AI 輔助功能，例如會(huì)議聊天軟件中的自動(dòng)摳像，或是畫面超分辨率等應(yīng)用。而 OpenVINO 工具套件也在第一時(shí)間對(duì) NPU 進(jìn)行了適配，接下來就讓我們一起看一下如何在英特爾 酷睿 Ultra 處理器上搭建基礎(chǔ)環(huán)境，并調(diào)用 NPU 進(jìn)行模型推理任務(wù)。

NPU 驅(qū)動(dòng)安裝

首先我們需要確保是否安裝了最新版的 NPU 驅(qū)動(dòng)，可以通過 Windows 任務(wù)管理調(diào)出當(dāng)前 NPU 驅(qū)動(dòng)版本信息。

圖：NPU 在 Windows 任務(wù)管理器中顯示驅(qū)動(dòng)版本

查詢當(dāng)前最新的 NPU 驅(qū)動(dòng)版本：

https://www.intel.com/content/www/us/en/download/794734/intel-npu-driver-windows.html

圖：NPU 驅(qū)動(dòng)下載頁(yè)面

如果想更新或是重裝 NPU 驅(qū)動(dòng)，可以參考以下指引下載并安裝驅(qū)動(dòng)：

https://docs.openvino.ai/2023.3/openvino_docs_install_guides_configurations_for_intel_npu.html

OpenVINO 的下載和安裝

由于目前 NPU Plugin 還沒有被集成在 OpenVINO 的 PyPI 安裝包中，因此我們需要通過下載 OpenVINO runtime 壓縮包的方式進(jìn)行安裝。

圖：OpenVINO 下載頁(yè)面

整個(gè)安裝過程非常簡(jiǎn)單，只需將壓縮包解壓到在本地路徑下即可。具體方法可以參考上圖標(biāo)紅處的安裝說明。

圖：將壓縮包解壓至本地路徑

Python 環(huán)境配置

通過執(zhí)行壓縮包中的 setupvars.bat 環(huán)境配置腳本，我們便可以直接在 Python 環(huán)境下加載 OpenVINO runtime 和 NPU Plugin 環(huán)境。同時(shí)利用 OpenVINO 的 Python API 指令，我們可以快速驗(yàn)證 NPU 是否可以被正常調(diào)用。

圖：Python 環(huán)境中驗(yàn)證 NPU 調(diào)用

C++ 環(huán)境配置

不同于 Python，Windows 上的 C++ 應(yīng)用需要依賴于 CMake 或者是 Visual Studio 的環(huán)境下調(diào)試，因此這里我們需要簡(jiǎn)單配置下 OpenVINO 庫(kù)的路徑。下面以 Visual Studio 中新建項(xiàng)目的屬性配置頁(yè)面為例。

圖：配置 OpenVINO runtime 頭文件路徑

圖：配置 OpenVINO runtime 動(dòng)態(tài)庫(kù)路徑

圖：配置 OpenVINO runtime 及 frontednd 靜態(tài)庫(kù)路徑

圖：在 Windows 本地添加 OpenVINO 環(huán)境變量路徑

當(dāng)完成 Visual Studio 項(xiàng)目屬性配置后，我們可以通過調(diào)試以下示例代碼，測(cè)試 NPU 是否可以被檢測(cè)及調(diào)用。

#include 
#include 


int main(int argc, char* argv[]) {


  // -------- Get OpenVINO runtime version --------
  std::cout << ov::get_openvino_version() << std::endl;


 ? ?// -------- Step 1. Initialize OpenVINO Runtime Core --------
 ? ?ov::Core core;


 ? ?// -------- Step 2. Get list of available devices --------
 ? ?std::vector availableDevices = core.get_available_devices();


  // -------- Step 3. Query and print supported metrics and config keys --------
  std::cout << "available devices: " << std::endl;
 ? ?for (auto&& device : availableDevices) {
 ? ? ? ?std::cout << device << std::endl;
 ? ?}
}

圖：VS 環(huán)境中驗(yàn)證 NPU 調(diào)用

測(cè)試效果

當(dāng)完成 NPU 安裝后，我們可以通過 OpenVINO notebooks 中提供的示例，簡(jiǎn)單測(cè)試下 NPU 的性能。這個(gè)示例會(huì)通過以下 Python 代碼來將模型部署在 NPU 上。

compiled_model = core.compile_model("model.xml", "NPU")

圖：實(shí)時(shí)人體關(guān)鍵點(diǎn)演示效果

可以看到 NPU 在運(yùn)行實(shí)時(shí)人體關(guān)鍵點(diǎn)檢測(cè)模型時(shí)的效果和速度還是非常不錯(cuò)的，達(dá)到了 90FPS 的吞吐量，同時(shí)推理任務(wù)幾乎也沒有占用 CPU 額外的資源，真正做到了在提供高算力的同時(shí)，減輕 CPU 和 GPU 的任務(wù)負(fù)載。

審核編輯：劉清