「NE100」是超星未來基于自研計算芯片「驚蟄R1」和全流程開發(fā)工具鏈「魯班」打造的智能計算平臺開發(fā)套件，包括完備的推理環(huán)境。其中魯班工具鏈以 docker 形式提供，完整包括剪枝、量化、編譯工具以及相應實例。NE100 配套完整，開箱即用，無需繁瑣的安裝過程。

下面以目標檢測模型 YOLOv5 為例，展示部署過程。

注：開發(fā)環(huán)境為Linux 系統(tǒng)的 PC 或服務器，神經(jīng)網(wǎng)絡需要導出為 ONNX 格式文件。

可通過標準命令加載工具鏈 docker 文件：

gunzip -c nova_development_kit.tar.gz | sudo docker load

參考用戶手冊中示例腳本啟動容器，進入開發(fā)環(huán)境。

基于原始模型導出 ONNX 文件時，請確保網(wǎng)絡已經(jīng)處于推理模式，并且計算圖的輸入節(jié)點為首個 CONV 算子的輸入(格式[1,C,H,W])，輸出節(jié)點為最后一個（組）CONV 算子的輸出，詳細信息請參考用戶手冊。

#1模型量化與編譯

1個API，5行代碼，輕松完成

量化工具以 ONNX 文件和部分圖片為輸入，將神經(jīng)網(wǎng)絡從 FP32 量化為 INT8 精度，目前支持 PTQ 與 QAT 功能。僅需在代碼中將量化和編譯工具導入并通過 API 調(diào)用，即可對 ONNX 模型完成量化和編譯，分別只需要1個 API 和5行代碼。詳細的 API 說明請參考用戶手冊。

1. 導入量化工具

from nquantizer import run_quantizer

2. 調(diào)用量化工具

quant_model = run_quantizer( 
    onnx_model,
    dataloader=val_loader,
    num_batches=200,
    output_dir=work_dir + "/quantizer_output",
    input_vars=input_vars,
) 

3. 導入編譯工具

from ncompiler import run_compiler

4. 調(diào)用編譯工具

run_compiler(
    input_dir=work_dir + "/quantizer_output",
    output_dir=work_dir + "/compiler_output",
    enable_simulator=True,
    enable_profiler=True,
)

編譯后 compiler_output 目錄中的 npu.param（模型結(jié)構(gòu)描述文件）和 npu.bin（模型權重文件）是 NE100 部署時所需要的文件。

#2模型部署

接口簡潔，功能豐富，快速調(diào)用NPU

為了實現(xiàn) 驚蟄R1 芯片多核 NPU 的簡單高效推理與應用開發(fā)，超星未來基于 NCNN 推理框架增量開發(fā)運行時，并提供高性能加速庫，滿足異構(gòu)推理的端到端優(yōu)化需求。

運行時特別設計了 npumat, npunet 和 npuextractor 等組件，功能如下：

npumat：提供NPU使用的數(shù)據(jù)排布格式HWC，提高數(shù)據(jù)存儲讀取性能

npunet：提供模型不變信息的基礎數(shù)據(jù)結(jié)構(gòu)，支持核心綁定、優(yōu)先級調(diào)度、數(shù)據(jù)導出、性能監(jiān)測等功能

npuextractor：提供NPU推理所需的set_input, get_output, get_time、extract等基本功能

YOLOv5 推理中前后處理部分與主流平臺上的代碼一致，應用遷移時僅需更換 NPU 的推理代碼，包括：

1. 初始化幀數(shù)據(jù)結(jié)構(gòu)

2. 加載網(wǎng)絡結(jié)構(gòu)描述文件與網(wǎng)絡權重文件，并且配置核心綁定、數(shù)據(jù)導出及性能監(jiān)測等功能

3. 基于加載的模型文件和前處理后的幀數(shù)據(jù)進行推理，提取結(jié)果用于后處理

#3模型推理

架構(gòu)高效，能耗出色，助力AI應用落地

推理代碼經(jīng)過編譯后運行，即可得到如下推理結(jié)果：

得益于超星未來自研平湖架構(gòu)的高效設計，YOLOv5 等主流網(wǎng)絡的算力利用率均超過 70%，同時芯片整體功耗可控制在 8W 左右，有效支持各類邊緣端 AI 應用部署。