X3芯片概述

BPU是地平線自研的AI加速核，在設(shè)計(jì)過程中具體結(jié)合了AIoT/Auto的場景需求，從算法、計(jì)算架構(gòu)、編譯器三個(gè)方面進(jìn)行了軟硬協(xié)同優(yōu)化，使得在功耗不變前提下提高數(shù)倍的AI計(jì)算性能。
X3和J3芯片各內(nèi)置了兩個(gè)伯努利2.0的BPU核，它極大提升了對先進(jìn)CNN網(wǎng)絡(luò)的支持，同時(shí)大大降低了DDR帶寬占用率，可提供實(shí)時(shí)像素級視頻分割和結(jié)構(gòu)化視頻分析等能力。

詳細(xì)的內(nèi)容請參考地平線芯片開發(fā)手冊

1.圖片分類任務(wù)

這里主要對樣例中提供的程序進(jìn)行測試

首先是系統(tǒng)中提供的圖片分類任務(wù)樣例

cd /app/ai_inference/01_basic_sample/
sudo python3 ./test_mobilenetv1.py

在test_mobilenetv1.py中對斑馬的圖片進(jìn)行了分類，得到的結(jié)果如下，通過查看標(biāo)簽編號340: 'zebra'實(shí)現(xiàn)了對圖片的準(zhǔn)確分類。

========== Classification result ==========
cls id: 340 Confidence: 0.991851

為了簡單測試下分類算法的結(jié)果。使用其他圖片進(jìn)行測試，發(fā)現(xiàn)在特征明顯時(shí)圖片分類準(zhǔn)確度較高，如對背景干凈，特征清晰的金魚達(dá)到了0.999884的置信度，1: 'goldfish, Carassius auratus'，也存在圖片分類錯(cuò)誤的情況存在，如對于玉米進(jìn)行檢測時(shí)998: 'ear, spike, capitulum'。

========== Classification result ==========
cls id: 1 Confidence: 0.999884

========== Classification result ==========
cls id: 998 Confidence: 0.753721

2.fcos目標(biāo)檢測快速驗(yàn)證

使用目標(biāo)檢測樣例

cd /app/ai_inference/02_usb_camera_sample/
python3 usb_camera_fcos.py

在初探中已經(jīng)對其進(jìn)行簡單展示，這里將代碼進(jìn)行簡單分析，主要包括以下5個(gè)部分

其中加載模型 和模型正演為地平線封裝的模型方法，from hobot_dnn import pyeasy_dnn as dnn

hdmi顯示時(shí)地平線封裝的vio方法，from hobot_vio import libsrcampy as srcampy

加載的模型是通過地平線工具鏈編譯的bin模型fcos_512x512_nv12.bin，在運(yùn)行中會對輸入和輸出的tensor進(jìn)行打印，可以看出輸入的是512x512的圖像信息，輸入為15個(gè)tensor，其中輸出包括了檢測框坐標(biāo)、類別、置信度得分等。

tensor type: NV12_SEPARATE
data type: uint8
layout: NCHW
shape: (1, 3, 512, 512)
15
tensor type: float32
data type: float32
layout: NHWC
shape: (1, 64, 64, 80)
tensor type: float32
data type: float32
layout: NHWC
shape: (1, 32, 32, 80)
tensor type: float32
data type: float32
layout: NHWC
shape: (1, 16, 16, 80)
tensor type: float32
data type: float32
layout: NHWC
shape: (1, 8, 8, 80)
tensor type: float32
data type: float32
layout: NHWC
shape: (1, 4, 4, 80)
tensor type: float32
data type: float32
layout: NHWC
shape: (1, 64, 64, 4)
tensor type: float32
data type: float32
layout: NHWC
shape: (1, 32, 32, 4)
tensor type: float32
data type: float32
layout: NHWC
shape: (1, 16, 16, 4)
tensor type: float32
data type: float32
layout: NHWC
shape: (1, 8, 8, 4)
tensor type: float32
data type: float32
layout: NHWC
shape: (1, 4, 4, 4)
tensor type: float32
data type: float32
layout: NHWC
shape: (1, 64, 64, 1)
tensor type: float32
data type: float32
layout: NHWC
shape: (1, 32, 32, 1)
tensor type: float32
data type: float32
layout: NHWC
shape: (1, 16, 16, 1)
tensor type: float32
data type: float32
layout: NHWC
shape: (1, 8, 8, 1)
tensor type: float32
data type: float32
layout: NHWC
shape: (1, 4, 4, 1)

3.改用YOLOv5進(jìn)行目標(biāo)檢測

更換YOLOv5模型進(jìn)行目標(biāo)檢測，由于工具鏈中提供了編譯后的YOLOv5模型，這里可以對其直接使用，工具鏈相關(guān)資料在AI工具鏈資料包其中

horizon_xj3_open_explorer_v1.11.4_20220413\ddk\samples\ai_toolchain\model_zoo\runtime\yolov5

直接在usb_camera_fcos.py中進(jìn)行模型的替換

models = dnn.load('../models/yolov5_672x672_nv12.bin')

對輸入輸出進(jìn)行打印，可以看到輸入是一個(gè) (1, 3, 672, 672)的tensor，而輸出為3層的tensor，輸出的不同代表著需要對模型后處理進(jìn)行重寫。

tensor type: NV12_SEPARATE
data type: uint8
layout: NCHW
shape: (1, 3, 672, 672)
3
tensor type: float32
data type: float32
layout: NHWC
shape: (1, 84, 84, 255)
tensor type: float32
data type: float32
layout: NHWC
shape: (1, 42, 42, 255)
tensor type: float32
data type: float32
layout: NHWC
shape: (1, 21, 21, 255)

在這里我找到之前地平線對YOLOv5的后處理的相關(guān)代碼和說明，這個(gè)位于\horizon_xj3_open_explorer_v1.11.4_20220413\ddk\samples\ai_toolchain\horizon_model_convert_sample\04_detection\03_yolov5\mapper

1.4 對于 YOLOv5 模型，我們在模型結(jié)構(gòu)上的修改點(diǎn)主要在于幾個(gè)輸出節(jié)點(diǎn)處。由于目前的浮點(diǎn)轉(zhuǎn)換工具鏈暫時(shí)不支持 5 維的 Reshape，所以我們在 prototxt中進(jìn)行了刪除，并將其移至后處理中執(zhí)行。同時(shí)我們還添加了一個(gè) transpose 算子，使該節(jié)點(diǎn)將以 NHWC 進(jìn)行輸出。這是因?yàn)樵诘仄骄€芯片中， BPU 硬件本身以 NHWC 的layout 運(yùn)行，這樣修改后可以讓 BPU 直接輸出結(jié)果，而不在量化模型中引入額外的transpose。 詳情請見文檔中benchmark部分的圖文介紹

根據(jù)說明可以看到Y(jié)OLOv5應(yīng)該屬于異構(gòu)量化，部分網(wǎng)絡(luò)在后處理中執(zhí)行，這也就代表需要更多的處理時(shí)間。在對于樣例中給出的fcos的代碼，我們主要在后處理處做出相應(yīng)的調(diào)整，并將類別展示做出更換，其中主要代碼也是參考了地平線中給出的YOLOv5的公開代碼，做了部分的修改。

檢測結(jié)果：

運(yùn)行指令

python3 usb_camera_yolov5.py

將檢測結(jié)果輸出，可以看到對環(huán)境中的大部分物品做出了及時(shí)的檢測，置信度也很高。

對時(shí)間進(jìn)行統(tǒng)計(jì)，檢測的時(shí)間根據(jù)實(shí)際環(huán)境中的復(fù)雜度變化而變化，經(jīng)過實(shí)際測試發(fā)現(xiàn)在0.5s~0.8s之間，檢測結(jié)果較快。主要對cv_time（獲取圖像并縮放到模型的輸入尺寸）、forward_time（模型的正向推演）、postprocess_time（后處理）時(shí)間進(jìn)行了統(tǒng)計(jì)，其中模型量化后的時(shí)間主要是Forward_time，可以看到需要的時(shí)間較短，表明模型的量化有效的減少了檢測時(shí)間。占用的時(shí)間主要集中在后處理和顯示，還有優(yōu)化的空間。

time: 0.8004379272460938
cv_time         =  0.15749073028564453
Forward_time    =  0.06625533103942871
postprocess_time=  0.38094043731689453
chair is in the picture with confidence:0.8259
pottedplant is in the picture with confidence:0.7951
tvmonitor is in the picture with confidence:0.7798
tvmonitor is in the picture with confidence:0.4708
tvmonitor is in the picture with confidence:0.4420
time: 0.8241267204284668
cv_time         =  0.1624467372894287
Forward_time    =  0.06629300117492676
postprocess_time=  0.3649098873138428
chair is in the picture with confidence:0.6791
pottedplant is in the picture with confidence:0.7784
tvmonitor is in the picture with confidence:0.7809
tvmonitor is in the picture with confidence:0.5400

4.使用工具鏈量化模型

查看工具鏈介紹主要有以下兩種方式：

這里使用浮點(diǎn)轉(zhuǎn)定點(diǎn)工具鏈，這種方法適用于最多的模型，詳細(xì)介紹可以去查看數(shù)據(jù)鏈的視頻。使用wegt下在docker文件，安裝docker讀取鏡像

docker image ls
docker run -it hub.hobot.cc/aitools/ai_toolchain_centos_7_xj3:v2.1.7 /bin/bash

這里發(fā)現(xiàn)其中有YOLOv5s的相關(guān)內(nèi)容，使用該模型進(jìn)行快速部署

cd /open_explorer/horizon_xj3_open_explorer_v2.1.7_20220520/ddk/samples/ai_toolchain/horizon_model_convert_sample/04_detection/03_yolov5s/mapper
bash 01_check.sh
bash 02_preprocess.sh
bash 03_build.sh   #此步驟需要耗費(fèi)一定時(shí)間

在model_output中輸出了yolov5s_672x672_nv12.bin ，由于輸出模型一致，直接在板子代碼中修改運(yùn)行，得到了與YOLO相似的效果。

原作者：Tobark