1. DeiT概述

1.1 項(xiàng)目簡(jiǎn)介

Deit（Data-efficient image Transformers）是由Facebook與索邦大學(xué)的Matthieu Cord教授合作開(kāi)發(fā)的圖像分類模型。作為一種基于Transformer架構(gòu)的深度學(xué)習(xí)模型，DeiT在保持高性能的同時(shí)，能夠大大提高數(shù)據(jù)效率，為圖像識(shí)別領(lǐng)域帶來(lái)了顛覆性的變化。

與傳統(tǒng)的CNN不同，DeiT模型采用了Transformer的自注意力機(jī)制，將圖像分割成若干個(gè)固定大小的塊，并對(duì)每個(gè)塊進(jìn)行編碼，捕捉圖像中的長(zhǎng)程依賴關(guān)系。

本文將為大家介紹如何將DeiT移植到算能BM1684X平臺(tái)上。

1.2 模型介紹

DeiT目前有3個(gè)版本的模型（tiny, small, base)，均由12個(gè)Attention結(jié)構(gòu)組成，模型區(qū)別在于輸入的header個(gè)數(shù)及embed_dim不同。

Attention結(jié)構(gòu)如下圖所示：

attention

不同版本的模型具體參數(shù)區(qū)別如下表：

version

2. 模型移植

以下部分介紹如何將DeiT移植到算能BM1684X平臺(tái)上。

2.1 模型trace

原始DeiT模型基于Pytorch框架訓(xùn)練及推理。算能TPU-MLIR工具鏈可以編譯通過(guò)jit trace過(guò)的靜態(tài)模型。

首先進(jìn)行模型trace，命令如下，需要修改原推理代碼。

trace

2.2 模型編譯

以下介紹如何使用算能TPU-MLIR工具鏈將上一步trace過(guò)的模型編譯成可以在算能BM1684X上推理的bmodel。在模型移植過(guò)程中遇到一些算子邊界的處理問(wèn)題，均已修復(fù)。

transformdeploy

2.3 精度測(cè)試

DeiT為分類模型，精度測(cè)試采用topk來(lái)進(jìn)行。

精度測(cè)試及性能測(cè)試結(jié)果如下：

precision

3 小結(jié)

總體看移植過(guò)程相對(duì)順利，在解決了部分算子邊界問(wèn)題之后可以成功編譯出bmodel。F32精度基本可與原始框架對(duì)齊。由于第一個(gè)Conv stride > 15，在進(jìn)行F16/BF16轉(zhuǎn)換時(shí)遇到比對(duì)問(wèn)題，這部分代碼目前仍在重構(gòu)，生成bmodel過(guò)程中這部分采用F32混精度處理。