動態(tài)
-
發(fā)布了文章 2023-10-10 10:17
-
發(fā)布了文章 2023-10-10 10:17
TPU-MLIR量化敏感層分析,提升模型推理精度
背景介紹TPU-MLIR編譯器可以將機(jī)器學(xué)習(xí)模型轉(zhuǎn)換成算能芯片上運(yùn)行的bmodel模型。由于浮點(diǎn)數(shù)的計算需要消耗更多的計算資源和存儲空間,實(shí)際應(yīng)用中往往采用量化后的模型(也稱定點(diǎn)模型)進(jìn)行推理。相比于浮點(diǎn)數(shù)模型,量化模型的推理精度會有一定程度的損失。當(dāng)精度損失較大時,需要搜索模型中對精度影響較大的層,即敏感層,將其改回浮點(diǎn)類型,生成混精度模型進(jìn)行推理。以mo2k瀏覽量 -
發(fā)布了文章 2023-10-10 10:17