當(dāng)前，人工智能產(chǎn)業(yè)飛速發(fā)展，用戶對(duì)AI智能體驗(yàn)的需求不斷升級(jí)，而一個(gè)出色的AI應(yīng)用或AI體驗(yàn)的誕生，很大程度上依賴(lài)于底層芯片算力的極致發(fā)揮。

作為麒麟芯片計(jì)算能力的開(kāi)放平臺(tái)，HUAWEI HiAI Foundation提供300+算子支持，具備業(yè)界最佳的模型兼容性，助力開(kāi)發(fā)者快速開(kāi)發(fā)和部署AI應(yīng)用。但麒麟芯片計(jì)算能力開(kāi)放還只是第一步，為了更好地利用麒麟芯片NPU的優(yōu)勢(shì)，降低開(kāi)發(fā)工作量、提高開(kāi)發(fā)效率，HUAWEI HiAI Foundation與眾多開(kāi)發(fā)者在業(yè)務(wù)對(duì)接中，還需要解決諸多難題。

其一，開(kāi)發(fā)者設(shè)計(jì)的模型大多是基于CPU或GPU運(yùn)行，當(dāng)模型部署到NPU時(shí)，需要進(jìn)一步為NPU做設(shè)計(jì)匹配，這對(duì)開(kāi)發(fā)者而言是陌生的。舉個(gè)例子，模型設(shè)計(jì)時(shí)，更小的Channel拆分和更多的Vector算子，將無(wú)法發(fā)揮NPU的性能與功耗優(yōu)勢(shì)。

其二，因開(kāi)發(fā)者的模型結(jié)構(gòu)對(duì)HUAWEI HiAI Foundation保密，在需要對(duì)AI模型進(jìn)行調(diào)優(yōu)時(shí)，雙方團(tuán)隊(duì)溝通解決問(wèn)題的時(shí)間成本較高，開(kāi)發(fā)效率低。

洞察上述痛點(diǎn)后，HUAWEI HiAI Foundation技術(shù)團(tuán)隊(duì)迅速行動(dòng)，在最新版本100.510.020.010中創(chuàng)新性地推出了HUAWEI HiAI Foundation Model Zoo，將當(dāng)前已經(jīng)識(shí)別出來(lái)的NPU友好模型展示給開(kāi)發(fā)者，幫助其設(shè)計(jì) NPU友好模型算法結(jié)構(gòu)、了解NPU優(yōu)化策略，更好地發(fā)揮麒麟芯片的NPU加速優(yōu)勢(shì)。

HUAWEI HiAI Foundation Model Zoo提供可直接調(diào)用的硬件最優(yōu)模型庫(kù)，集成圖片分類(lèi)、物體檢測(cè)、語(yǔ)義分割、超分等典型場(chǎng)景的網(wǎng)絡(luò)模型，包含IR算子性能調(diào)優(yōu)使用指導(dǎo)，以及NPU性能友好模型結(jié)構(gòu)和推薦指數(shù)，幫助開(kāi)發(fā)者快速了解，哪個(gè)算子的哪種參數(shù)取值在硬件上能夠獲得更好的性能和能效的收益，如何優(yōu)化模型結(jié)構(gòu)可以實(shí)現(xiàn)高性能與低功耗。目前，HUAWEI HiAI Foundation的模型結(jié)構(gòu)可視化已經(jīng)在Netron工具適配上線，可以支持開(kāi)發(fā)者打開(kāi)Model Zoo中的模型文件，方便調(diào)試。

實(shí)測(cè)數(shù)據(jù)顯示，Resnet18模型在CPU上推理耗時(shí)74ms，在NPU上推理僅耗時(shí)6ms，耗時(shí)降低90%以上，可見(jiàn)NPU加速后性能優(yōu)勢(shì)明顯。除此之外，開(kāi)發(fā)者的工作效率也明顯提高，參考Model Zoo提供的OM模型，開(kāi)發(fā)者可以基于自身業(yè)務(wù)需求進(jìn)行模型訓(xùn)練，省去了將原始模型轉(zhuǎn)換成OM模型的過(guò)程，提升了DDK易用性。

當(dāng)然，HUAWEI HiAI Foundation Model Zoo的目標(biāo)遠(yuǎn)不止于此。除了解決開(kāi)發(fā)者的模型設(shè)計(jì)痛點(diǎn)，HUAWEI HiAI Foundation Model Zoo還在著手構(gòu)建NPU算法交流平臺(tái)，針對(duì)互聯(lián)網(wǎng)生態(tài)開(kāi)發(fā)者和高效算法研究者，上線Model Zoo門(mén)戶網(wǎng)站，通過(guò)模型分類(lèi)、查找、上傳功能，建立模型評(píng)分機(jī)制，提供算法開(kāi)發(fā)者社區(qū)討論平臺(tái)等，輔助開(kāi)發(fā)者高效開(kāi)發(fā)適用于NPU平臺(tái)的模型算法。未來(lái)，HUAWEI HiAI Foundation Model Zoo將支持端云協(xié)同的模型訓(xùn)練、調(diào)優(yōu)和部署流程，支持算法懸賞任務(wù)機(jī)制，構(gòu)建完整的NPU算法生態(tài)，最終實(shí)現(xiàn)HUAWEI HiAI Foundation社區(qū)的自繁榮。

原文標(biāo)題：自主調(diào)優(yōu)AI模型結(jié)構(gòu)，麒麟芯片NPU加持！HUAWEI HiAI Foundation Model Zoo上線

文章出處：【微信公眾號(hào)：華為麒麟】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。