阿里MNN支持華為NPU，優(yōu)化MNN的性能和精度問(wèn)題
今天上午據(jù)軟件綠色聯(lián)盟消息，阿里MNN已經(jīng)接入華為 HiAI生態(tài)，正式支持華為NPU。
據(jù)了解，阿里MNN為Mobile Neural Network，是阿里巴巴淘系技術(shù)部開(kāi)源的端側(cè)推理引擎，目前已覆蓋淘寶、天貓、優(yōu)酷和UC等20多個(gè)手機(jī)應(yīng)用，每天穩(wěn)定運(yùn)行超過(guò)500億次，已經(jīng)接受了兩屆“雙11”的考驗(yàn)。
官方表示，當(dāng)App功能日益強(qiáng)大時(shí)，性能和精度的矛盾就逾顯尖銳；官方表示利用HiAI Foundation芯片能力開(kāi)放，阿里MNN快速轉(zhuǎn)化和遷移已有模型，并借助異構(gòu)調(diào)度和NPU加速，大幅提升應(yīng)用算力和能效比，可以優(yōu)化MNN的性能和精度問(wèn)題。比如會(huì)加快以圖搜圖的搜索速度，耗電方面也會(huì)降低；此外，掃商家Logo也是運(yùn)用了此功能。
責(zé)任編輯：gt
聲明：本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題，請(qǐng)聯(lián)系本站處理。
舉報(bào)投訴
-
華為
+關(guān)注
關(guān)注
216文章
35207瀏覽量
255852 -
阿里
+關(guān)注
關(guān)注
6文章
454瀏覽量
33327
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
熱點(diǎn)推薦
無(wú)法在NPU上推理OpenVINO?優(yōu)化的 TinyLlama 模型怎么解決？
在 NPU 上推斷 OpenVINO?優(yōu)化的 TinyLlama 模型。
遇到的錯(cuò)誤：
get_shape was called on a descriptor::Tensor with dynamic shape
發(fā)表于 07-11 06:58
芯原超低能耗NPU可為移動(dòng)端大語(yǔ)言模型推理提供超40 TOPS算力
AI需求而設(shè)計(jì)，不僅能夠?yàn)锳I PC等終端設(shè)備提供強(qiáng)勁算力支持，而且能夠應(yīng)對(duì)智慧手機(jī)等移動(dòng)終端對(duì)低能耗更為嚴(yán)苛的挑戰(zhàn)。 芯原的超低能耗NPU IP具備高度可配置、可擴(kuò)展的架構(gòu)，支持混合精度
Arm與阿里巴巴合作加速端側(cè)多模態(tài)AI體驗(yàn)
Arm 控股有限公司（納斯達(dá)克股票代碼：ARM，以下簡(jiǎn)稱“Arm”）近日發(fā)布與阿里巴巴淘天集團(tuán)輕量級(jí)深度學(xué)習(xí)框架 MNN 的又一新合作。
MPLS網(wǎng)絡(luò)性能優(yōu)化技巧
MPLS（多協(xié)議標(biāo)簽交換）網(wǎng)絡(luò)性能優(yōu)化是一個(gè)復(fù)雜的過(guò)程，涉及多個(gè)方面的技術(shù)和策略。以下是一些關(guān)鍵的MPLS網(wǎng)絡(luò)性能優(yōu)化技巧： 一、確保網(wǎng)絡(luò)設(shè)備支持
軟硬協(xié)同優(yōu)化，安謀科技新一代“周易”NPU實(shí)現(xiàn)DeepSeek-R1端側(cè)高效部署
優(yōu)化的架構(gòu)設(shè)計(jì)，其beta版本在2024年底已面向早期用戶開(kāi)放評(píng)估測(cè)試，并獲得了廣泛認(rèn)可與積極反饋。 預(yù)計(jì)今年上半年，這款備受期待的 NPU 產(chǎn)品將正式亮相市場(chǎng)，屆時(shí)將為更多用戶帶來(lái)突破性的端側(cè)算力體驗(yàn)。 DeepSeek自發(fā)布以來(lái)，憑借其出色的
發(fā)表于 02-14 10:52
?191次閱讀
NPU支持的編程語(yǔ)言有哪些
NPU（Neural Processing Unit）是一種專門(mén)為深度學(xué)習(xí)和人工智能應(yīng)用設(shè)計(jì)的處理器。NPU支持的編程語(yǔ)言通常與它所集成的平臺(tái)或框架緊密相關(guān)。以下是一些常見(jiàn)的編程語(yǔ)言和框架，它們可以
NPU的工作原理解析
隨著人工智能技術(shù)的快速發(fā)展，深度學(xué)習(xí)算法在各個(gè)領(lǐng)域得到了廣泛應(yīng)用。為了滿足日益增長(zhǎng)的計(jì)算需求，NPU應(yīng)運(yùn)而生。 NPU的基本概念 NPU是一種專用硬件加速器，專門(mén)為深度學(xué)習(xí)算法設(shè)計(jì)。它通過(guò)優(yōu)化
如何選擇合適的NPU型號(hào)
、智能家居等）來(lái)選擇NPU。不同場(chǎng)景對(duì)NPU的性能、功耗、靈活性等要求不同。 性能需求 ： 確定您需要的計(jì)算性能，包括TOPS（每秒萬(wàn)億次浮
NPU在邊緣計(jì)算中的優(yōu)勢(shì)
和GPU相比，NPU在處理神經(jīng)網(wǎng)絡(luò)相關(guān)的計(jì)算任務(wù)時(shí)，能夠提供更高的能效比和更快的處理速度。NPU通過(guò)優(yōu)化數(shù)據(jù)流和計(jì)算結(jié)構(gòu)，使得神經(jīng)網(wǎng)絡(luò)的前向傳播和反向傳播更加高效。 NPU在邊緣計(jì)算中
NPU技術(shù)如何提升AI性能
隨著人工智能技術(shù)的飛速發(fā)展，深度學(xué)習(xí)作為AI領(lǐng)域的核心驅(qū)動(dòng)力，對(duì)計(jì)算能力的需求日益增長(zhǎng)。NPU技術(shù)應(yīng)運(yùn)而生，為AI性能的提升提供了強(qiáng)大的硬件支持。 NPU技術(shù)概述
NPU與GPU的性能對(duì)比
NPU（Neural Processing Unit，神經(jīng)網(wǎng)絡(luò)處理單元）與GPU（Graphics Processing Unit，圖形處理單元）在性能上各有千秋，它們各自的設(shè)計(jì)初衷和優(yōu)化方向決定了
NPU在深度學(xué)習(xí)中的應(yīng)用
設(shè)計(jì)的硬件加速器，它在深度學(xué)習(xí)中的應(yīng)用日益廣泛。 1. NPU的基本概念 NPU是一種專門(mén)針對(duì)深度學(xué)習(xí)算法優(yōu)化的處理器，它與傳統(tǒng)的CPU和GPU有所不同。NPU通常具有高度并行的處理能
NXP推出集成NPU的MCU，支持AI邊緣設(shè)備！MCU實(shí)現(xiàn)AI功能的多種方式
旨在顯著節(jié)省功耗，可在邊緣端提供高達(dá)172倍的AI加速。 ? MCU 集成NPU 支持AI 功能 ? 恩智浦推出的這款i.MX RT700內(nèi)部集成了恩智浦自研的eIQ Neutron NPU，這是一種
名單公布！【書(shū)籍評(píng)測(cè)活動(dòng)NO.43】 算力芯片 | 高性能 CPU/GPU/NPU 微架構(gòu)分析
和像素統(tǒng)一的G80到現(xiàn)在重金難求的H100；AMD的Zen系列CPU和RDNA系列GPU兩線作戰(zhàn)；中國(guó)的高性能計(jì)算芯片逐步獲得更多TOP500排名；華為Ascend 910 NPU芯片也成為AI時(shí)代
發(fā)表于 09-02 10:09
基于RK3588的NPU案例分享！6T是真的強(qiáng)！
設(shè)計(jì)能夠?qū)崿F(xiàn)高效的神經(jīng)網(wǎng)絡(luò)推理計(jì)算。這使得RK3588在圖像識(shí)別、語(yǔ)音識(shí)別、自然語(yǔ)言處理等人工智能領(lǐng)域有著極高的性能表現(xiàn)。此外，RK3588的NPU還支持多種學(xué)習(xí)框架，包括TensorFlow
發(fā)表于 07-17 10:55
工商網(wǎng)監(jiān)
評(píng)論