一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

搜索歷史

清空
搜索熱詞
      0
      • 聊天消息
      • 系統(tǒng)消息
      • 評論與回復(fù)
      VIP于 到期 續(xù)費
      登錄后你可以
      • 下載海量資料
      • 學(xué)習(xí)在線課程
      • 觀看技術(shù)視頻
      • 寫文章/發(fā)帖/加入社區(qū)
      會員中心
      創(chuàng)作中心
      發(fā)布
      創(chuàng)作活動

      完善資料讓更多小伙伴認(rèn)識你，還能領(lǐng)取20積分哦，立即完善>

      3天內(nèi)不再提示

      淺談阿里輕量級的深度神經(jīng)網(wǎng)絡(luò)推理引擎MNN

      電子設(shè)計 ? 來源：電子設(shè)計 ? 作者：電子設(shè)計 ? 2020-12-10 19:29 ? 次閱讀
      加入交流群
      微信小助手二維碼

      掃碼添加小助手

      加入工程師交流群

      MNN是一個輕量級的深度神經(jīng)網(wǎng)絡(luò)推理引擎，在端側(cè)加載深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行推理預(yù)測。
      作者：開心的派大星
      首發(fā)：微信公眾號：NeuroMem
      轉(zhuǎn)自：https://github.com/alibaba/MNN/edit/master/README_CN.md

      簡介

      MNN是一個輕量級的深度神經(jīng)網(wǎng)絡(luò)推理引擎，在端側(cè)加載深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行推理預(yù)測。目前，MNN已經(jīng)在阿里巴巴的手機(jī)淘寶、手機(jī)天貓、優(yōu)酷等20多個App中使用，覆蓋直播、短視頻、搜索推薦、商品圖像搜索、互動營銷、權(quán)益發(fā)放、安全風(fēng)控等場景。此外，IoT等場景下也有若干應(yīng)用。

      整體特點

      輕量性

      • 針對端側(cè)設(shè)備特點深度定制和裁剪，無任何依賴，可以方便地部署到移動設(shè)備和各種嵌入式設(shè)備中。
      • iOS平臺：armv7+arm64靜態(tài)庫大小5MB左右，鏈接生成可執(zhí)行文件增加大小620KB左右，metallib文件600KB左右。
      • Android平臺：so大小400KB左右，OpenCL庫400KB左右，Vulkan庫400KB左右。

      通用性

      • 支持Tensorflow、Caffe、ONNX等主流模型文件格式，支持CNN、RNN、GAN等常用網(wǎng)絡(luò)。
      • 支持86個TensorflowOp、34個CaffeOp；各計算設(shè)備支持的MNN Op數(shù)：CPU 71個，Metal 55個，OpenCL 29個，Vulkan 31個。
      • 支持iOS 8.0+、Android 4.3+和具有POSIX接口的嵌入式設(shè)備。
      • 支持異構(gòu)設(shè)備混合計算，目前支持CPU和GPU，可以動態(tài)導(dǎo)入GPU Op插件，替代CPU Op的實現(xiàn)。

      高性能

      • 不依賴任何第三方計算庫，依靠大量手寫匯編實現(xiàn)核心運(yùn)算，充分發(fā)揮ARM CPU的算力。
      • iOS設(shè)備上可以開啟GPU加速（Metal），常用模型上快于蘋果原生的CoreML。
      • Android上提供了OpenCL、Vulkan、OpenGL三套方案，盡可能多地滿足設(shè)備需求，針對主流GPU（Adreno和Mali）做了深度調(diào)優(yōu)。
      • 卷積、轉(zhuǎn)置卷積算法高效穩(wěn)定，對于任意形狀的卷積均能高效運(yùn)行，廣泛運(yùn)用了 Winograd 卷積算法，對3x3 -> 7x7之類的對稱卷積有高效的實現(xiàn)。
      • 針對ARM v8.2的新架構(gòu)額外作了優(yōu)化，新設(shè)備可利用半精度計算的特性進(jìn)一步提速。

      易用性

      • 有高效的圖像處理模塊，覆蓋常見的形變、轉(zhuǎn)換等需求，一般情況下，無需額外引入libyuv或opencv庫處理圖像。
      • 支持回調(diào)機(jī)制，可以在網(wǎng)絡(luò)運(yùn)行中插入回調(diào)，提取數(shù)據(jù)或者控制運(yùn)行走向。
      • 支持只運(yùn)行網(wǎng)絡(luò)中的一部分，或者指定CPU和GPU間并行運(yùn)行。

      架構(gòu)設(shè)計

      MNN可以分為Converter和Interpreter兩部分。

      Converter由Frontends和Graph Optimize構(gòu)成。前者負(fù)責(zé)支持不同的訓(xùn)練框架，MNN當(dāng)前支持Tensorflow(Lite)、Caffe和ONNX(PyTorch/MXNet的模型可先轉(zhuǎn)為ONNX模型再轉(zhuǎn)到MNN)；后者通過算子融合、算子替代、布局調(diào)整等方式優(yōu)化圖。

      Interpreter由Engine和Backends構(gòu)成。前者負(fù)責(zé)模型的加載、計算圖的調(diào)度；后者包含各計算設(shè)備下的內(nèi)存分配、Op實現(xiàn)。在Engine和Backends中，MNN應(yīng)用了多種優(yōu)化方案，包括在卷積和反卷積中應(yīng)用Winograd算法、在矩陣乘法中應(yīng)用Strassen算法、低精度計算、Neon優(yōu)化、手寫匯編、多線程優(yōu)化、內(nèi)存復(fù)用、異構(gòu)計算等。

      開始使用

      工具

      如何修改

      如何使用Python

      交流與反饋

      License

      Apache 2.0

      致謝

      MNN參與人員：淘寶技術(shù)部、搜索工程團(tuán)隊、達(dá)摩院團(tuán)隊、優(yōu)酷等集團(tuán)員工。

      MNN參考、借鑒了下列項目：


      推薦閱讀

      歡迎關(guān)注公眾號，關(guān)注模型壓縮、低比特量化、移動端推理加速優(yōu)化、部署。

      審核編輯：符乾江
      聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請聯(lián)系本站處理。 舉報投訴
      收藏 人收藏
      加入交流群
      微信小助手二維碼

      掃碼添加小助手

      加入工程師交流群

        評論

        相關(guān)推薦
        熱點推薦

        信而泰×DeepSeek：AI推理引擎驅(qū)動網(wǎng)絡(luò)智能診斷邁向 “自愈”時代

        模態(tài)的技術(shù)特性，DeepSeek正加速推動AI在金融、政務(wù)、科研及網(wǎng)絡(luò)智能化等關(guān)鍵領(lǐng)域的深度應(yīng)用。 信而泰：AI推理引擎賦能網(wǎng)絡(luò)智能診斷新范
        發(fā)表于 07-16 15:29

        Arm與阿里巴巴合作加速端側(cè)多模態(tài)AI體驗

        Arm 控股有限公司（納斯達(dá)克股票代碼：ARM，以下簡稱“Arm”）近日發(fā)布與阿里巴巴淘天集團(tuán)輕量級深度學(xué)習(xí)框架 MNN 的又一新合作。
        的頭像 發(fā)表于 03-10 09:07 ?628次閱讀

        BP神經(jīng)網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)的比較

        BP神經(jīng)網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)在多個方面存在顯著差異，以下是對兩者的比較： 一、結(jié)構(gòu)特點 BP神經(jīng)網(wǎng)絡(luò) ： BP神經(jīng)網(wǎng)絡(luò)是一種多層的前饋神經(jīng)網(wǎng)絡(luò)
        的頭像 發(fā)表于 02-12 15:53 ?665次閱讀

        BP神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)的關(guān)系

        BP神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)之間存在著密切的關(guān)系，以下是對它們之間關(guān)系的介紹： 一、BP神經(jīng)網(wǎng)絡(luò)的基本概念 BP神經(jīng)網(wǎng)絡(luò)，即反向傳播神經(jīng)網(wǎng)絡(luò)（Ba
        的頭像 發(fā)表于 02-12 15:15 ?855次閱讀

        深度學(xué)習(xí)入門：簡單神經(jīng)網(wǎng)絡(luò)的構(gòu)建與實現(xiàn)

        深度學(xué)習(xí)中，神經(jīng)網(wǎng)絡(luò)是核心模型。今天我們用 Python 和 NumPy 構(gòu)建一個簡單的神經(jīng)網(wǎng)絡(luò)。 神經(jīng)網(wǎng)絡(luò)由多個神經(jīng)元組成，
        的頭像 發(fā)表于 01-23 13:52 ?528次閱讀

        人工神經(jīng)網(wǎng)絡(luò)的原理和多種神經(jīng)網(wǎng)絡(luò)架構(gòu)方法

        在上一篇文章中，我們介紹了傳統(tǒng)機(jī)器學(xué)習(xí)的基礎(chǔ)知識和多種算法。在本文中，我們會介紹人工神經(jīng)網(wǎng)絡(luò)的原理和多種神經(jīng)網(wǎng)絡(luò)架構(gòu)方法，供各位老師選擇。 01 人工神經(jīng)網(wǎng)絡(luò) ? 人工神經(jīng)網(wǎng)絡(luò)模型之所
        的頭像 發(fā)表于 01-09 10:24 ?1188次閱讀
        人工<b class='flag-5'>神經(jīng)網(wǎng)絡(luò)</b>的原理和多種<b class='flag-5'>神經(jīng)網(wǎng)絡(luò)</b>架構(gòu)方法

        卷積神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的比較

        在深度學(xué)習(xí)領(lǐng)域，神經(jīng)網(wǎng)絡(luò)模型被廣泛應(yīng)用于各種任務(wù)，如圖像識別、自然語言處理和游戲智能等。其中，卷積神經(jīng)網(wǎng)絡(luò)（CNNs）和傳統(tǒng)神經(jīng)網(wǎng)絡(luò)是兩種常見的模型。 1. 結(jié)構(gòu)差異 1.1 傳統(tǒng)
        的頭像 發(fā)表于 11-15 14:53 ?1868次閱讀

        深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)模型

        深度學(xué)習(xí)近年來在多個領(lǐng)域取得了顯著的進(jìn)展，尤其是在圖像識別、語音識別和自然語言處理等方面。卷積神經(jīng)網(wǎng)絡(luò)作為深度學(xué)習(xí)的一個分支，因其在圖像處理任務(wù)中的卓越性能而受到廣泛關(guān)注。 卷積神經(jīng)網(wǎng)絡(luò)
        的頭像 發(fā)表于 11-15 14:52 ?845次閱讀

        LSTM神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)RNN的區(qū)別

        在深度學(xué)習(xí)領(lǐng)域，循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）因其能夠處理序列數(shù)據(jù)而受到廣泛關(guān)注。然而，傳統(tǒng)RNN在處理長序列時存在梯度消失或梯度爆炸的問題。為了解決這一問題，LSTM（長短期記憶）神經(jīng)網(wǎng)絡(luò)應(yīng)運(yùn)而生。 循環(huán)
        的頭像 發(fā)表于 11-13 09:58 ?1213次閱讀

        Moku人工神經(jīng)網(wǎng)絡(luò)101

        不熟悉神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)知識，或者想了解神經(jīng)網(wǎng)絡(luò)如何優(yōu)化加速實驗研究，請繼續(xù)閱讀，探索基于深度學(xué)習(xí)的現(xiàn)代智能化實驗的廣闊應(yīng)用前景。什么是神經(jīng)網(wǎng)絡(luò)？“人工
        的頭像 發(fā)表于 11-01 08:06 ?664次閱讀
        Moku人工<b class='flag-5'>神經(jīng)網(wǎng)絡(luò)</b>101

        【飛凌嵌入式OK3576-C開發(fā)板體驗】RKNN神經(jīng)網(wǎng)絡(luò)-車牌識別

        LPRNet基于深層神經(jīng)網(wǎng)絡(luò)設(shè)計，通過輕量級的卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)車牌識別。它采用端到端的訓(xùn)練方式，不依賴字符分割，能夠直接處理整張車牌圖像，并輸出最終的字符序列。這種設(shè)計提高了識別的實時性和準(zhǔn)確性
        發(fā)表于 10-10 16:40

        國產(chǎn)芯上運(yùn)行TinyMaxi輕量級的神經(jīng)網(wǎng)絡(luò)推理庫-米爾基于芯馳D9國產(chǎn)商顯板

        是面向單片機(jī)的超輕量級的神經(jīng)網(wǎng)絡(luò)推理庫，即 TinyML 推理庫，可以讓你在任意單片機(jī)上運(yùn)行輕量級深度
        發(fā)表于 08-09 18:26

        國產(chǎn)芯上運(yùn)行TinyMaxi輕量級的神經(jīng)網(wǎng)絡(luò)推理庫-米爾基于芯馳D9國產(chǎn)商顯板

        D9360國產(chǎn)開發(fā)板）的TinyMaxi輕量級的神經(jīng)網(wǎng)絡(luò)推理庫方案測試。 算力測試 TinyMaix 是面向單片機(jī)的超輕量級的神經(jīng)網(wǎng)絡(luò)
        發(fā)表于 08-07 18:06

        FPGA在深度神經(jīng)網(wǎng)絡(luò)中的應(yīng)用

        、低功耗等特點，逐漸成為深度神經(jīng)網(wǎng)絡(luò)在邊緣計算和設(shè)備端推理的重要硬件平臺。本文將詳細(xì)探討FPGA在深度神經(jīng)網(wǎng)絡(luò)中的應(yīng)用，包括其優(yōu)勢、設(shè)計流程
        的頭像 發(fā)表于 07-24 10:42 ?1200次閱讀

        如何構(gòu)建多層神經(jīng)網(wǎng)絡(luò)

        構(gòu)建多層神經(jīng)網(wǎng)絡(luò)（MLP, Multi-Layer Perceptron）模型是一個在機(jī)器學(xué)習(xí)和深度學(xué)習(xí)領(lǐng)域廣泛使用的技術(shù)，尤其在處理分類和回歸問題時。在本文中，我們將深入探討如何從頭開始構(gòu)建一個多層神經(jīng)網(wǎng)絡(luò)模型，包括模型設(shè)計、
        的頭像 發(fā)表于 07-19 17:19 ?1565次閱讀