一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

搜索歷史

清空
搜索熱詞
      0
      • 聊天消息
      • 系統(tǒng)消息
      • 評(píng)論與回復(fù)
      VIP于 到期 續(xù)費(fèi)
      登錄后你可以
      • 下載海量資料
      • 學(xué)習(xí)在線課程
      • 觀看技術(shù)視頻
      • 寫文章/發(fā)帖/加入社區(qū)
      會(huì)員中心
      創(chuàng)作中心
      發(fā)布
      創(chuàng)作活動(dòng)

      完善資料讓更多小伙伴認(rèn)識(shí)你，還能領(lǐng)取20積分哦，立即完善>

      3天內(nèi)不再提示

      YOLOX目標(biāo)檢測(cè)模型的推理部署

      OpenCV學(xué)堂 ? 來源：OpenCV學(xué)堂 ? 作者：gloomyfish ? 2022-04-16 23:00 ? 次閱讀
      加入交流群
      微信小助手二維碼

      掃碼添加小助手

      加入工程師交流群

      YOLOX目標(biāo)檢測(cè)模型

      曠視科技開源了內(nèi)部目標(biāo)檢測(cè)模型-YOLOX，性能與速度全面超越Y(jié)OLOv5早期版本!

      fd7acd32-bc50-11ec-aa7f-dac502259ad0.png

      如此神奇原因在于模型結(jié)構(gòu)的修改，下圖說明了改了什么地方：

      fd89a5b4-bc50-11ec-aa7f-dac502259ad0.png

      把原來的耦合頭部，通過1x1卷積解耦成兩個(gè)并行的分支，經(jīng)過一系列處理之后最終取得精度與速度雙提升。實(shí)驗(yàn)對(duì)比結(jié)果如下：

      fd9a396a-bc50-11ec-aa7f-dac502259ad0.png

      論文與代碼模型下載地址： 
      https://arxiv.org/pdf/2107.08430.pdfhttps://github.com/Megvii-BaseDetection/YOLOX

      ONNX格式模型轉(zhuǎn)與部署

      下載YOLOX的ONNX格式模型（github上可以下載） 
      https://github.com/Megvii-BaseDetection/YOLOX/tree/main/demo/ONNXRuntimehttps://github.com/Megvii-BaseDetection/YOLOX/releases/download/0.1.1rc0/yolox_s.onnx

      下載ONNX格式模型，打開之后如圖：

      fdab5c7c-bc50-11ec-aa7f-dac502259ad0.png

      輸入格式：1x3x640x640，默認(rèn)BGR，無需歸一化。輸出格式：1x8400x85
      官方說明ONNX格式支持OpenVINO、ONNXRUNTIME、TensorRT三種方式，而且都提供源碼，官方提供的源碼參考如下： 
      https://github.com/Megvii-BaseDetection/YOLOX/tree/main/demo
      本人就是參考上述的代碼然后一通猛改，分別封裝成三個(gè)類，完成了統(tǒng)一接口，公用了后處理部分的代碼，基于本人筆記本的硬件資源與軟件版本： 
      -GPU 3050Ti-CPU i7 11代-OS：Win10 64位-OpenVINO2021.4-ONNXRUNTIME：1.7-CPU-OpenCV4.5.4-Python3.6.5-YOLOX-TensorRT8.4.x
      在三個(gè)推理平臺(tái)上測(cè)試結(jié)果如下：

      fdb887bc-bc50-11ec-aa7f-dac502259ad0.png

      運(yùn)行截圖如下：onnxruntime推理

      fdc4c9d2-bc50-11ec-aa7f-dac502259ad0.png

      OpenVINO推理

      fde1d216-bc50-11ec-aa7f-dac502259ad0.png

      TensorRT推理 - FP32

      fdf9d622-bc50-11ec-aa7f-dac502259ad0.png

      轉(zhuǎn)威FP16

      fe1134ac-bc50-11ec-aa7f-dac502259ad0.png

      TensorRT推理 - FP16

      fe239098-bc50-11ec-aa7f-dac502259ad0.png

      總結(jié)

      之前我寫過一篇文章比較了YOLOv5最新版本在OpenVINO、ONNXRUNTIME、OpenCV DNN上的速度比較，現(xiàn)在加上本篇比較了YOLOX在TensorRT、OpenVINO、ONNXRUNTIME上推理部署速度比較，得到的結(jié)論就是： 
      CPU上速度最快的是OpenVINOGPU上速度最快的是TensorRT
      能不改代碼，同時(shí)支持CPU跟GPU推理是ONNXRUNTIMEOpenCV DNN毫無意外的速度最慢（CPU/GPU）

      原文標(biāo)題：YOLOX在OpenVINO、ONNXRUNTIME、TensorRT上面推理部署與速度比較

      文章出處：【微信公眾號(hào)：OpenCV學(xué)堂】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

      審核編輯：湯梓紅
      聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
      • 模型
        +關(guān)注

        關(guān)注

        1

        文章

        3519

        瀏覽量

        50411
      • 目標(biāo)檢測(cè)
        +關(guān)注

        關(guān)注

        0

        文章

        225

        瀏覽量

        16014
      • OpenCV
        +關(guān)注

        關(guān)注

        32

        文章

        642

        瀏覽量

        42872

      原文標(biāo)題：YOLOX在OpenVINO、ONNXRUNTIME、TensorRT上面推理部署與速度比較

      文章出處：【微信號(hào)：CVSCHOOL，微信公眾號(hào)：OpenCV學(xué)堂】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

      收藏 人收藏
      加入交流群
      微信小助手二維碼

      掃碼添加小助手

      加入工程師交流群

        評(píng)論

        相關(guān)推薦
        熱點(diǎn)推薦

        如何在魔搭社區(qū)使用TensorRT-LLM加速優(yōu)化Qwen3系列模型推理部署

        TensorRT-LLM 作為 NVIDIA 專為 LLM 推理部署加速優(yōu)化的開源庫，可幫助開發(fā)者快速利用最新 LLM 完成應(yīng)用原型驗(yàn)證與產(chǎn)品部署。
        的頭像 發(fā)表于 07-04 14:38 ?641次閱讀

        大模型推理顯存和計(jì)算量估計(jì)方法研究

        隨著人工智能技術(shù)的飛速發(fā)展，深度學(xué)習(xí)大模型在各個(gè)領(lǐng)域得到了廣泛應(yīng)用。然而，大模型的推理過程對(duì)顯存和計(jì)算資源的需求較高，給實(shí)際應(yīng)用帶來了挑戰(zhàn)。為了解決這一問題，本文將探討大模型
        發(fā)表于 07-03 19:43

        基于LockAI視覺識(shí)別模塊：C++目標(biāo)檢測(cè)

        快速部署高性能的目標(biāo)檢測(cè)應(yīng)用。 特點(diǎn)： 高性能：優(yōu)化了推理速度，在保持高精度的同時(shí)實(shí)現(xiàn)了快速響應(yīng)。 靈活性：支持多種預(yù)訓(xùn)練模型，可以根據(jù)具體
        發(fā)表于 06-06 14:43

        labview調(diào)用yolo目標(biāo)檢測(cè)、分割、分類、obb

        labview調(diào)用yolo目標(biāo)檢測(cè)、分割、分類、obb、pose深度學(xué)習(xí)，支持CPU和GPU推理，32/64位labview均可使用。 （yolov5~yolov12）
        發(fā)表于 03-31 16:28

        【幸狐Omni3576邊緣計(jì)算套件試用體驗(yàn)】RKNN 推理測(cè)試與圖像識(shí)別

        本節(jié)介紹了 RKNN 推理測(cè)試的相關(guān)流程，包括 rknn_model_zoo 模型部署、編譯及板端測(cè)試。 rknn_model_zoo rknn_model_zoo 是瑞芯微官方提供的 RKNPU 支持
        發(fā)表于 03-20 16:14

        添越智創(chuàng)基于 RK3588 開發(fā)板部署測(cè)試 DeepSeek 模型全攻略

        這也會(huì)帶來新問題，隨著模型參數(shù)增加，回復(fù)速度會(huì)明顯下降，實(shí)際應(yīng)用中需根據(jù)需求權(quán)衡。使用 Ollama 工具部署的推理模型運(yùn)行時(shí)主要依賴 CPU 運(yùn)算。從運(yùn)行監(jiān)測(cè)數(shù)據(jù)能看到，模型回復(fù)時(shí)
        發(fā)表于 02-14 17:42

        摩爾線程宣布成功部署DeepSeek蒸餾模型推理服務(wù)

        近日，摩爾線程智能科技(北京)有限責(zé)任公司在其官方渠道發(fā)布了一則重要消息，宣布公司已經(jīng)成功實(shí)現(xiàn)了對(duì)DeepSeek蒸餾模型推理服務(wù)的部署。這一技術(shù)突破，標(biāo)志著摩爾線程在人工智能領(lǐng)域邁出了堅(jiān)實(shí)的一步
        的頭像 發(fā)表于 02-06 13:49 ?809次閱讀

        AI模型部署邊緣設(shè)備的奇妙之旅：目標(biāo)檢測(cè)模型

        以及邊緣計(jì)算能力的增強(qiáng)，越來越多的目標(biāo)檢測(cè)應(yīng)用開始直接在靠近數(shù)據(jù)源的邊緣設(shè)備上運(yùn)行。這不僅減少了數(shù)據(jù)傳輸延遲，保護(hù)了用戶隱私，同時(shí)也減輕了云端服務(wù)器的壓力。然而，在邊緣端部署高效且準(zhǔn)確的目標(biāo)
        發(fā)表于 12-19 14:33

        如何開啟Stable Diffusion WebUI模型推理部署

        如何開啟Stable Diffusion WebUI模型推理部署
        的頭像 發(fā)表于 12-11 20:13 ?557次閱讀
        如何開啟Stable Diffusion WebUI<b class='flag-5'>模型</b><b class='flag-5'>推理</b><b class='flag-5'>部署</b>

        高效大模型的推理綜述

        大模型由于其在各種任務(wù)中的出色表現(xiàn)而引起了廣泛的關(guān)注。然而，大模型推理的大量計(jì)算和內(nèi)存需求對(duì)其在資源受限場(chǎng)景的部署提出了挑戰(zhàn)。業(yè)內(nèi)一直在努力開發(fā)旨在提高大
        的頭像 發(fā)表于 11-15 11:45 ?1453次閱讀
        高效大<b class='flag-5'>模型</b>的<b class='flag-5'>推理</b>綜述

        在樹莓派上部署YOLOv5進(jìn)行動(dòng)物目標(biāo)檢測(cè)的完整流程

        卓越的性能。本文將詳細(xì)介紹如何在性能更強(qiáng)的計(jì)算機(jī)上訓(xùn)練YOLOv5模型，并將訓(xùn)練好的模型部署到樹莓派4B上，通過樹莓派的攝像頭進(jìn)行實(shí)時(shí)動(dòng)物目標(biāo)檢測(cè)
        的頭像 發(fā)表于 11-11 10:38 ?3691次閱讀
        在樹莓派上<b class='flag-5'>部署</b>YOLOv5進(jìn)行動(dòng)物<b class='flag-5'>目標(biāo)</b><b class='flag-5'>檢測(cè)</b>的完整流程

        YOLOv6在LabVIEW中的推理部署（含源碼）

        YOLOv6 是美團(tuán)視覺智能部研發(fā)的一款目標(biāo)檢測(cè)框架，致力于工業(yè)應(yīng)用。如何使用python進(jìn)行該模型的部署，官網(wǎng)已經(jīng)介紹的很清楚了，但是對(duì)于如何在LabVIEW中實(shí)現(xiàn)該
        的頭像 發(fā)表于 11-06 16:07 ?941次閱讀
        YOLOv6在LabVIEW中的<b class='flag-5'>推理</b><b class='flag-5'>部署</b>（含源碼）

        手冊(cè)上新 |迅為RK3568開發(fā)板NPU例程測(cè)試

        yolov5目標(biāo)檢測(cè) 6.13 yolov5-seg語義分割 6.14 yolov6目標(biāo)檢測(cè) 6.15 yolov7目標(biāo)
        發(fā)表于 10-23 14:06

        手冊(cè)上新 |迅為RK3568開發(fā)板NPU例程測(cè)試

        yolov5目標(biāo)檢測(cè) 6.13 yolov5-seg語義分割 6.14 yolov6目標(biāo)檢測(cè) 6.15 yolov7目標(biāo)
        發(fā)表于 08-12 11:03

        LLM大模型推理加速的關(guān)鍵技術(shù)

        LLM（大型語言模型）大模型推理加速是當(dāng)前人工智能領(lǐng)域的一個(gè)研究熱點(diǎn)，旨在提高模型在處理復(fù)雜任務(wù)時(shí)的效率和響應(yīng)速度。以下是對(duì)LLM大模型
        的頭像 發(fā)表于 07-24 11:38 ?1804次閱讀