一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

X3派基于PaddlePaddle的推理模型部署

地瓜機器人 ? 2022-12-14 15:56 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

一、目標(biāo)

本次工作的目標(biāo)是在旭日X3派上部署PaddlePaddle的開源模型,至于PaddlePaddle模型轉(zhuǎn)換,已有大佬寫過很贊的教程,自我感覺不能超越,于是本文不再提及。

飛槳(PaddlePaddle)是集深度學(xué)習(xí)核心框架、工具組件和服務(wù)平臺為一體的技術(shù)先進(jìn)、功能完備的開源深度學(xué)習(xí)平臺,已被中國企業(yè)廣泛使用,深度契合企業(yè)應(yīng)用需求,擁有活躍的開發(fā)者社區(qū)生態(tài)。提供豐富的官方支持模型集合,并推出全類型的高性能部署和集成方案供開發(fā)者使用。

二、環(huán)境準(zhǔn)備

1、python環(huán)境

旭日X3派的官方img支持的是python3.8,這個跟PaddlePaddle要求的3.6版本不同,因為PaddlePaddle SDK使用的tensor模塊等依賴python3.6,所以要在X3派系統(tǒng)中使用python3.6。網(wǎng)上很多種方法,譬如通過pyenv、anaconda等python版本管理工具進(jìn)行python版本切換,因為在實際使用中可以指定使用的python版本,為什么不能再裝個python3.6呢?需要python3.8的時候敲python3,需要python3.6的時候敲python3.6,感覺不錯。

sudo apt-get install software-properties-common -y sudo add-apt-repository ppa:deadsnakes/ppa sudo apt-get update sudo apt-get install python3.6 -y sudo apt-get install libpython3.6 -y sudo apt-get install python3.6-dev -y sudo apt-get install python3.6-distutils -y

一系列命令敲下來,python3.6環(huán)境已經(jīng)按照完成,直接使用即可。

1.png

2、SDK下載

直接在官網(wǎng)(EasyEdge端計算模型生成平臺)下載PaddlePaddle SDK,選擇需要的SDK即可,因為是要部署在X3派上,所以選擇了 操作系統(tǒng)Linux,且部署芯片為通用ARM芯片的模型,這次我選擇的是PPLCNetV2。

PPLCNet是百度團(tuán)隊設(shè)計的輕量高性能網(wǎng)絡(luò)PP-LCNet,所提方案在圖像分類任務(wù)上取得了比ShuffleNetV2、MobileNetV2、MobileNetV3以及GhostNet更優(yōu)的延遲-精度均衡。

PPLCNetV2當(dāng)然比PPLCNetV1牛逼了,一會試試圖像分類功能。

三、模型部署

1、PaddlePaddle安裝

直接使用如下命令安裝PaddlePaddle:

python3.6 -m pip install http://aipe-easyedge-public.bj.bcebos.com/easydeploy/paddlelite-2.11-cp36-cp36m-linux_aarch64.whl

記得一定要用python3.6…

2、安裝WHL包

將2.2節(jié)下載的SDK包解壓縮,傳輸至X3派,首先安裝python目錄下(當(dāng)然也可以選擇C++,python直接運行了,方便)的BaiduAI_EasyEdge_SDK-1.3.1-cp36-cp36m-linux_aarch64.whl包,記得用python3.6,中間可能會根據(jù)系統(tǒng)的情況,下載安裝numpy,opencv-python等,耐心等待即可,直到安裝成功。

2.png

四、預(yù)測圖像

直接在系統(tǒng)上運行的命令格式如下,記得使用python3.6:

python3.6 demo_x86_cpu.py {模型RES文件夾}{測試圖片路徑}

1、鴨子

結(jié)果如下:

root@ubuntu:~/EasyEdge-Linux-arm/python/infer_demo# python3.6 demo_armv8_cpu.py ../../RES /root/ducks.jpg 2022-09-17 00:36:30 INFO [EasyEdge] [demo_armv8_cpu.py:38] 548210040848: Init paddlelite engine... Loading topology data from ../../RES/model Loading params data from ../../RES/params 1. Model is successfully loaded! 2022-09-17 00:36:31 INFO [EasyEdge] [demo_armv8_cpu.py:38] 548210040848: Paddlelite engine version: v2.11 infer done! {'confidence': 0.36856314539909363, 'index': 97, 'label': 'n01847000 drake'}

2、螞蟻

測試結(jié)果,ant, emmet, pismire都是螞蟻:

root@ubuntu:~/EasyEdge-Linux-arm/python/infer_demo# python3.6 demo_armv8_cpu.py ../../RES /root/ants.jpg 2022-09-17 00:37:40 INFO [EasyEdge] [demo_armv8_cpu.py:38] 548581892112: Init paddlelite engine... Loading topology data from ../../RES/model Loading params data from ../../RES/params 1. Model is successfully loaded! 2022-09-17 00:37:41 INFO [EasyEdge] [demo_armv8_cpu.py:38] 548581892112: Paddlelite engine version: v2.11 infer done! {'confidence': 0.9655985832214355, 'index': 310, 'label': 'n02219486 ant, emmet, pismire'}

本文轉(zhuǎn)自地平線開發(fā)者社區(qū)
原作者:大菠蘿Alpha

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 嵌入式
    +關(guān)注

    關(guān)注

    5149

    文章

    19651

    瀏覽量

    317240
  • Linux
    +關(guān)注

    關(guān)注

    87

    文章

    11508

    瀏覽量

    213658
  • 模型
    +關(guān)注

    關(guān)注

    1

    文章

    3516

    瀏覽量

    50368
  • python
    +關(guān)注

    關(guān)注

    56

    文章

    4827

    瀏覽量

    86667
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點推薦

    詳解 LLM 推理模型的現(xiàn)狀

    領(lǐng)域的最新研究進(jìn)展,特別是自DeepSeekR1發(fā)布后興起的推理時間計算擴(kuò)展相關(guān)內(nèi)容。在LLM中實施和改進(jìn)推理簡單來說,基于LLM的推理模型是一種旨在通過生成中間
    的頭像 發(fā)表于 04-03 12:09 ?466次閱讀
    詳解 LLM <b class='flag-5'>推理模型</b>的現(xiàn)狀

    中科馭數(shù)高性能網(wǎng)卡產(chǎn)品 成就DeepSeek推理模型網(wǎng)絡(luò)底座

    2025年初,DeepSeek-V3與DeepSeek-R1推理模型的開源引爆了AI社區(qū),這兩款產(chǎn)品作為通用千億級模型與專用推理優(yōu)化模型,為
    的頭像 發(fā)表于 03-31 11:56 ?284次閱讀
    中科馭數(shù)高性能網(wǎng)卡產(chǎn)品 成就DeepSeek<b class='flag-5'>推理模型</b>網(wǎng)絡(luò)底座

    英偉達(dá)GTC25亮點:NVIDIA Dynamo開源庫加速并擴(kuò)展AI推理模型

    DeepSeek-R1 上的吞吐量提高了 30 倍 NVIDIA 發(fā)布了開源推理軟件 NVIDIA Dynamo,旨在以高效率、低成本加速并擴(kuò)展 AI 工廠中的 AI 推理模型。 作為 NVIDIA
    的頭像 發(fā)表于 03-20 15:03 ?640次閱讀

    AI大模型在汽車應(yīng)用中的推理、降本與可解釋性研究

    佐思汽研發(fā)布《2024-2025年AI大模型及其在汽車領(lǐng)域的應(yīng)用研究報告》。 推理能力成為大模型性能提升的驅(qū)動引擎 2024下半年以來,國內(nèi)外大模型公司紛紛推出
    的頭像 發(fā)表于 02-18 15:02 ?1216次閱讀
    AI大<b class='flag-5'>模型</b>在汽車應(yīng)用中的<b class='flag-5'>推理</b>、降本與可解釋性研究

    OpenAI O3與DeepSeek R1:推理模型性能深度分析

    OpenAI剛推出的O3和DeepSeek的R1代表了推理模型領(lǐng)域的重大進(jìn)步。這兩種模型都因在各種基準(zhǔn)測試中的出色表現(xiàn)而備受關(guān)注,引發(fā)了人們對人工智能的未來及其對各個行業(yè)的潛在影響的討論。據(jù)我們所知
    的頭像 發(fā)表于 02-18 11:07 ?941次閱讀

    摩爾線程宣布成功部署DeepSeek蒸餾模型推理服務(wù)

    。 據(jù)悉,DeepSeek開源模型在多語言理解與復(fù)雜推理任務(wù)中一直表現(xiàn)出卓越的性能,其V3、R1等系列模型更是備受業(yè)界關(guān)注。而此次摩爾線程所實現(xiàn)的DeepSeek蒸餾
    的頭像 發(fā)表于 02-06 13:49 ?797次閱讀

    科大訊飛發(fā)布星火深度推理模型X1

    今天,科大訊飛正式發(fā)布星火深度推理模型X1,星火4.0 Turbo底座全面升級,首發(fā)星火語音同傳大模型。
    的頭像 發(fā)表于 01-15 15:54 ?709次閱讀

    科大訊飛即將發(fā)布訊飛星火深度推理模型X1

    近日,科大訊飛在1月7日成功舉辦的辦公智能體產(chǎn)品升級發(fā)布會上,宣布了一項令人振奮的新進(jìn)展。據(jù)科大訊飛官方透露,公司將于1月15日正式對外發(fā)布其最新的“訊飛星火深度推理模型X1”。 這一新模型的發(fā)布
    的頭像 發(fā)表于 01-08 10:30 ?744次閱讀

    智譜推出深度推理模型GLM-Zero預(yù)覽版

    近日,智譜公司正式發(fā)布了其深度推理模型GLM-Zero的預(yù)覽版——GLM-Zero-Preview。這款模型標(biāo)志著智譜在擴(kuò)展強化學(xué)習(xí)技術(shù)訓(xùn)練推理模型方面的重大突破,成為其首個專注于增強AI推理
    的頭像 發(fā)表于 01-03 10:42 ?492次閱讀

    智譜GLM-Zero深度推理模型預(yù)覽版正式上線

    近日,智譜公司宣布其深度推理模型GLM-Zero的初代版本——GLM-Zero-Preview已正式上線。這款模型是智譜首個基于擴(kuò)展強化學(xué)習(xí)技術(shù)訓(xùn)練的推理模型,標(biāo)志著智譜在AI推理領(lǐng)域
    的頭像 發(fā)表于 01-02 10:55 ?518次閱讀

    阿里云發(fā)布開源多模態(tài)推理模型QVQ-72B-Preview

    近日,阿里云宣布了一項重大技術(shù)突破,正式發(fā)布了業(yè)界首個開源多模態(tài)推理模型——QVQ-72B-Preview。這一模型的問世,標(biāo)志著阿里云在AI技術(shù)領(lǐng)域的又一次重要飛躍
    的頭像 發(fā)表于 12-27 10:28 ?599次閱讀

    OpenAI發(fā)布新一代推理模型o3及o3-mini

    近日,OpenAI在為期12天的發(fā)布會上宣布了新一代推理模型o3及其精簡版o3-mini。這兩款模型被專門設(shè)計用于在回答問題之前進(jìn)行更深入的思考,以期提高答案的準(zhǔn)確性。 據(jù)悉,o
    的頭像 發(fā)表于 12-24 09:29 ?850次閱讀

    OpenAI推出新一代推理模型o3系列

    在AI技術(shù)日新月異的今天,OpenAI再次引領(lǐng)潮流,于近日正式發(fā)布了其新一代的推理模型系列——o3。此次發(fā)布的o3系列包括兩個版本,分別是標(biāo)準(zhǔn)版的o3和精簡版的o
    的頭像 發(fā)表于 12-23 11:00 ?804次閱讀

    如何開啟Stable Diffusion WebUI模型推理部署

    如何開啟Stable Diffusion WebUI模型推理部署
    的頭像 發(fā)表于 12-11 20:13 ?554次閱讀
    如何開啟Stable Diffusion WebUI<b class='flag-5'>模型</b><b class='flag-5'>推理</b><b class='flag-5'>部署</b>

    阿里云開源推理模型QwQ

    近日,阿里云通義團(tuán)隊宣布推出全新AI推理模型QwQ-32B-Preview,并同步實現(xiàn)了開源。這一舉措標(biāo)志著阿里云在AI推理領(lǐng)域邁出了重要一步。 據(jù)評測數(shù)據(jù)顯示,QwQ預(yù)覽版本已具備研究生水平的科學(xué)
    的頭像 發(fā)表于 11-29 11:30 ?1158次閱讀