資料介紹
軟件簡(jiǎn)介
Adlik?是深度學(xué)習(xí)模型的端到端優(yōu)化框架。Adlik 的目標(biāo)是在云和嵌入式環(huán)境中加速深度學(xué)習(xí)推理過(guò)程。
使用 Adlik 框架,不同的深度學(xué)習(xí)模型可以以非常靈活和簡(jiǎn)單的方式以高性能部署到不同的平臺(tái)。
-
在云環(huán)境中,編譯后的模型和 Adlik 推理引擎應(yīng)構(gòu)建為 docker 鏡像,并部署為容器。
-
在邊緣環(huán)境中,應(yīng)將 Adlik 推理引擎部署為容器。編譯后的模型應(yīng)該轉(zhuǎn)移到邊緣環(huán)境,Adlik 推理引擎應(yīng)該自動(dòng)更新和加載模型。
-
在設(shè)備環(huán)境中,Adlik Inference Engine 和編譯后的模型應(yīng)編譯為二進(jìn)制文件。想要在設(shè)備上運(yùn)行模型推理的用戶應(yīng)該將用戶定義的 AI 函數(shù)和 Adlik 二進(jìn)制文件鏈接到執(zhí)行文件,并直接運(yùn)行。
構(gòu)建
本指南用于在?Ubuntu?系統(tǒng)上構(gòu)建 Adlik?。
然后,克隆 Adlik 并將工作目錄更改為源目錄:
git clone https://github.com/ZTE/Adlik.git cd Adlik
構(gòu)建客戶端
-
安裝以下軟件包:
-
python3-setuptools
-
python3-wheel
-
-
構(gòu)建客戶端:
bazel build //adlik_serving/clients/python:build_pip_package -c opt
-
構(gòu)建 pip 包:
mkdir /tmp/pip-packages && bazel-bin/adlik_serving/clients/python/build_pip_package /tmp/pip-packages
構(gòu)建服務(wù)
首先,安裝以下軟件包:
-
automake
-
libtbb2
-
libtool
-
make
-
python3-six
使用 OpenVINO 運(yùn)行時(shí)構(gòu)建服務(wù)
-
假設(shè) OpenVINO 的安裝路徑為
/opt/intel/openvino_VERSION
,運(yùn)行如下命令:export INTEL_CVSDK_DIR=/opt/intel/openvino_VERSION export InferenceEngine_DIR=$INTEL_CVSDK_DIR/deployment_tools/inference_engine/share bazel build //adlik_serving \ --config=openvino \ -c opt
使用 TensorFlow CPU 運(yùn)行時(shí)構(gòu)建服務(wù)
-
運(yùn)行以下命令:
bazel build //adlik_serving \ --config=tensorflow-cpu \ -c opt
使用 TensorFlow GPU 運(yùn)行時(shí)構(gòu)建服務(wù)
假設(shè)使用 CUDA 版本 11.0 構(gòu)建。
-
-
cuda-cupti-dev-11-0
-
libcublas-dev-11-0
-
libcudnn8=*+cuda11.0
-
libcudnn8-dev=*+cuda11.0
-
libcufft-dev-11-0
-
libcurand-dev-11-0
-
libcusolver-dev-11-0
-
libcusparse-dev-11-0
-
libnvinfer7=7.2.*+cuda11.0
-
libnvinfer-dev=7.2.*+cuda11.0
-
libnvinfer-plugin7=7.2.*+cuda11.0
-
libnvinfer-plugin-dev=7.2.*+cuda11.0
-
-
運(yùn)行以下命令:
使用 TensorFlow Lite CPU 運(yùn)行時(shí)構(gòu)建服務(wù)
-
運(yùn)行以下命令:
bazel build //adlik_serving \ --config=tensorflow-lite-cpu \ -c opt
使用 TensorRT 運(yùn)行時(shí)構(gòu)建服務(wù)
假設(shè)使用 CUDA 版本 11.0 構(gòu)建。
-
-
cuda-cupti-dev-11-0
-
cuda-nvml-dev-11-0
-
cuda-nvrtc-11-0
-
libcublas-dev-11-0
-
libcudnn8=*+cuda11.0
-
libcudnn8-dev=*+cuda11.0
-
libcufft-dev-11-0
-
libcurand-dev-11-0
-
libcusolver-dev-11-0
-
libcusparse-dev-11-0
-
libnvinfer7=7.2.*+cuda11.0
-
libnvinfer-dev=7.2.*+cuda11.0
-
libnvonnxparsers7=7.2.*+cuda11.0
-
libnvonnxparsers-dev=7.2.*+cuda11.0
-
-
運(yùn)行以下命令:
env TF_CUDA_VERSION=11.0 \ bazel build //adlik_serving \ --config=TensorRT \ -c opt \ --action_env=LIBRARY_PATH=/usr/local/cuda-11.0/lib64/stubs \ --incompatible_use_specific_tool_files=false
使用 TF-TRT 運(yùn)行時(shí)構(gòu)建服務(wù)
假設(shè)使用 CUDA 版本 11.0 構(gòu)建。
-
-
cuda-cupti-dev-11-0
-
libcublas-dev-11-0
-
libcudnn8=*+cuda11.0
-
libcudnn8-dev=*+cuda11.0
-
libcufft-dev-11-0
-
libcurand-dev-11-0
-
libcusolver-dev-11-0
-
libcusparse-dev-11-0
-
libnvinfer7=7.2.*+cuda11.0
-
libnvinfer-dev=7.2.*+cuda11.0
-
libnvinfer-plugin7=7.2.*+cuda11.0
-
libnvinfer-plugin-dev=7.2.*+cuda11.0
-
-
運(yùn)行以下命令:
env TF_CUDA_VERSION=11.0 TF_NEED_TENSORRT=1 \ bazel build //adlik_serving \ --config=tensorflow-tensorrt \ -c opt \ --incompatible_use_specific_tool_files=false
使用 Tvm 運(yùn)行時(shí)構(gòu)建服務(wù)
-
安裝以下軟件包:
-
build-essential
-
cmake
-
tvm
-
-
運(yùn)行以下命令:
bazel build //adlik_serving \ --config=tvm \ -c opt
- LabView工具包WebSocket-API主機(jī)下載 69次下載
- SM2246XT工具包 25次下載
- 基于AdderNet的深度學(xué)習(xí)推理加速器
- PIC32通用入門工具包開(kāi)發(fā)工具的詳細(xì)中文資料概述
- 如何使用入門工具包開(kāi)發(fā)工具在目標(biāo)板上仿真和調(diào)試固件的詳細(xì)資料概述
- 如何將MCP2210評(píng)估工具包作為開(kāi)發(fā)工具使用的詳細(xì)中文資料概述
- 數(shù)字電源入門工具包的詳細(xì)中文資料概述
- 如何使用高性能工具包作為開(kāi)發(fā)工具在目標(biāo)板上仿真和調(diào)試固件
- PIC32以太網(wǎng)入門工具包的中文介紹和使用的詳細(xì)概述
- 如何使用PIC32MZ嵌入式連接(EC)入門工具包的詳細(xì)使用說(shuō)明
- 低成本mTouch評(píng)估工具包的詳細(xì)中文資料概述
- PICDEM? Z演示工具包用戶指南資料下載
- 單片機(jī)開(kāi)發(fā)調(diào)試工具包 19次下載
- 固件工具包
- 并口開(kāi)發(fā)調(diào)試工具包 (推薦)
- FPGA仿真工具包軟件EasyGo Vs Addon介紹 461次閱讀
- Torch TensorRT是一個(gè)優(yōu)化PyTorch模型推理性能的工具 1871次閱讀
- NPOI WEG報(bào)表工具包簡(jiǎn)介 1074次閱讀
- 搭建一套優(yōu)秀的嵌入式軟件框架必備的通用工具包 1025次閱讀
- Arm?ML處理器 嵌入式評(píng)估工具包介紹 8193次閱讀
- firefly NCC S1--MDK - SSD模型工具包介紹 2223次閱讀
- 深度學(xué)習(xí)在機(jī)器視覺(jué)中的應(yīng)用與發(fā)展 8434次閱讀
- 關(guān)于8個(gè)流行的Python可視化工具包 3390次閱讀
- 多智體深度強(qiáng)化學(xué)習(xí)研究中首次將概率遞歸推理引入AI的學(xué)習(xí)過(guò)程 4925次閱讀
- 北大語(yǔ)言計(jì)算與機(jī)器學(xué)習(xí)研究組推出一套全新中文分詞工具包pkuseg 3824次閱讀
- 如何用TensorFlow概率編程工具包開(kāi)發(fā)深度學(xué)習(xí) 3056次閱讀
- NVIDIA遷移學(xué)習(xí)工具包 :用于特定領(lǐng)域深度學(xué)習(xí)模型快速訓(xùn)練的高級(jí)SDK 3172次閱讀
- 街機(jī)游戲《街頭霸王 3》中進(jìn)行模擬來(lái)訓(xùn)練改進(jìn)強(qiáng)化學(xué)習(xí)算法的工具包 4149次閱讀
- 基于 Python 的深度學(xué)習(xí)庫(kù)Keras入門知識(shí) 5847次閱讀
- 細(xì)數(shù)工具包Kanzi? UI及Kanzi Connect?其中每個(gè)插件實(shí)現(xiàn)的功能 1w次閱讀
下載排行
本周
- 1山景DSP芯片AP8248A2數(shù)據(jù)手冊(cè)
- 1.06 MB | 532次下載 | 免費(fèi)
- 2RK3399完整板原理圖(支持平板,盒子VR)
- 3.28 MB | 339次下載 | 免費(fèi)
- 3TC358743XBG評(píng)估板參考手冊(cè)
- 1.36 MB | 330次下載 | 免費(fèi)
- 4DFM軟件使用教程
- 0.84 MB | 295次下載 | 免費(fèi)
- 5元宇宙深度解析—未來(lái)的未來(lái)-風(fēng)口還是泡沫
- 6.40 MB | 227次下載 | 免費(fèi)
- 6迪文DGUS開(kāi)發(fā)指南
- 31.67 MB | 194次下載 | 免費(fèi)
- 7元宇宙底層硬件系列報(bào)告
- 13.42 MB | 182次下載 | 免費(fèi)
- 8FP5207XR-G1中文應(yīng)用手冊(cè)
- 1.09 MB | 178次下載 | 免費(fèi)
本月
- 1OrCAD10.5下載OrCAD10.5中文版軟件
- 0.00 MB | 234315次下載 | 免費(fèi)
- 2555集成電路應(yīng)用800例(新編版)
- 0.00 MB | 33566次下載 | 免費(fèi)
- 3接口電路圖大全
- 未知 | 30323次下載 | 免費(fèi)
- 4開(kāi)關(guān)電源設(shè)計(jì)實(shí)例指南
- 未知 | 21549次下載 | 免費(fèi)
- 5電氣工程師手冊(cè)免費(fèi)下載(新編第二版pdf電子書(shū))
- 0.00 MB | 15349次下載 | 免費(fèi)
- 6數(shù)字電路基礎(chǔ)pdf(下載)
- 未知 | 13750次下載 | 免費(fèi)
- 7電子制作實(shí)例集錦 下載
- 未知 | 8113次下載 | 免費(fèi)
- 8《LED驅(qū)動(dòng)電路設(shè)計(jì)》 溫德?tīng)栔?/a>
- 0.00 MB | 6656次下載 | 免費(fèi)
總榜
- 1matlab軟件下載入口
- 未知 | 935054次下載 | 免費(fèi)
- 2protel99se軟件下載(可英文版轉(zhuǎn)中文版)
- 78.1 MB | 537798次下載 | 免費(fèi)
- 3MATLAB 7.1 下載 (含軟件介紹)
- 未知 | 420027次下載 | 免費(fèi)
- 4OrCAD10.5下載OrCAD10.5中文版軟件
- 0.00 MB | 234315次下載 | 免費(fèi)
- 5Altium DXP2002下載入口
- 未知 | 233046次下載 | 免費(fèi)
- 6電路仿真軟件multisim 10.0免費(fèi)下載
- 340992 | 191187次下載 | 免費(fèi)
- 7十天學(xué)會(huì)AVR單片機(jī)與C語(yǔ)言視頻教程 下載
- 158M | 183279次下載 | 免費(fèi)
- 8proe5.0野火版下載(中文版免費(fèi)下載)
- 未知 | 138040次下載 | 免費(fèi)
評(píng)論