基于圖為科技邊緣計算機系列產(chǎn)品，僅用三行代碼就能搞定百度飛槳AI算法的部署；讓AI算法部署變得簡單便捷，幫助企業(yè)加速AI方案落地進(jìn)程。

人工智能產(chǎn)業(yè)應(yīng)用發(fā)展的越來越快，開發(fā)者需要面對的適配部署工作也越來越復(fù)雜。層出不窮的算法模型、各種架構(gòu)的AI硬件、不同場景的部署需求、不同操作系統(tǒng)和開發(fā)語言，為AI開發(fā)者項目落地帶來極大的挑戰(zhàn)。

為了解決AI部署落地難題，圖為科技受到百度飛槳和英偉達(dá)的邀請，完成FastDeploy部署工具在邊緣計算機上的驗證測試。FastDeploy旨在為AI開發(fā)者提供模型部署最優(yōu)解，具備全場景、簡單易用、極致高效三大特點。開發(fā)者可以通過FastDeploy這款產(chǎn)品，滿足全場景的高性能部署需求，大幅提升AI產(chǎn)業(yè)部署的開發(fā)效率。

以下展開介紹FastDeploy的全場景、簡單易用、極致性能特性和圖為科技邊緣計算機的能力：

簡單易用

·多語言統(tǒng)一部署API，3行代碼搞定模型部署

FastDeploy精心的完成了API設(shè)計，確保使用不同編程語言的開發(fā)者能夠享受到統(tǒng)一的API體驗。并且，無論使用哪一種編程語言，都只需要3行核心代碼就可以實現(xiàn)預(yù)置模型的高性能推理。。

FastDeploy中Python和C++統(tǒng)一部署API

·一鍵體驗預(yù)置150+熱門模型，覆蓋20多主流產(chǎn)業(yè)應(yīng)用場景

FastDeploy覆蓋20多主流場景，提供了150多個SOTA產(chǎn)業(yè)模型的端到端示例，模型類型覆蓋CV、NLP、Speech和跨模態(tài)等領(lǐng)域，讓開發(fā)者可以從場景入手，通過預(yù)置模型，使用FastDeploy快速部署起來。

FastDeploy 預(yù)置150多個產(chǎn)業(yè)SOTA模型

全場景

·多框架支持，一行命令實現(xiàn)模型協(xié)議互轉(zhuǎn)

接下來看看多框架支持的功能，F(xiàn)astDeploy中內(nèi)置了X2Paddle和Paddle2ONNX模型轉(zhuǎn)換工具。只需要一行命令便可完成其他深度學(xué)習(xí)框架到飛槳以及ONNX的相互轉(zhuǎn)換，讓其他框架的開發(fā)者也能通過FastDeploy體驗到飛槳模型壓縮與推理引擎的端到端優(yōu)化效果。

FastDeploy一行代碼切換多端部署

極致高效

·軟硬聯(lián)合自動壓縮優(yōu)化，減少部署資源消耗

性能方面，F(xiàn)astDeploy集成了飛槳壓縮與推理的特色，聯(lián)動自動壓縮與推理引擎深度優(yōu)化，實現(xiàn)了更高效的量化推理部署。利用PaddleSlim ACT自動壓縮技術(shù)帶來的無損壓縮體驗，以PP-LCNetV2和ERNIE 3.0-Medium模型為例，通過ACT自動壓縮技術(shù)，操作簡易度可以比擬傳統(tǒng)離線量化，實現(xiàn)近乎無損的模型壓縮效果。

FastDeploy一鍵自動壓縮，減少硬件資源消耗

·端到端前后預(yù)處理優(yōu)化，減少部署資源消耗

FastDeploy在各模型的部署中，重點關(guān)注端到端到的部署體驗和性能。在服務(wù)端對預(yù)處理過程進(jìn)行融合，降低內(nèi)存創(chuàng)建開銷和計算量。在移動端集成百度視覺技術(shù)部自研高性能圖像處理庫FlyCV。結(jié)合FastDeploy多后端支持的優(yōu)勢，相較原有部署代碼，所有模型端到端性能大幅提升。

FastDeploy前后預(yù)處理優(yōu)化，減少硬件資源消耗

圖為科技邊緣計算機與飛槳FastDeploy部署工具經(jīng)過長時間的開發(fā)測試，現(xiàn)已達(dá)到完美適配輕松部署的效果。目前FastDeploy中支持的150多個AI算法全部通過了圖為科技邊緣計算機的驗證測試，開發(fā)者拿到圖為邊緣計算機后可以直接進(jìn)行部署應(yīng)用，極大程度縮短了項目的研發(fā)周期。

圖為信息科技（深圳）有限公司是一家AI邊緣計算機運營服務(wù)商，專注邊緣計算機的研發(fā)、生產(chǎn)、銷售、運維等工作。目前基于NVIDIA Jetson系列核心模塊所設(shè)計的AI邊緣計算機，已廣泛應(yīng)用于機器視覺檢測、人臉識別、行為識別、智能機器人、智能無人機、自動駕駛、智能安防等領(lǐng)域。

圖為科技最新推出的T928邊緣計算機,采用NVIDIA? JETSON AGX ORIN?核心板，具備200 TOPS浮點運算能力，萬兆網(wǎng)口、IP65防護(hù)等級、極致穩(wěn)定可在-40度環(huán)境低溫穩(wěn)定運行；支持?jǐn)?shù)據(jù)加密，16路GMSL2接口,可選4G/5G通訊模塊，專為自動駕駛而設(shè)計。

邊緣計算，就用圖為邊緣計算機！小體積，大算力，更可靠！

審核編輯：湯梓紅