如果在沒(méi)有嵌入式處理器供應(yīng)商提供的合適工具和軟件的支持下，既想設(shè)計(jì)高能效的邊緣人工智能 （AI） 系統(tǒng)，同時(shí)又要加快產(chǎn)品上市時(shí)間，這項(xiàng)工作難免會(huì)冗長(zhǎng)乏味。面臨的一系列挑戰(zhàn)包括選擇恰當(dāng)?shù)?a href="http://www.www27dydycom.cn/v/tag/448/" target="_blank">深度學(xué)習(xí)模型、針對(duì)性能和精度目標(biāo)對(duì)模型進(jìn)行訓(xùn)練和優(yōu)化，以及學(xué)習(xí)使用在嵌入式邊緣處理器上部署模型的專(zhuān)用工具。

從模型選擇到在處理器上部署，TI 可免費(fèi)提供相關(guān)工具、軟件和服務(wù)，為您深度神經(jīng)網(wǎng)絡(luò) （DNN） 開(kāi)發(fā)工作流程的每一步保駕護(hù)航。下面讓我們來(lái)了解如何不借助手動(dòng)工具或手動(dòng)編程來(lái)選擇模型、隨時(shí)隨地訓(xùn)練模型并將其無(wú)縫部署到 TI 處理器上，從而實(shí)現(xiàn)硬件加速推理。

圖 1：邊緣 AI 應(yīng)用的開(kāi)發(fā)流程

第一步：選擇模型

邊緣 AI 系統(tǒng)開(kāi)發(fā)的首要任務(wù)是選擇合適的 DNN 模型，同時(shí)要兼顧系統(tǒng)的性能、精度和功耗目標(biāo)。GitHub 上的 TI 邊緣 AI Model Zoo 等工具可助您加速此流程。

Model Zoo 廣泛匯集了 TensorFlow、PyTorch 和 MXNet 框架中常用的開(kāi)源深度學(xué)習(xí)模型。這些模型在公共數(shù)據(jù)集上經(jīng)過(guò)預(yù)訓(xùn)練和優(yōu)化，可以在 TI 適用于邊緣 AI 的處理器上高效運(yùn)行。TI 會(huì)定期使用開(kāi)源社區(qū)中的新模型以及 TI 設(shè)計(jì)的模型對(duì) Model Zoo 進(jìn)行更新，為您提供性能和精度經(jīng)過(guò)優(yōu)化的廣泛模型選擇。

Model Zoo 囊括數(shù)百個(gè)模型，TI 模型選擇工具（如圖 2 所示）可以幫助您在不編寫(xiě)任何代碼的情況下，通過(guò)查看和比較性能統(tǒng)計(jì)數(shù)據(jù)（如推理吞吐量、延遲、精度和雙倍數(shù)據(jù)速率帶寬），快速比較和找到適合您 AI 任務(wù)的模型。

圖 2：TI 模型選擇工具

第二步：訓(xùn)練和優(yōu)化模型

選擇模型后，下一步是在 TI 處理器上對(duì)其進(jìn)行訓(xùn)練或優(yōu)化，以獲得出色的性能和精度。憑借我們的軟件架構(gòu)和開(kāi)發(fā)環(huán)境，您可隨時(shí)隨地訓(xùn)練模型。

從 TI Model Zoo 中選擇模型時(shí)，借助訓(xùn)練腳本可讓您在自定義數(shù)據(jù)集上為特定任務(wù)快速傳輸和訓(xùn)練模型，而無(wú)需花費(fèi)較長(zhǎng)時(shí)間從頭開(kāi)始訓(xùn)練或使用手動(dòng)工具。訓(xùn)練腳本、框架擴(kuò)展和量化感知培訓(xùn)工具可幫助您優(yōu)化自己的 DNN 模型。

第三步：評(píng)估模型性能

在開(kāi)發(fā)邊緣 AI 應(yīng)用之前，需要在實(shí)際硬件上評(píng)估模型性能。

TI 提供靈活的軟件架構(gòu)和開(kāi)發(fā)環(huán)境，您可以在 TensorFlow Lite、ONNX RunTime 或 TVM 和支持 Neo AI DLR 的 SageMaker Neo 運(yùn)行環(huán)境引擎三者中選擇習(xí)慣的業(yè)界標(biāo)準(zhǔn) Python 或 C++ 應(yīng)用編程接口 （API），只需編寫(xiě)幾行代碼，即可隨時(shí)隨地訓(xùn)練自己的模型，并將模型編譯和部署到 TI 硬件上。在這些業(yè)界通用運(yùn)行環(huán)境引擎的后端，我們的 TI 深度學(xué)習(xí) （TIDL） 模型編譯和運(yùn)行環(huán)境工具可讓您針對(duì) TI 的硬件編譯模型，將編譯后的圖或子圖部署到深度學(xué)習(xí)硬件加速器上，并在無(wú)需任何手動(dòng)工具的情況下實(shí)現(xiàn)卓越的處理器推理性能。

在編譯步驟中，訓(xùn)練后量化工具可以自動(dòng)將浮點(diǎn)模型轉(zhuǎn)換為定點(diǎn)模型。該工具可通過(guò)配置文件實(shí)現(xiàn)層級(jí)混合精度量化（8 位和 16 位），從而能夠足夠靈活地調(diào)整模型編譯，以獲得出色的性能和精度。

不同常用模型的運(yùn)算方式各不相同。同樣位于 GitHub 上的 TI 邊緣 AI 基準(zhǔn)工具可幫助您為 TI Model Zoo 中的模型無(wú)縫匹配 DNN 模型功能，并作為自定義模型的參考。

評(píng)估 TI 處理器模型性能的方式有兩種：TDA4VM 入門(mén)套件評(píng)估模塊 （EVM） 或 TI Edge AI Cloud，后者是一項(xiàng)免費(fèi)在線服務(wù)，可支持遠(yuǎn)程訪問(wèn) TDA4VM EVM，以評(píng)估深度學(xué)習(xí)推理性能。借助針對(duì)不同任務(wù)和運(yùn)行時(shí)引擎組合的數(shù)個(gè)示例腳本，五分鐘之內(nèi)便可在 TI 硬件上編程、部署和運(yùn)行加速推理，同時(shí)收集基準(zhǔn)測(cè)試數(shù)據(jù)。

第四步：部署邊緣 AI 應(yīng)用程序

您可以使用開(kāi)源 Linux? 和業(yè)界通用的 API 來(lái)將模型部署到 TI 硬件上。然而，將深度學(xué)習(xí)模型部署到硬件加速器上只是難題的冰山一角。

為幫助您快速構(gòu)建高效的邊緣 AI 應(yīng)用，TI 采用了 GStreamer 框架。借助在主機(jī) Arm? 內(nèi)核上運(yùn)行的 GStreamer 插件，您可以自動(dòng)將計(jì)算密集型任務(wù)的端到端信號(hào)鏈加速部署到硬件加速器和數(shù)字信號(hào)處理內(nèi)核上。

圖 3 展示了適用于邊緣 AI 的 Linux Processor SDK 的軟件棧和組件。

圖 3：適用于邊緣 AI 的 Linux Processor SDK 組件

結(jié)語(yǔ)

如果您對(duì)本文中提及的工具感到陌生或有所擔(dān)憂(yōu)，請(qǐng)放寬心，因?yàn)榧词鼓胍_(kāi)發(fā)和部署 AI 模型或構(gòu)建 AI 應(yīng)用，也不必成為 AI 專(zhuān)家。TI Edge AI Academy 能夠幫助您在自學(xué)、課堂環(huán)境中通過(guò)測(cè)驗(yàn)學(xué)習(xí) AI 基礎(chǔ)知識(shí)，并深入了解 AI 系統(tǒng)和軟件編程。實(shí)驗(yàn)室提供了構(gòu)建“Hello World” AI 應(yīng)用的分步代碼，而帶有攝像頭捕獲和顯示功能的端到端高級(jí)應(yīng)用使您能夠按照自己的節(jié)奏順利開(kāi)發(fā) AI 應(yīng)用。