AI與邊緣計(jì)算的崛起：技術(shù)變革的關(guān)鍵時(shí)刻

人工智能（AI）與邊緣計(jì)算正深刻改變我們的生活。從ChatGPT到Meta智能眼鏡，AI技術(shù)已成為日常不可或缺的一部分。然而，隨著AI應(yīng)用場(chǎng)景的不斷擴(kuò)展，傳統(tǒng)云計(jì)算在實(shí)時(shí)性、隱私保護(hù)和帶寬方面逐漸暴露出瓶頸。尤其是在自動(dòng)駕駛、智慧醫(yī)療和工業(yè)自動(dòng)化等領(lǐng)域，毫秒級(jí)的延遲可能導(dǎo)致關(guān)鍵決策失誤。邊緣計(jì)算應(yīng)運(yùn)而生，成為解決這些問題的關(guān)鍵技術(shù)。通過將數(shù)據(jù)處理移至更靠近數(shù)據(jù)源的設(shè)備端，邊緣計(jì)算實(shí)現(xiàn)了更低延遲、更高安全性和更高效率的AI計(jì)算模式。

這一技術(shù)轉(zhuǎn)型的核心驅(qū)動(dòng)力是神經(jīng)處理單元（Neural Processing Unit, NPU）的發(fā)展。NPU賦予小型化設(shè)備強(qiáng)大的計(jì)算能力，降低了數(shù)據(jù)傳輸?shù)难舆t與成本，同時(shí)提升了隱私安全性，使AI能夠在更多場(chǎng)景中落地。

視覺AI：改變世界的關(guān)鍵應(yīng)用

視覺AI正在從醫(yī)療診斷到自動(dòng)駕駛等領(lǐng)域廣泛應(yīng)用，深刻影響著各大產(chǎn)業(yè)的運(yùn)作模式。以下是視覺AI的主要應(yīng)用場(chǎng)景：

- 智能監(jiān)控：通過實(shí)時(shí)目標(biāo)檢測(cè)、行為分析與入侵預(yù)警，提升城市安全。

- 智慧零售：分析顧客行為，優(yōu)化購物體驗(yàn)與銷售策略。

- 醫(yī)療影像分析：協(xié)助醫(yī)生進(jìn)行疾病診斷，提高醫(yī)療準(zhǔn)確性。

- 工業(yè)質(zhì)檢：自動(dòng)化檢測(cè)產(chǎn)品瑕疵，提升制造業(yè)質(zhì)量與效率。

- 高級(jí)輔助駕駛系統(tǒng)（ADAS）：分析道路環(huán)境與障礙物，提升行車安全。

- 農(nóng)業(yè)監(jiān)測(cè)：監(jiān)測(cè)作物健康狀況，優(yōu)化農(nóng)業(yè)管理。

- 自走車與機(jī)械手臂：應(yīng)用于物流、制造業(yè)等場(chǎng)景，提升自動(dòng)化水平。

- 無人機(jī)影像分析：進(jìn)行地形測(cè)繪、災(zāi)害評(píng)估與基礎(chǔ)設(shè)施檢查。

當(dāng)AI與邊緣計(jì)算結(jié)合后，這些應(yīng)用將變得更高效、更可靠，進(jìn)一步貼近人們的實(shí)際需求。

i.MX 95：高性能邊緣計(jì)算平臺(tái)的技術(shù)突破

恩智浦（NXP）推出的i.MX 95應(yīng)用處理器系列，以其強(qiáng)大的多核心架構(gòu)，為高性能和實(shí)時(shí)應(yīng)用提供了堅(jiān)實(shí)基礎(chǔ)。該系列處理器配備六個(gè)Arm Cortex-A55核心、一個(gè)Arm Cortex-M7核心和一個(gè)Arm Cortex-M33核心，支持應(yīng)用層、系統(tǒng)層和實(shí)時(shí)處理的卓越性能。

為了提升AI應(yīng)用效率，i.MX 95系列整合了NXP的eIQ Neutron神經(jīng)處理單元（NPU），提供高達(dá)2 TOPS（每秒萬億次運(yùn)算）的計(jì)算能力。例如，在運(yùn)行物體檢測(cè)模型YOLOv5時(shí)，處理單張圖片僅需約5毫秒，展現(xiàn)了極高的運(yùn)算速度。此外，該系列還配備了先進(jìn)的影像處理單元（ISP）和2D/3D圖形處理器（GPU），支持4K分辨率下每秒60幀的編解碼能力，確保圖像流的優(yōu)化。

圖2 i.MX 95 方塊圖示意圖

豐富的接口支持多樣化應(yīng)用場(chǎng)景

i.MX 95系列提供多種I/O接口，滿足不同應(yīng)用需求：

MIPI-CSI：支持多個(gè)攝像頭的連接 (最高支持 8 路)，適用于高分辨率圖像采集，滿足先進(jìn)的圖像處理和機(jī)器視覺應(yīng)用需求。

以太網(wǎng)接口：配備 1 個(gè) 10GbE 和 2 個(gè) Gb 以太網(wǎng)接口，支持時(shí)間敏感網(wǎng)絡(luò)(TSN)、音視頻橋接(AVB) 和 IEEE 1588 同步協(xié)議，確保高速且精確的數(shù)據(jù)傳輸，適用于工業(yè)自動(dòng)化和車載網(wǎng)絡(luò)等需要高可靠性和低延遲的應(yīng)用。

USB 接口：提供 1 個(gè) USB 3.0 Type C 和 1 個(gè) USB 2.0 Type C 接口，支持高速數(shù)據(jù)傳輸和多種外接設(shè)備，提升系統(tǒng)的擴(kuò)展性和靈活性。

CAN FD 接口：具備 5 個(gè) CAN FD 接口，適用于車輛和工業(yè)控制系統(tǒng)，提供可靠的通信能力，支持更高的數(shù)據(jù)速率和更高效的數(shù)據(jù)傳輸。

串行通信接口：支持 8 個(gè) UART、8 個(gè) I2C、8 個(gè) SPI 和 2 個(gè) I3C 接口，提供多樣化的通信選項(xiàng)，方便與各種傳感器、執(zhí)行器和其他外圍設(shè)備的連接。

模數(shù)轉(zhuǎn)換器（ADC）：包含 1 個(gè) 8 通道、12 位ADC，適用于精確的模擬信號(hào)測(cè)量，如傳感器數(shù)據(jù)采集和監(jiān)控應(yīng)用。

FlexIO 接口：提供 2 個(gè) 32 引腳的 FlexIO 接口，可配置為 UART、SPI、I2C 和 I2S 等通信接口，增加系統(tǒng)設(shè)計(jì)的靈活性，滿足特定應(yīng)用需求。

PCIe 接口：配備 2 個(gè) PCIe Gen 3 通道，支持高速數(shù)據(jù)傳輸和擴(kuò)展，適用于連接高性能外設(shè)，如高速存儲(chǔ)設(shè)備和網(wǎng)卡。

MIPI-DSI 顯示接口：支持高達(dá) 350 MHz 的 MIPI-DSI，采用四通道配置，每個(gè)通道的數(shù)據(jù)傳輸速率為 2.5 Gbps，能夠?qū)崿F(xiàn) 4K 分辨率 (每秒 30 幀) 或 3840x1440 分辨率 (每秒 60 幀) 的顯示輸出，滿足高分辨率顯示需求。

LVDS 顯示接口：支持最高 1080p@60fps 的 LVDS 傳輸，可配置為 2 組 4 通道或 1 組 8 通道，提供靈活的顯示接口選項(xiàng)，滿足不同的顯示應(yīng)用需求。

AI功能展示：從物體檢測(cè)到深度估計(jì)

基于i.MX 95的AI攝像頭或工業(yè)電腦，結(jié)合NPU、GPU和ISP技術(shù)，能夠?qū)崿F(xiàn)多種AI功能，包括：

物體檢測(cè)(Object Detection)：識(shí)別并定位圖像中的各種物體。

肢體識(shí)別(Pose Estimation)：分析人體姿態(tài)，追蹤關(guān)鍵點(diǎn)位置。

物體分割(Object Segmentation)：將圖像中的物體從背景中分離出來。

工地安全帽檢測(cè)(Construction Helmet Detection)：確認(rèn)工人是否佩戴安全帽。

車輛檢測(cè)(Vehicle Detection)：識(shí)別并追蹤車輛。

口罩檢測(cè)(Mask Detection)：判斷人員是否佩戴口罩。

水果檢測(cè)(Fruit Detection)：識(shí)別不同種類的水果。

人體特征點(diǎn)檢測(cè)(Human Keypoint Detection)：定位人體關(guān)鍵點(diǎn)。

手部骨架檢測(cè)(Hand Skeleton Detection)：追蹤手部關(guān)節(jié)位置。

深度估計(jì)(Depth Estimation)：估計(jì)圖像中物體與相機(jī)之間的距離。

這些功能以每秒30幀的速度處理影像，僅占用一個(gè)CPU核心，大幅減輕了系統(tǒng)負(fù)擔(dān)，滿足邊緣計(jì)算的高效需求。

推動(dòng)AI計(jì)算平臺(tái)的未來發(fā)展

NXP通過 NXP (恩智浦) 在推動(dòng) 人工智能(AI) 計(jì)算平臺(tái)方面展現(xiàn)了卓越的進(jìn)步。通過 eIQ 能夠快速應(yīng)用 TensorFlow、TensorFlow Lite、ONNX、Keras 等深度學(xué)習(xí)框架。如同下圖所示，只需將影像、聲音等相應(yīng)的數(shù)據(jù)委托(Delegate) 給任意一個(gè)深度學(xué)習(xí)框架進(jìn)行推理，即可快速解析神經(jīng)網(wǎng)絡(luò)架構(gòu)以獲得結(jié)果。而該框架將通過 Neutron Delegate 進(jìn)行優(yōu)化加速運(yùn)算處理。經(jīng)實(shí)際測(cè)試，YOLOv5s 目標(biāo)檢測(cè)，推理速度約可達(dá)到每秒 190 幀 (FPS)。

圖4 NXP I.MX95 EVK深度學(xué)習(xí)應(yīng)用示意圖

從 i.MX 8M Plus、i.MX 93 到最新的 i.MX 95 系列，性能提升顯著，特別是在物體檢測(cè)等常見 AI 應(yīng)用中，運(yùn)算速度大幅提高。即使在物理規(guī)格相近的情況下 i.MX 95 的神經(jīng)處理單元(NPU)相比于 i.MX 8M Plus，運(yùn)算速度更快。提升了近四倍。

圖5 i.MX 95 AI 性能示意圖

i.MX 95 系列處理器不僅具備強(qiáng)大的運(yùn)算能力，還提供豐富且多樣化的 I/O 接口配置。這使開發(fā)者能夠靈活地連接各種外設(shè)，滿足不同應(yīng)用場(chǎng)景的需求，提供高度的設(shè)計(jì)自由度和擴(kuò)展性。實(shí)際應(yīng)用中，這些處理器展現(xiàn)了極大的靈活性，可廣泛應(yīng)用于物聯(lián)網(wǎng)(IoT)、工業(yè) 4.0、自動(dòng)駕駛等領(lǐng)域。充分實(shí)現(xiàn)邊緣計(jì)算(Edge Computing) 的概念，創(chuàng)造更高的應(yīng)用價(jià)值。

另外，NXP 為開發(fā)者提供了強(qiáng)大的工具，助力他們?cè)诟鞣N創(chuàng)新應(yīng)用中實(shí)現(xiàn) AI 能力。

eIQ 工具包用于端到端模型開發(fā)和部署

eIQ模型水印技術(shù)

eIQ 示例

eiq模型庫

nxp-nnstreamer-示例

GUI 指南

由WPI提供的AI演示

WPI 提供的 ATU 模型庫

?展示板照片

?方案方塊圖

?核心技術(shù)優(yōu)勢(shì)

◆ 搭配算力 2 TOPS 的 eIQ Neutron 神經(jīng)處理器(Neural Processing Unit，NPU)，具備強(qiáng)大的機(jī)器學(xué)習(xí)推理能力。相比廣為人知的圖形處理器(Graphics Processing Unit，GPU)，更省電、效率更高，是專門為深度學(xué)習(xí)和人工智能設(shè)計(jì)的處理器！

◆ 獨(dú)立 SOM 開發(fā)板設(shè)計(jì)，并搭配強(qiáng)大的 NXP i.MX 95 芯片，可根據(jù)需求自由配置 I/O 接口，與 SOM 搭配使用。這種靈活性使開發(fā)者能夠針對(duì)特定應(yīng)用場(chǎng)景設(shè)計(jì)符合需求的硬件平臺(tái)，充分發(fā)揮 i.MX 95 芯片的性能和功能。

◆ 結(jié)合 I/O 開發(fā)板能夠提供齊全的周邊配置。例如高清多媒體接口(HDMI)、低壓差分信號(hào)技術(shù)接口(LVDS)、以太網(wǎng)(Ethernet)、控制器局域網(wǎng)(CAN bus)、異步收發(fā)傳輸器(UART)、通用串行總線接口(USB Type A/C)、3.5 mm 耳機(jī)音頻接口、攝像頭數(shù)據(jù)傳輸接口(MIPI-CSI)、顯示數(shù)據(jù)傳輸接口(MIPI-DSI)、M.2 - PCIe 3.0 傳輸接口。

◆ 可快速上手應(yīng)用 eIQ / PyeIQ 機(jī)器學(xué)習(xí)開發(fā)環(huán)境，提供 TensorFlow、TensorFlow Lite、ONNX、Keras、Pytorch 等多種深度學(xué)習(xí)框架的應(yīng)用示例。

?方案規(guī)格

MPU (NXP i.MX95, MX95LPD5EVK-19CM) 核心規(guī)格：

◆ 強(qiáng)大的六核 Arm Cortex-A55 處理器，主頻高達(dá) 1.8 GHz

◆ eIQ Neutron 神經(jīng)處理單元，性能高達(dá) 2 TOPS

◆ 雙圖像信號(hào)處理器(ISP)，支持 RGB-IR 格式

◆ 兩個(gè) MIPI-CSI 攝像頭接口，用于視覺處理應(yīng)用

◆ 強(qiáng)大的 3D/2D 圖形加速(Arm Mali-G310)

◆ 強(qiáng)大的視頻編碼器和解碼器，支持高達(dá) 4Kp60 幀率 (包括 JPEG、H.264 和 H.265)

◆ 高清顯示：MIPI-DSI 支持 4Kp30，LVDS 支持 1080p

◆ 內(nèi)置 eMMC 5.1，存儲(chǔ)容量為 64GB

◆ 支持外部?jī)?nèi)存，數(shù)據(jù)速率高達(dá) 6.4 GT/s，32 位接口，支持 LPDDR5/LPDDR4X

MPU (NXP i.MX95, MX95LPD5EVK-19CM) I/O 規(guī)格：

◆ 1 個(gè) 10GbE + 2 個(gè) Gb 以太網(wǎng)，支持 TSN、AVB 和 IEEE 1588 同步

◆ 1 個(gè)帶 PHY 的 USB 3.0 Type C + 1 個(gè)帶 PHY 的 USB 2.0 Type C

◆ 5 個(gè) CAN FD 接口

◆ 8 個(gè) UART，8 個(gè) I2C，8 個(gè) SPI，2 個(gè) I3C

◆ 1 個(gè) 8 通道、12 位 ADC

◆ 2 個(gè) 32 針 FlexIO 接口

◆ 2 個(gè) PCIe Gen 3 單通道接口

關(guān)注本文作者大大通博主：ATU 伊布小編 (一部)

了解MPU技術(shù)整合、深度學(xué)習(xí)、電腦視覺技術(shù)與人工智能（AI）的發(fā)展等更多相關(guān)內(nèi)容！

歡迎登錄大聯(lián)大工程師社區(qū)——大大通，提問/評(píng)論，獲取技術(shù)文檔等更多資訊！