流暢的開發(fā)人員體驗是人工智能設計的基礎。開發(fā)工具包可以簡化為邊緣和低延遲數(shù)據(jù)中心部署準備訓練好的神經(jīng)網(wǎng)絡。

生產(chǎn)級 AI 開發(fā)套件在克服軟件支持限制和 AI 采用障礙方面變得至關重要，尤其是在加速受尺寸和功耗限制的端點設備中的邊緣推理時。這就是人工智能開發(fā)套件彌合流行的訓練框架（如 TensorFlow）與高度受限的邊緣和物聯(lián)網(wǎng)部署之間差距的地方。

以人工智能專家為其智能處理單元 （IPU） 平臺開發(fā)的Mythic SDK為例，主要針對智能相機系統(tǒng)、工業(yè)機器人和智能家電。Mythic IPU 架構具有一組磁貼，每個磁貼都有三個硬件組件。

首先，一個大型模擬計算陣列存儲龐大的神經(jīng)網(wǎng)絡權重。其次，有一個本地 SRAM 存儲器用于在神經(jīng)網(wǎng)絡節(jié)點之間傳遞數(shù)據(jù)。第三，單指令多數(shù)據(jù) （SIMD） 單元滿足模擬計算陣列未處理的處理操作，納米處理器控制塊的排序和操作。

Mythic SDK 軟件運行兩個階段：優(yōu)化和編譯。Mythic 優(yōu)化套件將神經(jīng)網(wǎng)絡轉換為與模擬內存計算兼容的形式，包括從浮點值量化為 8 位整數(shù)。

Mythic Graph Compiler 執(zhí)行自動映射、打包和代碼生成。Mythic SDK 生成并編譯二進制映像以在 IPU 架構上運行。接下來，通過一系列自動化步驟處理從神經(jīng)網(wǎng)絡計算圖到機器代碼的轉換，包括映射、優(yōu)化和代碼生成。

因此，開發(fā)人員擁有一個打包的二進制文件，其中包含主機驅動程序在實時環(huán)境中對加速器芯片進行編程和運行神經(jīng)網(wǎng)絡所需的一切。

嵌入式系統(tǒng)中的神經(jīng)網(wǎng)絡微控制器供應商 STMicroelectronics 還推出了一個工具箱，允許開發(fā)人員生成優(yōu)化代碼以在其微控制器 （MCU） 上運行神經(jīng)網(wǎng)絡。開發(fā)人員可以使用在 Caffe、Keras、TensorFlow、Lasagne 和 ConvNetJS 等流行庫上預訓練的神經(jīng)網(wǎng)絡，然后將它們轉換為可以在 MCU 上運行的 C 代碼。

這就是人工智能——通常使用幾乎無限的云資源——可以在具有計算和內存限制的嵌入式平臺上高效運行的方式。該工具包通過使用神經(jīng)網(wǎng)絡對來自傳感器和麥克風等物聯(lián)網(wǎng)節(jié)點的數(shù)據(jù)進行分類，而不是使用傳統(tǒng)的信號處理技術，從而實現(xiàn)人工智能。

STMicroelectronics 在其STM32CubeMX MCU 配置和軟件代碼生成生態(tài)系統(tǒng)中添加了 AI 功能。它以STM32Cube.AI的形式出現(xiàn) ，用作 STM32CubeMX 代碼生成器的擴展包。STM32Cube.AI 在公司的 STM32 MCU 上運行，可作為功能包提供，其中包括用于人類活動識別和音頻場景分類的示例代碼。

圖 1：STM32Cube.AI 擴展包可在 STM32CubeMX 代碼生成器中下載，支持 Caffe、帶有 TensorFlow 后端的 Keras、Lasagne 和 ConvNetJS 框架以及來自 Keil、IAR 和 System Workbench 的 IDE。（圖片：意法半導體）

STM32CubeMX 代碼生成器在 STM32 MCU 上映射神經(jīng)網(wǎng)絡，然后優(yōu)化生成的庫，而 STM32Cube.AI 功能包利用 ST 的 SensorTile 參考板在訓練過程之前捕獲和標記傳感器數(shù)據(jù)。參考板運行由優(yōu)化的神經(jīng)網(wǎng)絡啟用的推理。這些代碼示例也可用于 SensorTile 參考板和 ST 的 BLE Sensor 移動應用程序。

機器學習工具包另一個值得注意的 AI 開發(fā)工具包也來自 MCU 供應商。NXP Semiconductors 的eIQ 是一個機器學習 （ML） 工具包，支持 TensorFlow Lite、Caffe2 和其他神經(jīng)網(wǎng)絡框架以及非神經(jīng) ML 算法。它有助于在用于語音、視覺和異常檢測應用的各種神經(jīng)網(wǎng)絡框架和推理引擎上進行模型轉換。

eIQ 軟件環(huán)境提供了構建和優(yōu)化云訓練的 ML 模型的工具，以便它們可以在資源受限的邊緣設備上高效運行，適用于廣泛的工業(yè)、物聯(lián)網(wǎng)和汽車應用。它還具有數(shù)據(jù)采集和管理工具以及對 GLOW 和 XLA 等神經(jīng)網(wǎng)絡編譯器的支持。

eIQ 工具套件支持 NXP 的 MCU 和應用處理器系列，還使設計人員能夠為深度學習算法的每一層選擇和編程嵌入式計算引擎。自動選擇過程顯著提高了性能并縮短了上市時間。

隨著eIQ Auto的推出，恩智浦已將 eIQ 機器學習開發(fā)環(huán)境擴展到汽車 AI 設計。汽車級工具包使開發(fā)人員能夠在視覺、駕駛員更換、傳感器融合、駕駛員監(jiān)控和其他不斷發(fā)展的汽車應用中實施基于深度學習的算法。eIQ Auto 中的推理引擎與 Automotive SPICE 兼容。

Arm 的 AI 工具鏈NXP 的 eIQ 和 ST 的 STM32Cube.AI 這兩個 AI 開發(fā)平臺都與 Arm 的生態(tài)系統(tǒng)相關聯(lián)。例如，STM32Cube.AI 工具集支持 Arm 的 Cortex-M55 處理器。同樣，恩智浦正在將 Arm 的 Ethos-U55 機器學習加速器整合到其 MCU 和應用處理器中。

Arm 的 Cortex-M 軟件工具鏈具有對Cortex-M55和Ethos-U55的支持。與之前的 Cortex-M 版本相比，Cortex-M55 的 ML 性能提升高達 15 倍，DSP 性能提升高達 5 倍。Cortex-M55 可以輕松與 Ethos-U55 配對，Ethos-U55 是 Arm 的 microNPU，旨在加速區(qū)域受限嵌入式和物聯(lián)網(wǎng)設備中的機器學習推理。

圖 2：Ethos-U55 機器學習加速器與 Cortex-M 內核一起工作，以縮小 AI 芯片的占用空間，從而有效地服務于受限的嵌入式設計。（圖片：手臂）

Arm 的 Cortex-M 軟件工具鏈旨在為 AI 工作負載創(chuàng)建統(tǒng)一的開發(fā)流程，同時優(yōu)化領先的機器學習框架。例如，Arm 已經(jīng)開始使用 TensorFlow Lite 進行優(yōu)化工作。谷歌和 Arm 聯(lián)手優(yōu)化 Arm 處理器架構上的 TensorFlow，以便在功率受限和成本敏感的嵌入式設備上實現(xiàn)機器學習。