機(jī)器學(xué)習(xí) (ML) 在服務(wù)器和移動(dòng)應(yīng)用中已經(jīng)風(fēng)靡多年，現(xiàn)在這種趨勢(shì)已蔓延到邊緣設(shè)備，并且變得突出。由于邊緣設(shè)備需要節(jié)能，因此開(kāi)發(fā)人員需要學(xué)習(xí)和了解如何將ML模型部署到基于微控制器的系統(tǒng)中。

在微控制器上運(yùn)行的ML模型通常被稱為tinyML。然而，將模型部署到微控制器并非易事，但它正在變得越來(lái)越容易，沒(méi)有經(jīng)過(guò)任何專業(yè)培訓(xùn)的開(kāi)發(fā)人員也能在規(guī)定時(shí)間完成部署。

本文探討了嵌入式環(huán)境開(kāi)發(fā)人員如何通過(guò)STMicroelectronics的STM32微控制器開(kāi)始使用ML。為此，文中展示了如何通過(guò)?X-CUBE-AI?將TensorFlow Lite for Microcontrollers模型轉(zhuǎn)換用于STM32CubeIDE，來(lái)創(chuàng)建“Hello World”應(yīng)用。

tinyML用例介紹

tinyML是一個(gè)不斷發(fā)展的領(lǐng)域，它將ML功能整合到微控制器等資源和功耗受限的設(shè)備中，通常采用深度神經(jīng)網(wǎng)絡(luò)。然后，這些微控制器設(shè)備可以運(yùn)行ML模型，在邊緣進(jìn)行有價(jià)值的工作。以下幾個(gè)用例中的tinyML非常值得關(guān)注。

第一個(gè)用例常見(jiàn)于許多移動(dòng)設(shè)備和家庭自動(dòng)化設(shè)備，即關(guān)鍵詞識(shí)別。通過(guò)關(guān)鍵詞識(shí)別，嵌入式設(shè)備可以使用麥克風(fēng)捕獲語(yǔ)音并檢測(cè)預(yù)先訓(xùn)練的關(guān)鍵詞。tinyML模型使用表示語(yǔ)音的時(shí)間序列輸入，將其轉(zhuǎn)換為語(yǔ)音特征，通常為頻譜圖，其中包含隨時(shí)間變化的頻率信息。然后，將頻譜圖輸入經(jīng)過(guò)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)，以檢測(cè)特定的字詞，結(jié)果就是檢測(cè)到特定字詞的概率。圖1顯示了這個(gè)過(guò)程的示例。

圖1：關(guān)鍵詞識(shí)別是tinyML的有趣用例。輸入的語(yǔ)音被轉(zhuǎn)換為頻譜圖，然后輸入經(jīng)過(guò)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)，以確定是否有預(yù)先訓(xùn)練的字詞。（圖片來(lái)源：Arm）

許多嵌入式環(huán)境開(kāi)發(fā)人員感興趣的另一個(gè)tinyML用例為圖像識(shí)別。微控制器從攝像頭捕獲圖像，然后將其輸入預(yù)先訓(xùn)練的模型。模型可以辨別圖中的內(nèi)容。例如，模型可以確定是否有貓、狗或者魚(yú)等等。圖像識(shí)別用于邊緣的一個(gè)很好的例子是視頻門鈴。視頻門鈴?fù)ǔ？梢詸z測(cè)門口是否有人，或者是否有放下的包裹。 最后一個(gè)非常常見(jiàn)的用例是用tinyML進(jìn)行預(yù)見(jiàn)性維護(hù)。預(yù)見(jiàn)性維護(hù)使用ML基于異常檢測(cè)、分類算法和預(yù)測(cè)模型來(lái)預(yù)測(cè)設(shè)備狀態(tài)。同樣，從HVAC系統(tǒng)到工廠車間設(shè)備，應(yīng)用非常廣泛。 盡管上述三個(gè)用例是目前常見(jiàn)的tinyML，但開(kāi)發(fā)人員無(wú)疑還可以找到更多潛在的用例。以下是相關(guān)應(yīng)用的列表：

手勢(shì)分類

異常檢測(cè)

模擬量表讀取器

指導(dǎo)和控制 (GNC)

包裝檢測(cè)

無(wú)論哪個(gè)用例，開(kāi)始熟悉tinyML的最好方法是使用“Hello World”應(yīng)用，它可以幫助開(kāi)發(fā)人員學(xué)習(xí)和理解實(shí)現(xiàn)并運(yùn)行一個(gè)最基礎(chǔ)的系統(tǒng)所遵循的基本流程。在STM32微控制器上運(yùn)行tinyML模型，有5個(gè)必要步驟：

捕獲數(shù)據(jù)

標(biāo)記數(shù)據(jù)

訓(xùn)練神經(jīng)網(wǎng)絡(luò)

轉(zhuǎn)換模型

在微控制器上運(yùn)行模型

捕獲、標(biāo)記和訓(xùn)練“Hello World”模型

關(guān)于捕獲和標(biāo)記用于訓(xùn)練模型所需的數(shù)據(jù)，開(kāi)發(fā)人員通常有許多選擇。首先，有大量的線上訓(xùn)練數(shù)據(jù)庫(kù)。開(kāi)發(fā)人員可以搜索他人收集和標(biāo)記的數(shù)據(jù)。例如，對(duì)于基本的圖像檢測(cè)，有CIFAR-10或ImageNet。如需訓(xùn)練模型來(lái)檢測(cè)照片中的微笑，也有一個(gè)圖像集。從在線數(shù)據(jù)存儲(chǔ)庫(kù)開(kāi)始顯然是不錯(cuò)的選擇。

如果所需的數(shù)據(jù)尚未在互聯(lián)網(wǎng)上公開(kāi)，開(kāi)發(fā)人員也可以生成自己的數(shù)據(jù)。可以使用Matlab或其他工具來(lái)生成數(shù)據(jù)集。如果不能自動(dòng)生成數(shù)據(jù)，也可以手動(dòng)完成。最后，如果覺(jué)得這些都太耗時(shí)，也可在互聯(lián)網(wǎng)上購(gòu)買數(shù)據(jù)集。收集數(shù)據(jù)往往是最令人興奮和有趣的選擇，但也最費(fèi)事。

這里探討的“Hello World”示例展示了如何訓(xùn)練模型來(lái)生成正弦波并將其部署到STM32上。這個(gè)示例由Pete Warden和Daniel Situnayake整理，當(dāng)時(shí)他們?cè)诠雀栝_(kāi)展TensorFlow Litefor Microcontrollers工作。這樣一來(lái)，工作變得更容易，因?yàn)樗麄円呀?jīng)整理出了簡(jiǎn)單的捕獲、標(biāo)記和訓(xùn)練模型的公開(kāi)教程?？梢栽贕ithub上找到（點(diǎn)擊此處）；打開(kāi)鏈接后，開(kāi)發(fā)人員應(yīng)點(diǎn)擊“Run in Google Colab”（在Google Colab中運(yùn)行）按鈕。Google Colab是Google Collaboratory的簡(jiǎn)稱，它允許開(kāi)發(fā)人員在瀏覽器中編寫(xiě)和執(zhí)行Python，無(wú)需配置，并提供對(duì)Google GPU的免費(fèi)訪問(wèn)。

瀏覽訓(xùn)練示例將輸出兩個(gè)不同的模型文件；一個(gè)是為微控制器量化的model.tflite TensorFlow模型，一個(gè)是沒(méi)有量化的model_no_quant.tflite模型。量化可以表明如何以數(shù)字方式存儲(chǔ)模型的激活和偏置。量化后可以得到更小的模型，更適合于微控制器。好奇的讀者可以在圖2中查看訓(xùn)練過(guò)的模型結(jié)果與實(shí)際正弦波結(jié)果的對(duì)比。模型的輸出以紅色顯示。正弦波輸出并不完美，但對(duì)“Hello World”程序而言，其效果已經(jīng)很好了。

圖2：TensorFlow模型正弦波預(yù)測(cè)與實(shí)際值的對(duì)比。（圖片來(lái)源：BeningoEmbedded Group）

選擇開(kāi)發(fā)板

在研究如何轉(zhuǎn)換TensorFlow模型以便在微控制器上運(yùn)行之前，需要選擇該模型中部署的微控制器。本文將重點(diǎn)介紹STM32微控制器，因?yàn)镾TMicroelectronics公司有許多tinyML/ML工具，可以很好地轉(zhuǎn)換和運(yùn)行模型。此外，STMicroelectronics有多種與其ML工具兼容的元器件（圖3）。

圖3：圖示為STMicroelectronics AI生態(tài)系統(tǒng)目前支持的微控制器和微處理器單元(MPU)。（圖片來(lái)源：STMicroelectronics）

如果辦公室里有這樣一塊開(kāi)發(fā)板，就非常適合啟動(dòng)和運(yùn)行“HelloWorld”應(yīng)用。然而，如果對(duì)本例之外的應(yīng)用感興趣，想要了解手勢(shì)控制或關(guān)鍵詞識(shí)別，可以選擇STM32 B-L4S5I-IOT01A開(kāi)發(fā)套件物聯(lián)網(wǎng)節(jié)點(diǎn)（圖4）。

該開(kāi)發(fā)板帶有STM32L4+系列Arm Cortex-M4處理器。該處理器有2MB閃存和640KB RAM，為tinyML模型提供了充足的空間。該模塊還帶有STMicroelectronics的MP34DT01微機(jī)電系統(tǒng) (MEMS) 麥克風(fēng)，可用于關(guān)鍵詞識(shí)別的應(yīng)用開(kāi)發(fā)，適用于tinyML用例實(shí)驗(yàn)。此外，同樣來(lái)自STMicroelectronics的板載LIS3MDLTR三軸加速計(jì)，可用于基于tinyML的手勢(shì)檢測(cè)。

圖4：STM32 B-L4S5I-IOT01A開(kāi)發(fā)套件物聯(lián)網(wǎng)節(jié)點(diǎn)搭載Arm Cortex-M4處理器、MEMS麥克風(fēng)和三軸加速計(jì)，是適應(yīng)性tinyML實(shí)驗(yàn)平臺(tái)。（圖片來(lái)源：STMicroelectronics）

使用STM32Cube.AI轉(zhuǎn)換和運(yùn)行TensorFlow Lite模型

憑借可以運(yùn)行tinyML模型的開(kāi)發(fā)板，開(kāi)發(fā)人員現(xiàn)在可以開(kāi)始對(duì)TensorFlow Lite模型進(jìn)行轉(zhuǎn)換，以便在微控制器上運(yùn)行。TensorFlowLite模型可以直接在微控制器上運(yùn)行，但需要一個(gè)運(yùn)行時(shí)環(huán)境來(lái)處理它。

運(yùn)行模型時(shí)，需要執(zhí)行一系列的功能。這些功能首先收集傳感器數(shù)據(jù)，然后篩選，提取必要特征，并反饋給模型。該模型輸出結(jié)果，然后對(duì)結(jié)果進(jìn)一步篩選，通常還會(huì)再進(jìn)行一些操作。圖5顯示了該過(guò)程的概況。

圖5：數(shù)據(jù)如何從傳感器流向運(yùn)行時(shí)，再到tinyML應(yīng)用的輸出。（圖片來(lái)源：Beningo Embedded Group）

STM32CubeMx的X-CUBE-AI插件提供了解釋TensorFlow Lite模型的運(yùn)行時(shí)環(huán)境，并提供了開(kāi)發(fā)人員可以利用的替代運(yùn)行時(shí)和轉(zhuǎn)換工具。X-CUBE-AI插件在項(xiàng)目中默認(rèn)不啟用。然而，在創(chuàng)建新項(xiàng)目并初始化電路板后，在SoftwarePacks-> Select Components（軟件包-> 選擇組件）下，有一個(gè)啟用AI運(yùn)行時(shí)的選項(xiàng)。這里有幾個(gè)選項(xiàng)；確保本例中使用的是Application模板，如圖6所示。

圖6：X-CUBE-AI插件需要使用本例的應(yīng)用模板來(lái)啟用。（圖片來(lái)源：BeningoEmbedded Group）

啟用X-CUBE-AI后，STMicroelectronics X-CUBE-AI類別將出現(xiàn)在工具鏈中。點(diǎn)擊該類別，開(kāi)發(fā)人員能選擇自己創(chuàng)建的模型文件并設(shè)置模型參數(shù)，如圖7所示?？赏ㄟ^(guò)分析按鈕對(duì)模型進(jìn)行分析，并為開(kāi)發(fā)人員提供RAM、ROM和執(zhí)行周期信息。強(qiáng)烈建議開(kāi)發(fā)人員比較Keras和TFLite模型選項(xiàng)。在較小的正弦波模型示例中，沒(méi)有顯著差異，但卻可以發(fā)現(xiàn)其中的區(qū)別。點(diǎn)擊“Generate code”（生成代碼）可生成該項(xiàng)目。

圖7：分析按鈕為開(kāi)發(fā)人員提供RAM、ROM和執(zhí)行周期信息。（圖片來(lái)源：Beningo Embedded Group）

代碼生成器將初始化項(xiàng)目，并為tinyML模型構(gòu)建運(yùn)行時(shí)環(huán)境。但默認(rèn)情況下，不會(huì)為模型提供輸入。開(kāi)發(fā)人員需要添加代碼，為模型提供輸入值 — x值，模型將解釋該值并生成正弦y值。如圖8所示，需要在acquisition_and_process_data和post_process函數(shù)中增加幾段代碼。

圖8：所示代碼將連接偽輸入傳感器值到正弦波模型。（圖片來(lái)源：Beningo Embedded Group）

此時(shí)，本例運(yùn)行就緒。注意：添加一些printf語(yǔ)句來(lái)獲取模型輸出，以便快速驗(yàn)證?？焖倬幾g和部署能讓“Hello World”tinyML 模型運(yùn)行。獲取整個(gè)周期的模型輸出得到圖9所示的正弦波。它并不完美，但對(duì)于首個(gè)tinyML應(yīng)用來(lái)說(shuō)非常優(yōu)秀。由此，開(kāi)發(fā)人員可以將輸出與脈沖寬度調(diào)制器 (PWM) 聯(lián)結(jié)起來(lái)，并產(chǎn)生正弦波。

圖9：在 STM32上運(yùn)行時(shí)的“Hello World”正弦波模型輸出。（圖片來(lái)源：Beningo Embedded Group）

嵌入式系統(tǒng)上的ML技巧和竅門

開(kāi)發(fā)人員若要在基于微控制器的系統(tǒng)上開(kāi)始使用ML，需要做相當(dāng)多的工作，才能讓自己的首個(gè)tinyML應(yīng)用運(yùn)行起來(lái)。然而，記住幾個(gè)“技巧和竅門”，可以簡(jiǎn)化和加快其開(kāi)發(fā)：

瀏覽TensorFlow Lite forMicrocontrollers的“Hello World”示例，包括Google Colab文件?；c(diǎn)兒時(shí)間調(diào)整參數(shù)，了解這些參數(shù)對(duì)經(jīng)過(guò)訓(xùn)練的模型的影響。

在微控制器應(yīng)用中使用量化模型。量化模型經(jīng)過(guò)壓縮，可以使用uint8_t而非32位浮點(diǎn)數(shù)。因此，該模型更小，執(zhí)行速度更快。

了解TensorFlow Lite forMicrocontrollers資源庫(kù)中的其他示例。其他示例包括手勢(shì)檢測(cè)和關(guān)鍵詞檢測(cè)。

以“Hello World”為例，將模型輸出連接到PWM和低通濾波器上，以查看產(chǎn)生的正弦波。執(zhí)行運(yùn)行時(shí)實(shí)驗(yàn)，增加和減少正弦波頻率。

選擇包括“額外”傳感器的開(kāi)發(fā)板，以便嘗試廣泛的ML應(yīng)用。

盡管收集數(shù)據(jù)很有趣，但一般來(lái)說(shuō)，購(gòu)買或使用開(kāi)源數(shù)據(jù)庫(kù)來(lái)訓(xùn)練模型更容易。

開(kāi)發(fā)人員遵循這些“技巧和竅門”，可以在確保應(yīng)用安全的同時(shí)節(jié)省更多的時(shí)間并省去更多的麻煩。

本文小結(jié)

機(jī)器學(xué)習(xí)已經(jīng)蔓延至網(wǎng)絡(luò)邊緣，而基于資源受限微控制器的系統(tǒng)是其主要目標(biāo)。最新的工具可以轉(zhuǎn)換和優(yōu)化機(jī)器學(xué)習(xí)模型，以在實(shí)時(shí)系統(tǒng)上運(yùn)行。如圖所示，在STM32開(kāi)發(fā)板上實(shí)現(xiàn)和運(yùn)行模型相對(duì)容易，但也會(huì)涉及復(fù)雜性問(wèn)題。雖然只探討了產(chǎn)生正弦波的簡(jiǎn)單模型，但也可以實(shí)現(xiàn)更復(fù)雜的模型，如手勢(shì)檢測(cè)和關(guān)鍵詞識(shí)別。