之前介紹恩智浦基于MCXN系列帶有NPU的MCU產(chǎn)品開發(fā)了AFCI電弧檢測方案智能守護(hù)，安全無憂：恩智浦MCX N系列NPU電弧檢測技術(shù)解析，加快用戶產(chǎn)品開發(fā)流程。基于NPU的AFCI檢測方法無論在檢測線路距離還是檢測靈敏度都比傳統(tǒng)方案具有一定優(yōu)勢。

本文著重介紹恩智浦AFCI工具鏈的操作方法，加快您的上手速度。首先看硬件連接：

硬件連接

拿到開發(fā)套件，底板為如上圖所示的FRDM-MCXN947開發(fā)板，首先通過上圖橙色標(biāo)注的USB口使用板載的MCU-Link燒寫MCU固件到開發(fā)板，在程序正常運(yùn)行時(shí)，此接口同時(shí)具備虛擬串口的輸出功能?？梢允褂么诠ぞ卟榭碅FCI檢測輸出結(jié)果，配置如下圖所示：

接著，將AFCI擴(kuò)展板插入Arduino擴(kuò)展口,如上圖所示，注意加入方向。板子上的跳線帽可保持默認(rèn)狀態(tài)。將CT傳感器接入AFCI擴(kuò)展板的P1或者P2接口（紅框標(biāo)注最左邊綠色插座）。硬件連接完畢以后，就可以進(jìn)行接下來的步驟了。

接下來我們看如何運(yùn)行軟件工具：

運(yùn)行

程序分發(fā)時(shí)為壓縮包，其中應(yīng)包含“_internal”，“models”與“afci.exe”三個(gè)文件（文件夾），將它們解壓在同一位置，點(diǎn)擊運(yùn)行“afci.exe”即可?！盻internal”文件夾包含程序運(yùn)行時(shí)所需要的各種運(yùn)行庫，請不要對其進(jìn)行任何修改；“models”文件夾包含了可以使用的模型結(jié)構(gòu)；

運(yùn)行“afci.exe”來打開應(yīng)用，程序在運(yùn)行過程中占用8050與8051端口，請確保這兩個(gè)端口沒有被其他應(yīng)用占用。應(yīng)用打開時(shí)需要加載深度學(xué)習(xí)相關(guān)運(yùn)行庫，取決于環(huán)境配置因素，打開速度可能較慢。

在第一次運(yùn)行應(yīng)用時(shí)，會自動(dòng)在同一目錄下創(chuàng)建“data”文件夾，該文件夾用來保存程序運(yùn)行中收集到的數(shù)據(jù)、手動(dòng)標(biāo)注的收據(jù)與訓(xùn)練后的模型。

訓(xùn)練并部署一個(gè)完整的電弧檢測模型共分為5個(gè)步驟，分別對應(yīng)應(yīng)用側(cè)欄的5個(gè)頁面。接下來會詳細(xì)介紹各個(gè)功能。

1. 收集數(shù)據(jù) – Record

2. 標(biāo)注數(shù)據(jù) - Dataset

3. 訓(xùn)練模型 - Train

4. 測試模型 - Test

5. 部署至MCU – Deploy

收集數(shù)據(jù)

收集數(shù)據(jù)的相關(guān)功能在“Record”頁面下，該頁面也是應(yīng)用默認(rèn)打開的功能。第一次打開后頁面顯示如下圖所示，主要分為四個(gè)功能區(qū)。

為了開始收集數(shù)據(jù)，首先請將開發(fā)板燒錄正確固件，并按照第一章中所示連接方式，將燒錄開發(fā)板連接至PC。正確連接后刷新頁面，可以在錄制選項(xiàng)區(qū)域中的“Port”選項(xiàng)中可以看到正確的串口設(shè)備，在圖示例子中為”Virtual Com Port (COM58)”。并在左側(cè)的Port一欄中選擇正確的USB設(shè)備與錄制時(shí)間，如果在選項(xiàng)中沒有發(fā)現(xiàn)設(shè)備，請嘗試刷新頁面。在“Time”一欄中填入合適的時(shí)間，單位為毫秒。在例子中，選擇端口“Virtual Com Port (COM58)”，錄制時(shí)間填入10000，即10秒鐘。點(diǎn)擊“Start”開始錄制，在錄制完成前請不要重復(fù)操作設(shè)備。

錄制過程中，界面如下圖所示：

錄制完成后，界面會自動(dòng)刷新，展示錄制到數(shù)據(jù)的時(shí)域圖與頻域圖。該界面可分為上下兩個(gè)部分，上部分可以對展示的時(shí)域或頻域圖設(shè)置。共有6個(gè)設(shè)置： - Sample：設(shè)置原始數(shù)據(jù)的采樣間隔

- Offset：原始數(shù)據(jù)的偏移

- Scale：原始數(shù)據(jù)的縮放比例

- Length：頻譜圖分割長度

- Step：頻譜圖分割步進(jìn)

在時(shí)域圖中，原始數(shù)據(jù)首先通過“Sample”進(jìn)行采樣，然后通過“Offset”與“Scale”計(jì)算最終結(jié)果，(x-Offset) * Scale.

在頻域圖中，原始數(shù)據(jù)首先通過“Sample”進(jìn)行采樣，然后對數(shù)據(jù)以“Length”為長度、以“Step”為步進(jìn)進(jìn)行分割，對于每一段數(shù)據(jù)應(yīng)用海寧窗(hann)以減少截?cái)鄶?shù)據(jù)造成的頻譜泄露，然后使用連續(xù)傅里葉變換計(jì)算頻譜圖。

請注意，目前該工具并不支持自動(dòng)觸發(fā)相關(guān)功能，所以在實(shí)際錄制數(shù)據(jù)時(shí)，請調(diào)整錄制時(shí)間以配合拉弧發(fā)生設(shè)備或者實(shí)際系統(tǒng)，以使拉弧或者其他想要采集到的信號發(fā)生在錄制時(shí)間內(nèi)。如果對采集到的數(shù)據(jù)不滿意，可跳過保存步驟直接進(jìn)行下一次錄制。

對采集的數(shù)據(jù)滿意，可以進(jìn)行數(shù)據(jù)保存步驟，將本次測試數(shù)據(jù)保存到“data”文件夾下。保存功能共有三個(gè)選項(xiàng)：“Project”、“Name”、“Add Timestamp”。“Project”為項(xiàng)目名，采集到的數(shù)據(jù)、標(biāo)注與模型均保存在項(xiàng)目下，"Name"為本次錄制數(shù)據(jù)的名稱，勾選“Add Timestamp"會在保存文件的名字加上錄制時(shí)間尾綴。如果留空"Name"，請勾選"Add Timestamp"以保證保存文件名合理，建議將"Name"項(xiàng)填入合適的名稱，如"Arc""Noise"等，以便后續(xù)區(qū)分。在本例中，保存數(shù)據(jù)如下圖所示。

重復(fù)進(jìn)行上述步驟，在錄制到足夠多的數(shù)據(jù)后，可進(jìn)入標(biāo)注階段。

標(biāo)注數(shù)據(jù)

標(biāo)注數(shù)據(jù)的功能在“Dataset”頁面下。打開該頁面會自動(dòng)加載最近的項(xiàng)目與最近錄制的數(shù)據(jù)。如下圖所示。

可以在左側(cè)設(shè)置欄中選擇錄制好的數(shù)據(jù)，或隨應(yīng)用提供的測試數(shù)據(jù)，進(jìn)行標(biāo)注。在這我們選擇示例項(xiàng)目“example_project”。該項(xiàng)目內(nèi)置了24條數(shù)據(jù)，并對其中的部分?jǐn)?shù)據(jù)進(jìn)行了提前標(biāo)注，標(biāo)注好的數(shù)據(jù)會有“*”前綴，如下圖所示。

在該測試項(xiàng)目中，僅使用了單通道錄制數(shù)據(jù)，通道0中不包含任何信息，所以請使用通道1數(shù)據(jù)進(jìn)行標(biāo)注與訓(xùn)練。打開任意一條標(biāo)注好的數(shù)據(jù)，如下圖所示。

該條數(shù)據(jù)總時(shí)長5秒， 數(shù)據(jù)的前半部分，系統(tǒng)正常工作，在約1.5s后，系統(tǒng)出現(xiàn)電弧，直至約1.8s，系統(tǒng)停止工作。所以在右側(cè)Label選項(xiàng)中選擇“On”標(biāo)簽，并對應(yīng)頻譜圖進(jìn)行標(biāo)注，框選從開始到約1.5s結(jié)束；選擇“Arc”標(biāo)簽，框選約1.5s至1.8s區(qū)間。未被標(biāo)注的區(qū)間會自動(dòng)應(yīng)用“Off”標(biāo)簽。粗略標(biāo)注結(jié)束后，可以使用鼠標(biāo)滾輪對圖表進(jìn)行放大，同時(shí)在右側(cè)選中相應(yīng)的標(biāo)簽，鼠標(biāo)點(diǎn)擊要修改的標(biāo)注的邊界進(jìn)行拖動(dòng)，或點(diǎn)擊標(biāo)注區(qū)域?qū)?biāo)注進(jìn)行整體拖動(dòng)；如果對標(biāo)注不滿意，可以雙擊該標(biāo)注來刪除。請注意，所有對已有標(biāo)注的修改都應(yīng)該首先在右側(cè)選擇相應(yīng)類別，才可解鎖對應(yīng)類別標(biāo)注的修改功能。

標(biāo)注之間可以互相覆蓋，在生成數(shù)據(jù)集時(shí)，會優(yōu)先以“Arc”，“Noise”，“On”，“Off”的優(yōu)先級去覆蓋。

在標(biāo)注結(jié)束后點(diǎn)擊“Update”來把標(biāo)注結(jié)果保存至硬盤。任何標(biāo)注過的結(jié)果都會被用于后續(xù)訓(xùn)練，即使一條數(shù)據(jù)上沒有任何標(biāo)注（為標(biāo)注區(qū)域默認(rèn)為”O(jiān)FF“）。如果想將某條標(biāo)注過的數(shù)據(jù)刪除，點(diǎn)擊”Delete“以刪除該條數(shù)據(jù)上的全部標(biāo)注（包括默認(rèn)的”O(jiān)FF“），同時(shí)該條數(shù)據(jù)也不會進(jìn)入后續(xù)的訓(xùn)練流程。會進(jìn)入訓(xùn)練流程的數(shù)據(jù)在左側(cè)會有*前綴標(biāo)識。

模型訓(xùn)練

打開train標(biāo)簽頁，進(jìn)入訓(xùn)練頁面。在左側(cè)設(shè)置欄選擇合適的項(xiàng)目與模型，在例子中讓我們選擇“example_project”與“simple_fc”，如下圖所示。

界面右側(cè)有三個(gè)標(biāo)簽頁，分別為“dataset”，“model”，“train”，分別表示訓(xùn)練的三個(gè)步驟，請依次執(zhí)行。

首先是“dataset”，該標(biāo)簽頁用來根據(jù)前步驟錄制的數(shù)據(jù)與標(biāo)注的結(jié)果生成數(shù)據(jù)集。在該步驟中，程序會將擁有標(biāo)注的錄制數(shù)據(jù)進(jìn)行分段，并對每個(gè)分段進(jìn)行RFFT計(jì)算及一些后處理，并配合標(biāo)注信息為每段數(shù)據(jù)生成分類數(shù)據(jù)。

生成數(shù)據(jù)集共有4個(gè)選項(xiàng)，“Length”，“Step”，“To One-Hot”，“Add dimension for Conv Input”。其中“Length”與“Step”控制數(shù)據(jù)分段的長度與步進(jìn)，勾選“To One-Hot“會生成分類模型，反之則會生成預(yù)測模型，建議勾選。勾選”Adddimension for Conv Input“會為生成的數(shù)據(jù)增加維度，以便卷積模型進(jìn)行處理，建議勾選。在例子中，我們保持默認(rèn)，如下圖所示，點(diǎn)擊”Create dataset”創(chuàng)建數(shù)據(jù)集。在創(chuàng)建成功后，黃色的“No datasetbuilt”信息會變?yōu)槲覀儺?dāng)前構(gòu)建數(shù)據(jù)集的信息。

在構(gòu)建數(shù)據(jù)集后，可以切換到“model”標(biāo)簽頁創(chuàng)建模型，請確保在構(gòu)建數(shù)據(jù)集后再創(chuàng)建模型，模型需要數(shù)據(jù)集的輸入輸出信息才可以創(chuàng)建。

"simple_fc"模型有一個(gè)選項(xiàng)"Layers"，用來調(diào)整模型的層數(shù)，在保持默認(rèn)"32, 32"的情況下，點(diǎn)擊"Build model"來創(chuàng)建模型，創(chuàng)建成功后，模型未創(chuàng)建的警告會消失，同時(shí)展示模型的輸入輸出、模型層數(shù)信息，如下圖所示。

讓我們對“Layers”選項(xiàng)進(jìn)行修改，并重新構(gòu)建模型，模型的結(jié)構(gòu)也相應(yīng)出現(xiàn)變化，如下圖所示。以“simple_fc”模型的該選項(xiàng)為例，增加層數(shù)通常會使模型的大小增加、推理速度減慢、精度增加。

在模型創(chuàng)建后，切換到“train”標(biāo)簽頁來對進(jìn)行訓(xùn)練。訓(xùn)練共有如下四個(gè)選項(xiàng)，“Batch size”、“Epochs”、“Loss”、“LearningRate”。通過調(diào)整四個(gè)選項(xiàng)可以對訓(xùn)練效果進(jìn)行微調(diào)，通常來說保持默認(rèn)即可。在例子中，保持默認(rèn)選項(xiàng)點(diǎn)擊“Train”進(jìn)行訓(xùn)練。

進(jìn)行訓(xùn)練后，下方會出現(xiàn)訓(xùn)練的進(jìn)度條，與模型精度隨訓(xùn)練過程變化的折線圖，如下圖所示：

在訓(xùn)練完成后，點(diǎn)擊保存來保存當(dāng)前訓(xùn)練完成的模型，如下圖所示：

自定義模型

如果要實(shí)現(xiàn)一個(gè)自定義模型，需要實(shí)現(xiàn)以下接口：

1. get_model_options() -> dict

2. get_training_options() ->dict

3. build_model(input_shape,is_classification, num_classes, **kwargs)

上述三個(gè)接口中 get_model_options 得到的選項(xiàng)會用來調(diào)用 build_model，get_training_options 得到的選項(xiàng)會用來調(diào)用model.compile()。具體實(shí)現(xiàn)可以參考simple_fc.py.

import streamlit as st
import keras


def get_model_options():
    return dict()


def get_training_options():
    return dict()


def build_model(input_shape, is_classification, num_classes, **kwargs):
    inputs = keras.Input(input_shape)
    x = inputs
    x = keras.layers.Flatten()(x)
    x = keras.layers.Dense(num_classes)(x)
    x = keras.layers.Softmax()(x)
    outputs = x
    return keras.models.Model(inputs=inputs, outputs=outputs)

測試模型

選擇test頁面，即可進(jìn)行測試及量化。頁面內(nèi)容如下。右側(cè)共有四個(gè)標(biāo)簽頁，其功能分別是測試精度、轉(zhuǎn)換TfLite、轉(zhuǎn)換TfLite并量化、選擇錄制數(shù)據(jù)進(jìn)行測試。

其中前三個(gè)標(biāo)簽頁的主要功能是轉(zhuǎn)換模型并測試精度。其中重要的部分是轉(zhuǎn)換TfLite與量化TfLite，后續(xù)的步驟中需要將其轉(zhuǎn)換后的模型。

數(shù)字展示出來的精度并不直觀，為了更加直接的展示模型的能力與準(zhǔn)確度，請切換到“test record”標(biāo)簽頁來對前面步驟中錄制的數(shù)據(jù)進(jìn)行測試。頁面內(nèi)容如下圖所示:

其中模型是我們剛剛訓(xùn)練并保存的模型，選擇一條包含電弧的錄制數(shù)據(jù)，點(diǎn)擊“Evaluate”進(jìn)行評估：

圖中上半部分為該條數(shù)據(jù)的時(shí)域波形，下半部分為模型的推理概率圖?？梢钥吹綍r(shí)域波形中發(fā)生電弧的部分相對應(yīng)的概率也幾乎“Arc”標(biāo)識，可以將鼠標(biāo)懸浮在概率圖上查看某一時(shí)刻推理的具體概率值。

接下來可以勾選“Use Quantized Model”來使用量化模型進(jìn)行測試，通常來說，對模型進(jìn)行量化會提高推理速度、降低推理精度。使用量化模型的評估結(jié)果如下圖所示。可以看到在波形的后半部分概率有較大變換，但對電弧部分?jǐn)?shù)據(jù)并沒有太大影響。

部署至MCU

選擇“Deploy”來部署訓(xùn)練過的模型。同上一個(gè)步驟相同，請選擇合適的項(xiàng)目和模型進(jìn)行部署：

部署時(shí)共有四個(gè)選項(xiàng)，第一個(gè)選項(xiàng)應(yīng)選擇合適的端口，即MCU的USB接口。Address選項(xiàng)為模型部署的位置，默認(rèn)為0x100000，該選項(xiàng)應(yīng)配合MCU固件進(jìn)行修改，否則會影響MCU程序的正常運(yùn)行?！盜SP VID:PID”選項(xiàng)則是為了在電腦連接了多個(gè)開發(fā)板時(shí)指定其中一塊進(jìn)行更新，通常來說不用修改。勾選“Use NPU”可以將模型轉(zhuǎn)換為NPU專用的格式，使用NPU可以顯著加速推理過程，請注意只有量化后的模型可以使用NPU進(jìn)行加速。

如果在上一步驟中轉(zhuǎn)換過TfLite或者量化后的TfLite，則可以點(diǎn)擊下方相應(yīng)的選項(xiàng)，將模型燒錄至合適的位置。在此處以TfLite為例，在燒錄中會顯示當(dāng)前進(jìn)度，在燒錄結(jié)束后MCU會自動(dòng)reset。

在成功燒錄之后，可以打開串口工具觀察當(dāng)前的檢測結(jié)果，如果成功檢測到電弧，MCU端程序會通過串口打印字符串，并藍(lán)燈閃爍提醒。搭建成功！

END

恩智浦致力于打造安全的連接和基礎(chǔ)設(shè)施解決方案，為智慧生活保駕護(hù)航。