大家好，又到了和Time Series Studio見(jiàn)面的日子，上一期我們講到了“training”模塊，那么在訓(xùn)練中得到的眾多模型里，哪一個(gè)模型更能適用于用戶(hù)的需求呢？為了確定更可靠的用戶(hù)模型，這一期為大家?guī)?lái)“Emulation”模塊的介紹。

為什么需要仿真？

仿真是一項(xiàng)重要且創(chuàng)新的功能，它有助于：

在部署時(shí)驗(yàn)證 C/C++ 模型代碼的準(zhǔn)確性和可用性，因?yàn)榉抡鏁r(shí)使用相同的 C/C++ 模型代碼

驗(yàn)證和測(cè)試真實(shí)數(shù)據(jù)并檢查算法是否過(guò)擬合或準(zhǔn)確度是否符合預(yù)期

對(duì)每個(gè)算法模型進(jìn)行基準(zhǔn)測(cè)試，以選出最佳模型

對(duì)特定模型的準(zhǔn)確率統(tǒng)計(jì)進(jìn)行基準(zhǔn)測(cè)試，以便進(jìn)一步優(yōu)化

輕松找出從訓(xùn)練到生成庫(kù)的過(guò)程中可能出現(xiàn)的部署庫(kù)錯(cuò)誤

仿真支持哪些功能？

針對(duì)正常和異常數(shù)據(jù)集的異常檢測(cè)算法，具有真實(shí)的測(cè)試精度

針對(duì)不同類(lèi)別數(shù)據(jù)集的分類(lèi)算法，具有真實(shí)的測(cè)試精度

針對(duì)指定目標(biāo)數(shù)據(jù)集的回歸算法，具有真實(shí)的測(cè)試結(jié)果

根據(jù)用戶(hù)選擇測(cè)試所有的訓(xùn)練模型

可同時(shí)自動(dòng)測(cè)試多個(gè)模型

離線數(shù)據(jù)集文件導(dǎo)入

所有仿真模型的測(cè)試結(jié)果和狀態(tài)可視化，每個(gè)成功仿真的算法模型生成仿真報(bào)告

以圖形方式顯示每個(gè)測(cè)試文件的測(cè)試結(jié)果、每個(gè)標(biāo)簽/目標(biāo)的測(cè)試結(jié)果以及總體測(cè)試結(jié)果

使用命令行執(zhí)行仿真并輸出決策值、標(biāo)簽和基準(zhǔn)詳細(xì)信息

此外，命令行執(zhí)行仿真可以支持串口輸入數(shù)據(jù)和異常檢測(cè)任務(wù)中的“On-Device Learn”學(xué)習(xí)功能。

如何進(jìn)行仿真？

訓(xùn)練完成、生成部分訓(xùn)練模型后停止或暫停訓(xùn)練，然后切換到“Emulation”模塊。功能布局

仿真需要網(wǎng)絡(luò)支持，因?yàn)榉抡娴目蓤?zhí)行鏡像必須從云服務(wù)器動(dòng)態(tài)生成。

這是“Emulation”模塊的布局，顯示了它的運(yùn)行步驟(以異常檢測(cè)為例)。

步驟 1：選擇訓(xùn)練記錄，這些記錄里包含了“Training”部分生成的算法模型。

步驟 2：選中要測(cè)試的一個(gè)或多個(gè)模型的復(fù)選框。

步驟 3：?jiǎn)螕簟癗ew Emulation”按鍵進(jìn)入測(cè)試文件選擇窗口。

步驟 4：?jiǎn)螕簟癝elect”選擇正確的測(cè)試文件或與測(cè)試標(biāo)簽匹配的文件。確保不要弄亂它們。

步驟 5：為測(cè)試文件選擇正確的分隔符。

步驟6：?jiǎn)螕簟癝tart”，后端服務(wù)器檢查測(cè)試文件，下載仿真可執(zhí)行鏡像并運(yùn)行仿真以獲取測(cè)試結(jié)果?？赡苄枰却欢螘r(shí)間，具體取決于用戶(hù)的網(wǎng)絡(luò)和模型復(fù)雜度。用戶(hù)可以在此過(guò)程中隨時(shí)取消。

這是“Emulation”報(bào)告的布局。

仿真完成后，將出現(xiàn)完整的仿真報(bào)告。仿真報(bào)告包括每個(gè)模型的總體準(zhǔn)確率和仿真狀態(tài)，報(bào)告還包括基準(zhǔn)、混淆矩陣和每個(gè)文件的測(cè)試準(zhǔn)確率的圖形顯示。

如何下載每個(gè)模型的特定仿真報(bào)告？點(diǎn)擊報(bào)告欄中模型的文件圖標(biāo)，以文件格式生成仿真報(bào)告。點(diǎn)擊下載并將報(bào)告保存為指定路徑中的PDF文件。

如果模型仿真失敗，請(qǐng)單擊狀態(tài)列中模型的失敗圖標(biāo)以重試該模型的仿真。

溫馨提示，確保測(cè)試文件路徑中沒(méi)有特殊字符或除英文字母以外的其他語(yǔ)言，以防止文件讀取失敗。

什么樣的仿真報(bào)告才能滿(mǎn)足部署需要？

一個(gè)合理的部署仿真報(bào)告必須滿(mǎn)足以下要求:

整體訓(xùn)練準(zhǔn)確率與仿真準(zhǔn)確率匹配

準(zhǔn)確率結(jié)果符合應(yīng)用期望

混淆矩陣中的錯(cuò)誤分布與每個(gè)類(lèi)別的仿真準(zhǔn)確率匹配

比較訓(xùn)練和仿真基準(zhǔn)結(jié)果來(lái)決定是否需要重新進(jìn)行以下步驟：

重新收集和清洗數(shù)據(jù)？

重新定義適合目標(biāo)應(yīng)用的算法任務(wù)？

調(diào)整訓(xùn)練配置并重新訓(xùn)練以獲得更高的精度？

經(jīng)過(guò)本章的介紹，相信大家了解到仿真的重要性，也期待小伙伴們能夠得到令人滿(mǎn)意的算法模型！