有些研究課題是為了回答理論問題。有些研究課題是為了解決研究人員自己的問題。伊斯坦布爾理工大學(xué)的人工智能和智能系統(tǒng)實(shí)驗(yàn)室主任、控制和自動(dòng)化工程教授 Tufan Kumbasar 的研究就屬于后一種情況。

控制和自動(dòng)化工程師經(jīng)常使用反饋控制架構(gòu) (FCA) 來設(shè)計(jì)閉環(huán)控制，目的是管理或調(diào)節(jié)系統(tǒng)的行為以實(shí)現(xiàn)預(yù)期的結(jié)果。系統(tǒng)會(huì)反饋當(dāng)前狀態(tài)并將其與期望狀態(tài)進(jìn)行比較，然后系統(tǒng)進(jìn)行調(diào)整以保持期望狀態(tài)。這種類型的控制系統(tǒng)用于設(shè)置汽車的巡航控制、調(diào)節(jié)加熱系統(tǒng)和管理工廠。

通常，講授控制理論的教授會(huì)在白板上繪制 FCA。為了展示和分析系統(tǒng)的動(dòng)態(tài)行為（即，它在各種輸入下的行為），教授會(huì)在模塊圖旁邊繪圖。但這需要時(shí)間，而且每次更改 FCA 后都要重新繪圖。解讀這些繪圖可能也很困難。

FCA 白板繪圖示例。（圖片所有權(quán)：伊斯坦布爾理工大學(xué)）“學(xué)生面臨的主要挑戰(zhàn)是識(shí)別我的板書和我糟糕的繪圖，它們根本不成比例，”Kumbasar說?！八麄兒茈y理解這種圖。”

一種替代方法是在 MATLAB和 Simulink 等科學(xué)計(jì)算軟件中重新創(chuàng)建FCA，并將計(jì)算出的繪圖投影到屏幕上?！癕ATLAB 有很好的可視化能力，”Kumbasar 說?！钡谡n堂上編碼需要花費(fèi)額外的時(shí)間和精力。”

然后，Kumbasar 想到了應(yīng)用人工智能 (AI) 來幫助控制系統(tǒng)課堂上的教學(xué)。

“初衷有點(diǎn)自私，”他說?！爱?dāng)時(shí)我擔(dān)任學(xué)院副院長(zhǎng)，忙于許多行政工作。我同時(shí)承擔(dān)部分教學(xué)工作。有一天，我筋疲力盡，告訴我的研究生，我真的很累。我的教學(xué)要么都在計(jì)算機(jī)上完成，要么都在白板上完成?！?/p>

然后，他找到正在積極合作研究深度學(xué)習(xí)方法的研究生 Dorukhan Erdem 和 AykutBeke?！拔艺f’Dorukhan，既然你們?cè)谝黄鹧芯啃路f的結(jié)構(gòu)。為我創(chuàng)建一個(gè)應(yīng)用程序怎么樣？我就當(dāng)你們的實(shí)驗(yàn)小白鼠?！?/p>

Kumbasar教授設(shè)想的應(yīng)用程序是一個(gè)深度學(xué)習(xí)系統(tǒng)，它可以拍攝白板的照片并在 MATLAB 中自動(dòng)重新創(chuàng)建 FCA。這種想法在 MathWorks 框架內(nèi)是可行的，其中像Simulink 這樣的控制工具與基于學(xué)科的工具箱（如 Deep Learning Toolbox 和 Computer VisionToolbox）在相同的環(huán)境中工作。

▼使用深度學(xué)習(xí)將白板轉(zhuǎn)換為模型

甘作實(shí)驗(yàn)小白鼠意味著需要繪制很多 FCA。Erdem 對(duì)這些繪圖進(jìn)行拍攝并標(biāo)注，以便計(jì)算機(jī)基于它們進(jìn)行學(xué)習(xí)。五個(gè)院系的教師為六種 FCA 中的每一種至少繪制 10 個(gè)模塊圖，總共得到 306 張圖像。教師在不同光照條件下繪制草圖，使這個(gè)挑戰(zhàn)更具有現(xiàn)實(shí)意義。然后，Erdem 和 Beke 手動(dòng)標(biāo)注所有模塊和其中的符號(hào)。在訓(xùn)練期間，深度學(xué)習(xí)模型會(huì)猜測(cè)這些標(biāo)簽，并在不正確時(shí)調(diào)整其內(nèi)部參數(shù)。

最終的應(yīng)用程序流程發(fā)表在《IEEE Access》期刊上，包括五個(gè)步驟。

將白板草圖轉(zhuǎn)換為代碼的步驟圖。（圖片所有權(quán)：伊斯坦布爾理工大學(xué)）

首先是識(shí)別草圖與六種架構(gòu)類型中的哪一種最匹配。Kumbasar 的團(tuán)隊(duì)使用了一種稱為ResNet-50 的預(yù)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)，它使用 50 個(gè)網(wǎng)絡(luò)層和一些跳過中間層的長(zhǎng)距離連接，從而提高性能。

306張圖像對(duì)于訓(xùn)練神經(jīng)網(wǎng)絡(luò)來說并不算多，尤其是這么大的神經(jīng)網(wǎng)絡(luò)，因此團(tuán)隊(duì)采用了兩個(gè)技巧。首先是一種稱為遷移學(xué)習(xí)的做法。他們使用預(yù)訓(xùn)練的 ResNet-50網(wǎng)絡(luò)（該網(wǎng)絡(luò)基于成千上萬張日常物品的照片進(jìn)行訓(xùn)練）并替換了網(wǎng)絡(luò)的最終層，從而僅基于他們自己的照片訓(xùn)練該層。第二個(gè)技巧是數(shù)據(jù)增強(qiáng)，該團(tuán)隊(duì)通過創(chuàng)建經(jīng)過稍微旋轉(zhuǎn)或縮放的版本來增加圖像的數(shù)量。經(jīng)過訓(xùn)練后，他們的流程的第一個(gè)步驟在對(duì)手寫反饋控制架構(gòu)進(jìn)行分類方面達(dá)到了89% 的準(zhǔn)確度。

流程中的第二個(gè)步驟是檢測(cè)模塊。程序?qū)D像轉(zhuǎn)換為二值圖像- 在黑色背景上顯示白線，沒有其他顏色或灰色。然后，它去除了字符和噪聲。接下來，它填充封閉的形狀，并將模塊與由模塊之間的反饋回路創(chuàng)建的封閉形狀分離開來。

第三個(gè)步驟是，流程識(shí)別在模塊中書寫的字符，包括數(shù)字和算術(shù)運(yùn)算符。它將圖像二值化，圍繞每個(gè)字符進(jìn)行裁剪，并應(yīng)用基于3920 個(gè)圖像進(jìn)行訓(xùn)練的另一個(gè)神經(jīng)網(wǎng)絡(luò)。

遇到的一個(gè)困難是區(qū)分“5”和“s”。Kumbasar 說，“我寫的 5 和 s太相似了。Dorukhan 總是抱怨我的書寫很糟糕。控制工程師憑直覺會(huì)認(rèn)為我不會(huì)寫 55+1，寫的應(yīng)該是 5s+1。但 AI系統(tǒng)不具備這種直覺。”盡管如此，此階段的準(zhǔn)確率達(dá)到了 96%。

第四個(gè)步驟是，應(yīng)用程序?qū)⒆址M合成 MATLAB函數(shù)。如果一個(gè)字符位于另一個(gè)字符的右上方，系統(tǒng)稱之為指數(shù)，并插入“^”。如果一條水平線的上下都有字符，系統(tǒng)將其視為除法而不是減法。

用深度學(xué)習(xí)分割和區(qū)分字符。（圖片所有權(quán)：伊斯坦布爾理工大學(xué)）

在第五個(gè)步驟中，工作流將這些函數(shù)放到正確的模塊中，在 MATLAB 中將它們連接成一個(gè)完整的FCA。它還基于團(tuán)隊(duì)創(chuàng)建的模板創(chuàng)建一個(gè) Simulink 圖。

Erdem表示，對(duì)于使用 ResNet-50 這樣的神經(jīng)網(wǎng)絡(luò)進(jìn)行深度學(xué)習(xí)來說，MATLAB 是有用的解決方案。Kumbasar 補(bǔ)充說，通過 MATLAB可以方便地進(jìn)行流程步驟之間的集成。他認(rèn)為，“在MATLAB 中，將數(shù)據(jù)數(shù)組和圖像從一個(gè)工具箱發(fā)送到另一個(gè)工具箱或從同一個(gè)工作區(qū)中讀取數(shù)據(jù)是很容易的?！?/p>

▼從草圖開始“當(dāng)這個(gè) FCA 應(yīng)用程序?qū)崟r(shí)工作時(shí)，我感到很驚訝，”Kumbasar 說?！拔覀?cè)诓煌庹諚l件下測(cè)試整個(gè)流程，并混合了各人的書寫，可以說是盡一切可能增加了難度。

各個(gè)單獨(dú)部分都能良好地工作。Kumbasar 補(bǔ)充說，“但一旦您連接整個(gè)流程，如果一個(gè)部分出錯(cuò)，另一個(gè)也會(huì)受到影響。因此，誤差始終會(huì)在從輸入到輸出的過程中放大。”在這里，一切都在按部就班進(jìn)行?！癉orukhan說這是有趣的工程，讓他充滿動(dòng)力。他找了很多超高難度的測(cè)試圖像?！?/p>

整個(gè)系統(tǒng)的成功程度很難度量，該團(tuán)隊(duì)尚未考察學(xué)生在實(shí)際教學(xué)中對(duì)該系統(tǒng)的體驗(yàn)，新冠疫情就出現(xiàn)了。他們?cè)赮ouTube上發(fā)布了一段視頻，視頻中教師在白板上繪制FCA。片刻后，相同的 FCA 出現(xiàn)在白板上方的 Simulink 投影中，隨后是展示其行為的繪圖。

提供白板繪圖的教授之一 ?lker üsto?lu 說，他對(duì)此印象深刻。如果該應(yīng)用程序作為產(chǎn)品推出，他會(huì)使用它?！八鼮榻虒W(xué)提供了便利?！?/p>

FCA 白板繪圖實(shí)時(shí)轉(zhuǎn)換為 Simulink。（視頻所有權(quán)：伊斯坦布爾理工大學(xué)）▼進(jìn)入理論領(lǐng)域不管該系統(tǒng)多么出色，仍有部分課堂不準(zhǔn)備用 MATLAB 轉(zhuǎn)換白板 FCA。Erdem 對(duì)該應(yīng)用程序進(jìn)行了優(yōu)化，例如將 ResNet 限制在 50 層，使其可以僅在一個(gè) GPU 上實(shí)時(shí)運(yùn)行，但它仍需要一臺(tái)高分辨率相機(jī)和一臺(tái)具有GPU的筆記本電腦，而許多課堂并未配備這些設(shè)備。

“科學(xué)研究或者是出于好奇，或者是出于滿足需求。這項(xiàng)研究是滿足我的個(gè)人需求?！薄?Tufan Kumbasar，伊斯坦布爾理工大學(xué)人工智能和智能系統(tǒng)實(shí)驗(yàn)主任、控制和自動(dòng)化工程教授

借助深度學(xué)習(xí)，應(yīng)用程序能夠?qū)⒉煌L(fēng)格的書寫轉(zhuǎn)換為 MATLAB 函數(shù)，并將函數(shù)放在正確的模塊中。（圖片所有權(quán)：伊斯坦布爾理工大學(xué)）

與此同時(shí)，研究人員正在考慮進(jìn)行幾項(xiàng)改進(jìn)。Erdem 希望該程序能夠處理六種以上的架構(gòu)。當(dāng)字符接觸到周圍的框時(shí)，系統(tǒng)也會(huì)難以識(shí)別，因此 Kumbasar 增加了置信水平，使系統(tǒng)能夠指示其標(biāo)簽的確定性。

集成模糊邏輯也是一個(gè)優(yōu)先事項(xiàng)。“在模糊邏輯中，您不會(huì)說超過一定身高的每個(gè)人都是高個(gè)子，而其他人都不是，”Kumbasar 解釋道。“人們可能會(huì)說個(gè)子有點(diǎn)高，從而導(dǎo)致后續(xù)更微妙的決定。在 MATLAB 中很容易建立模糊層，模糊層將其與神經(jīng)網(wǎng)絡(luò)結(jié)合使用，或用于組成完整的模糊系統(tǒng)。”

如果該流程真的成為一種產(chǎn)品，其應(yīng)用范圍可能不僅限于課堂上。教授可能會(huì)用它將學(xué)生的手寫試卷或課下作業(yè)轉(zhuǎn)換為 MATLAB 模型來評(píng)分。學(xué)生可能用它將自己的課堂筆記數(shù)字化，并在 MATLAB 中使用 FCA。Kumbasar 說他想在研究中做同樣的事情。MathWorks 的工程師 Marco Rossi 指出，許多學(xué)生和研究人員更喜歡用筆和紙來分析問題，然后將手寫內(nèi)容放入 Simulink 中來生成 C 代碼。這種習(xí)慣可能源于控制理論的教學(xué)方式。但有了類似 Kumbasar 推出的這種工具，可能會(huì)促使人們?cè)谠O(shè)計(jì)過程中更早地從紙上轉(zhuǎn)移到屏幕上，從而更輕松地使用模塊。

除了解決他自己的問題和推進(jìn)到理論研究之外，Kumbasar 還提到此項(xiàng)目的另一個(gè)好處?！斑@項(xiàng)研究也能很好地激勵(lì)本科生，”他說。讓他們認(rèn)識(shí)到工程靈感可以來自每天面對(duì)的難題?！翱茖W(xué)研究或者是出于好奇，或者是出于滿足需求?！盞umbasar 說。“這項(xiàng)研究滿足了我的個(gè)人需求。”

審核編輯：湯梓紅