TinyML 也是機器學(xué)習(xí)的一種，他的特點就是縮小深度學(xué)習(xí)網(wǎng)絡(luò)可以在微型硬件中使用，主要應(yīng)用在智能設(shè)備上。

超低功耗嵌入式設(shè)備正在“入侵”我們的世界，借助新的嵌入式機器學(xué)習(xí)框架，它們將進一步推動人工智能驅(qū)動的物聯(lián)網(wǎng)設(shè)備的普及。

FPGA一直以低功耗、可重構(gòu)的特點在各個領(lǐng)域內(nèi)應(yīng)用，同時也可以大大增加物聯(lián)網(wǎng)應(yīng)用環(huán)境，所以在FPGA上應(yīng)用TinyML是否是FPGA方便的最佳應(yīng)用？我們接下來分析一下TinyML的特點再來總結(jié)。

接下來讓我們翻譯這個行話：什么是 TinyML？而且，更重要的是 - 它可以（也不能）用于什么？

什么是 TinyML？

機器學(xué)習(xí)是一個流行詞，已經(jīng)存在了一段時間，有許多有用的應(yīng)用程序需要理解混沌數(shù)據(jù)，目前的應(yīng)用中它很少與硬件相關(guān)聯(lián)。通常，如果一定要與硬件那么通常通過云相關(guān)聯(lián)，而云通常與延遲、耗電和連接速度有關(guān)。

然而，在設(shè)備中應(yīng)用機器學(xué)習(xí)并不是什么新鮮事。幾年來，我們的大多數(shù)手機都內(nèi)置了某種神經(jīng)網(wǎng)絡(luò)。設(shè)備音樂識別，以及許多相機模式（如夜視和人像模式）只是依賴嵌入式深度學(xué)習(xí)的幾個例子。這些算法可以識別我們更有可能再次使用的應(yīng)用程序，并關(guān)閉不需要的應(yīng)用程序來延長手機電池。然而，嵌入式 AI 面臨著許多挑戰(zhàn)，其中最重要的挑戰(zhàn)就是功率和空間。這就是 TinyML 的用武之地。

設(shè)備上的傳感器數(shù)據(jù)需要強大的計算能力，這會導(dǎo)致存儲容量有限、中央處理器 (CPU) 有限和數(shù)據(jù)庫性能下降等問題。TinyML 通過將人工智能嵌入到小塊硬件中，將機器學(xué)習(xí)帶到了“現(xiàn)場”。有了它，就可以利用深度學(xué)習(xí)算法在設(shè)備上訓(xùn)練網(wǎng)絡(luò)并縮小它們的大小，而無需將數(shù)據(jù)發(fā)送到云端，從而減少分析它的延遲。

TinyML：了解基礎(chǔ)知識

Google 的 TinyML 大師和 TensorFLow Lite 工程負責(zé)人 Pete Warden 與 Daniel Situnayake 一起出版了一本書。這本書“TinyML：在 Arduino 和超低功耗微控制器上使用 TensorFlow Lite 進行機器學(xué)習(xí)”已成為該領(lǐng)域的參考。

最后，TensorFlow Lite是谷歌創(chuàng)建的嵌入式機器學(xué)習(xí)框架，它有一個專門為微控制器設(shè)計的子類別。2019 年，除了 TensorFlow Lite 之外，其他框架開始專注于讓深度學(xué)習(xí)模型更小、更快，并適配嵌入式硬件，包括uTensor和Arm 的 CMSIS-NN。與此同時，許多教程開始出現(xiàn)，內(nèi)容是關(guān)于如何在 AI 驅(qū)動的微控制器上使用 TinyML 和類似框架來訓(xùn)練、驗證然后通過推理引擎在硬件上部署小型神經(jīng)網(wǎng)絡(luò)集。

機器學(xué)習(xí)通常與優(yōu)化有關(guān)，但 TinyML 不僅僅是與優(yōu)化有關(guān)：一些云應(yīng)用程序編程接口 (API) 只是排除交互性，并且從功耗角度來看過于受限。最重要的是，這些限制使邊緣計算變得更慢、更昂貴且更不可預(yù)測。

與前面提到的基于手機上應(yīng)用的機器學(xué)習(xí)的不同之處在于，TinyML 使電池或能量收集設(shè)備能夠運行，而無需因功率限制而手動充電或更換電池。把它想象成一個永遠在線的數(shù)字信號處理器。這轉(zhuǎn)化為一種運行功率低于 1 毫瓦的設(shè)備（夸張描述），因此該設(shè)備要么能夠使用電池運行多年，要么可以使用能量收集。這也意味著這些設(shè)備根本無法通過無線電連接，因為即使是低功率的短距離無線電也會使用數(shù)十到數(shù)百毫瓦的功率，并且它只允許短時間的功率爆發(fā)。這些限制還導(dǎo)致需要能夠在限制為數(shù)十 KB 的極小內(nèi)存限制下運行的代碼，因此需要將 TinyML 與 raspberry 或手機上的代碼區(qū)分開來。

TinyML：當(dāng)前的應(yīng)用概覽

根據(jù)Emerging Spaces 對 Pitchbook的評論，自 2020 年 1 月以來，TinyML 已投資 2600 萬美元，其中包括加速器、早期投資者和后期投資者的風(fēng)險投資。與 AI 和 ML 的其他更成熟的分支（例如數(shù)據(jù)標(biāo)簽）相比，這相對較小。在趨勢中，交易數(shù)量與認知計算、下一代安全和 AIOps 等其他熱門話題競爭。

TinyML:工作機制

TinyML 算法的工作機制與傳統(tǒng)機器學(xué)習(xí)模型幾乎完全相同，通常在用戶計算機或云中完成模型的訓(xùn)練。訓(xùn)練后處理是 TinyML 真正發(fā)揮作用之處，通常稱為“深度壓縮”（deep compression）。

深度壓縮示意圖。來源： ArXiv 論文

TinyML：展望未來

今年秋天，哈佛大學(xué)推出了課程CS249R：微型機器學(xué)習(xí)，提到“機器學(xué)習(xí)的爆炸式增長和 TensorFlow (TF) 等平臺的易用性使其成為現(xiàn)代計算機科學(xué)專業(yè)學(xué)生不可或缺的學(xué)習(xí)課題”。

今天，世界上有超過 2500 億個嵌入式設(shè)備在運行，預(yù)計每年增長 20%。，這些設(shè)備正在收集大量數(shù)據(jù)，并在云端處理這些數(shù)據(jù)提出了相當(dāng)大的挑戰(zhàn)。在這 2500 億臺設(shè)備中，目前正在生產(chǎn)的大約 30 億臺能夠支持目前正在生產(chǎn)的 TensorsFlow Lite。TinyML 可以彌合邊緣硬件和設(shè)備智能之間的差距。

總結(jié)

隨著物聯(lián)網(wǎng)設(shè)備的增加，多傳感器的融合以及數(shù)量處理也是比較大的特點，所以低功耗的FPGA在這方面會大方異彩。

在這方面，F(xiàn)PGA廠商Lattice早就推出了基于超低功耗（iphone手機上曾用的up5k）FPGA的TinyML開發(fā)平臺，并且開源了聲音和人臉識別的開源方案，鏈接如下：

https://github.com/tinyvision-ai-inc

https://www.latticesemi.com/Products/DevelopmentBoardsAndKits/HimaxHM01B0

隨著新智能設(shè)備和物聯(lián)網(wǎng)設(shè)備數(shù)量的增加，TinyML在低功耗FPGA上的應(yīng)用有可能在無處不在、更便宜、可擴展且更可預(yù)測的邊緣嵌入 AI 設(shè)備上大量應(yīng)用，從而改變 ML 的應(yīng)用范式。

審核編輯 ：李倩