面臨的主要技術(shù)挑戰(zhàn)之一是邊緣計(jì)算：如何在資源受限的嵌入式設(shè)備上執(zhí)行計(jì)算密集型人工智能任務(wù)。在這種追求中，硬件和軟件從根本上相互矛盾，因?yàn)樵O(shè)計(jì)人員試圖同時(shí)平衡低功耗、低成本和高性能。

機(jī)器學(xué)習(xí)硬件初創(chuàng)公司SiMa.ai現(xiàn)在正試圖通過(guò)設(shè)計(jì)“軟件優(yōu)先”的硬件來(lái)應(yīng)對(duì)這一挑戰(zhàn)，以實(shí)現(xiàn)前所未有的邊緣AI性能。本周，SiMa.ai發(fā)布了他們的新MLSoC平臺(tái)，這是一個(gè)以ML為中心的SoC，旨在使邊緣AI比以往任何時(shí)候都更加直觀和靈活。

在本文中，我們將討論邊緣AI的現(xiàn)狀，以及SiMa.ai的新平臺(tái)希望如何解決其一些缺點(diǎn)。

Edge AI的現(xiàn)狀

當(dāng)談到將AI帶到邊緣時(shí)，也被稱為TinyML，這個(gè)過(guò)程通常非常以硬件為中心。

通常，邊緣AI的挑戰(zhàn)在于設(shè)備資源非常有限，RAM、處理能力和電池壽命有限。因此，TinyML的設(shè)計(jì)過(guò)程通常圍繞著將機(jī)器學(xué)習(xí)模型定制為設(shè)備的大多數(shù)預(yù)定硬件功能。

量化感知培訓(xùn)流程圖。圖片來(lái)源：Courtesy of

Novac等人

為此，軟件流程包括獲取給定的機(jī)器學(xué)習(xí)模型，在所需的數(shù)據(jù)集上對(duì)其進(jìn)行訓(xùn)練，然后將其縮小以適應(yīng)邊緣設(shè)備的約束。這種模型縮放通常通過(guò)量化過(guò)程來(lái)完成，量化過(guò)程是降低模型權(quán)重和參數(shù)的精度以使它們消耗更少內(nèi)存的過(guò)程。

通過(guò)這種方式，TinyML工程師可以采用大型機(jī)器學(xué)習(xí)模型，該模型旨在部署在更強(qiáng)大的設(shè)備上，并將其縮小以適應(yīng)邊緣設(shè)備。nbsp;

正如SiMa.ai所看到的，這種工作流程的問(wèn)題在于，這些模型實(shí)際上并不是為邊緣而設(shè)計(jì)的，而是為邊緣而設(shè)計(jì)的。這在性能和靈活性方面受到限制，因?yàn)槟Ｐ蛷奈凑嬲槍?duì)硬件進(jìn)行優(yōu)化，反之亦然。

SiMa的新SoC解決方案

為了解決這個(gè)問(wèn)題，SiMa.ai最近發(fā)布了他們的MLSoC平臺(tái)，這是一個(gè)“軟件優(yōu)先”的邊緣AI SoC。

MLSoC平臺(tái)基于16 nm工藝構(gòu)建，是一種異構(gòu)計(jì)算片上系統(tǒng)（SoC），集成了許多專用硬件模塊用于AI加速。在這些硬件中，模塊包括SiMa.ai專有的機(jī)器學(xué)習(xí)加速器（MLA）。該公司表示，它以10 TOPS/W的速度為神經(jīng)網(wǎng)絡(luò)計(jì)算提供50 TOPS。

SoC的應(yīng)用處理單元（APU）由四個(gè)1.15 GHz Arm Cortex-A65雙線程處理器組成。還有一個(gè)視頻編碼器和解碼器模塊以及一個(gè)計(jì)算機(jī)視覺(jué)單元（CVU），它由一個(gè)四核Synopsys ARC EV 74嵌入式視覺(jué)處理器組成。這些模塊由4 MB片內(nèi)存儲(chǔ)器以及32位LPDDR 4 DRAM接口支持。更多信息可在MLSoC產(chǎn)品簡(jiǎn)介中找到。

MLSoC的框圖。圖片來(lái)源：Courtesy of

SiMa.ai

然而，除了硬件之外，SiMa.ai聲稱其MLSoC平臺(tái)是獨(dú)一無(wú)二的，因?yàn)樗桥c其ML軟件工具鏈共同設(shè)計(jì)的。具體來(lái)說(shuō)，該公司聲稱其方法包括精心定義的中間表示以及新穎的編譯器優(yōu)化技術(shù)，以支持廣泛的框架和網(wǎng)絡(luò)。

這些框架包括TensorFlow，PyTorch和ONNX等熱門(mén)框架，同時(shí)還聲稱支持超過(guò)120個(gè)網(wǎng)絡(luò)。其想法是，通過(guò)使用MLSoC軟件工具鏈，工程師可以開(kāi)發(fā)專門(mén)針對(duì)MLSoC SoC的ML模型，從而提高設(shè)計(jì)靈活性、效率和性能。

重新構(gòu)想TinyML的方法？

總的來(lái)說(shuō)，該公司聲稱，他們的MLSoC平臺(tái)現(xiàn)在正在向客戶交付，與同類競(jìng)爭(zhēng)對(duì)手相比，可以在計(jì)算機(jī)視覺(jué)方面提供10倍的性能/功耗解決方案。為了支持這一點(diǎn)，他們聲稱在ResNet-50 v1上具有500 FPS/W的一流DNN推理效率，批量大小為1。nbsp;

憑借其獨(dú)特的軟件/硬件兼容性方法，www.example.com希望重新想象業(yè)界對(duì)TinyML的方法，并借此釋放前所未有的性能和效率。

審核編輯 黃宇