當(dāng)今嵌入式世界 2021 的許多演講中明確涵蓋的一個(gè)關(guān)鍵主題是廣泛采用邊緣計(jì)算來(lái)實(shí)現(xiàn)邊緣智能。一些預(yù)測(cè)預(yù)計(jì)，到 2025 年，90% 的邊緣設(shè)備將使用某種形式的機(jī)器學(xué)習(xí)或人工智能。

圍繞啟用這種邊緣智能有哪些問(wèn)題，您如何實(shí)現(xiàn)它？這是 NXP Semiconductors 高級(jí)副總裁兼邊緣處理業(yè)務(wù)總經(jīng)理 Ron Martino 最近在播客中的話題。雖然您可以在此處收聽完整的播客，但我們提供了本文討論的一些摘錄。

定義邊緣計(jì)算

邊緣計(jì)算的核心是更接近用戶的高效處理能力。我們可以為數(shù)據(jù)帶來(lái)更快的洞察力。 你能在恩智浦如何解決邊緣計(jì)算的背景下定義它嗎？

羅恩·馬蒂諾

Martino：邊緣計(jì)算簡(jiǎn)單來(lái)說(shuō)就是分布式本地計(jì)算和感知能力。它有效地解釋、分析和作用于傳感器數(shù)據(jù)以執(zhí)行一組有意義的功能。它不會(huì)試圖成為云的替代品或替代品，它變得免費(fèi)。傳統(tǒng)上，例如在語(yǔ)音輔助中，大量數(shù)據(jù)被發(fā)送到云端，在那里使用更高的計(jì)算能力來(lái)增強(qiáng)體驗(yàn)。邊緣計(jì)算正在演變?yōu)樽兊酶悄?，然后更智能。智能邊緣?jì)算平衡了本地計(jì)算與中央或云計(jì)算的使用。隨著這種情況的進(jìn)一步發(fā)展，我們希望終端設(shè)備有更多的能力來(lái)進(jìn)行解釋、分析，然后在本地做出決策，從而變得更加智能。

您能否舉例說(shuō)明如何使用邊緣計(jì)算來(lái)提高生產(chǎn)力和安全性？

Martino：在生產(chǎn)力方面，一個(gè)很好的例子是增強(qiáng)勞動(dòng)力：利用邊緣處理或支持視覺(jué)和機(jī)器學(xué)習(xí)的可穿戴設(shè)備，工人可以診斷問(wèn)題并更快地修復(fù)它，無(wú)論是在家里還是在工廠。

智能邊緣設(shè)備通過(guò)識(shí)別各種危險(xiǎn)信號(hào)來(lái)提高安全性：通過(guò)識(shí)別警報(bào)、人員跌倒或玻璃破碎，然后通過(guò)使用額外的傳感器信息和計(jì)算來(lái)確定問(wèn)題。無(wú)論是使用恩智浦正在開發(fā)的雷達(dá)傳感設(shè)備，還是使用視覺(jué)功能，或者只是將音頻輸入解釋到設(shè)備中。

如果我們轉(zhuǎn)向更環(huán)保和能源意識(shí)，一個(gè)需要解決的概念是吸血鬼的力量，你插入設(shè)備，他們什么都不做，但仍然在消耗能量。

我們也正在轉(zhuǎn)向“感知邊緣”的概念，其中設(shè)備以類似人類的行為做出更多反應(yīng)。他們開始了解他們的環(huán)境，他們匯總輸入并與其他設(shè)備交互以收集信息并了解情況的背景，然后做出相應(yīng)的決定。一個(gè)簡(jiǎn)單的實(shí)際示例是具有本地能力的交通模式，它可以解釋人群和不同的擁堵點(diǎn)，并通過(guò)觀察和感知汽車數(shù)量和條件來(lái)優(yōu)化本地情況，從而提高駕駛效率，從而避免浪費(fèi)時(shí)間。

支持邊緣智能的技術(shù)

從技術(shù)的角度來(lái)看，構(gòu)成智能邊緣和感知邊緣的部分是什么？

馬蒂諾：讓我們從基礎(chǔ)開始。您需要擁有計(jì)算平臺(tái)，并且它們需要擴(kuò)展。他們需要節(jié)能。與過(guò)去不同，現(xiàn)在它實(shí)際上是關(guān)于多個(gè)獨(dú)立的異構(gòu)計(jì)算子系統(tǒng)。這基本上是有一個(gè) GPU、一個(gè) CPU、一個(gè)神經(jīng)網(wǎng)絡(luò)處理單元、一個(gè)視頻處理單元和一個(gè) DSP。

您如何優(yōu)化這些不同的硬件加速器和計(jì)算設(shè)備并針對(duì)給定的最終應(yīng)用進(jìn)行優(yōu)化？這就是恩智浦真正擅長(zhǎng)于擁有可擴(kuò)展的計(jì)算范圍以及所有這些其他元素的地方。然后是針對(duì)語(yǔ)音應(yīng)用、人機(jī)交互的優(yōu)化硬件加速器或功能的集成，將視覺(jué)和語(yǔ)音結(jié)合在一起，然后以真正涉及超低泄漏的方式進(jìn)行，操作模式可以調(diào)整到真正優(yōu)化能源使用，即使使用這些大型片上存儲(chǔ)器，當(dāng)您查看某些工作負(fù)載時(shí)也是必要的。

這繼續(xù)優(yōu)化機(jī)器學(xué)習(xí)能力、與許多不同攻擊面的最高覆蓋范圍的安全集成、高效連接、高效能源使用以及開放標(biāo)準(zhǔn)。它還可以利用恩智浦提供的技術(shù)，例如高精度距離測(cè)量，無(wú)論是使用我們的 UWB 技術(shù)以非常準(zhǔn)確的方式定位給定人員或跟蹤設(shè)備的物理位置。

最后一件事是將這一切包裝在無(wú)縫的用戶體驗(yàn)中，因?yàn)槿绻灰子谑褂?，并且使用起?lái)不自然，那么它就不會(huì)被使用。因此，獲得無(wú)縫、舒適的體驗(yàn)絕對(duì)至關(guān)重要。

用戶如何構(gòu)建這樣的解決方案？

Martino：我們提供一切，從處理器或微控制器的基本產(chǎn)品，一直到針對(duì)本地語(yǔ)音、視覺(jué)、檢測(cè)和推理能力或這些功能的組合預(yù)先優(yōu)化的參考平臺(tái)。我們將客戶可以購(gòu)買的參考平臺(tái)放在一起，例如我們的 RT 系列設(shè)備。我們有一個(gè)可以購(gòu)買的人臉識(shí)別產(chǎn)品，這是一個(gè)完全啟用和設(shè)計(jì)的系統(tǒng)，客戶可以將其作為修改他們想要專業(yè)化或品牌化的需求的起點(diǎn)。

消費(fèi)者和工業(yè)用例的技術(shù)差異

大多數(shù)業(yè)內(nèi)人士都會(huì)同意，我們家庭和工作中的智能設(shè)備和系統(tǒng)正在獲得牽引力。正如您所說(shuō)，普通的舊物聯(lián)網(wǎng)與工業(yè)市場(chǎng)之間有哪些技術(shù)差異？

Martino：與 [消費(fèi)者] 物聯(lián)網(wǎng)世界相比，工業(yè)領(lǐng)域的連接標(biāo)準(zhǔn)、環(huán)境要求、壽命需求（可能超過(guò) 15 年）以及安全要求更加廣泛和苛刻。恩智浦投資的一個(gè)領(lǐng)域是時(shí)間敏感網(wǎng)絡(luò) (TSN)，并將 Mac 和交換機(jī)集成到一整套設(shè)備中，這些設(shè)備可以支持多臺(tái)機(jī)器的菊花鏈設(shè)置、工作并支持端點(diǎn)功能，利用這種更具確定性TSN 骨干網(wǎng)，它還支持許多傳統(tǒng)標(biāo)準(zhǔn)正在融合的更高的數(shù)據(jù)速率和吞吐量。

將此與 [消費(fèi)者] 物聯(lián)網(wǎng)市場(chǎng)進(jìn)行比較。對(duì)于智能家居和可穿戴設(shè)備等應(yīng)用而言，對(duì)極端能源效率、更高使用語(yǔ)音 HMI、無(wú)線連接和更短生命周期的需求更為廣泛。在可穿戴設(shè)備方面，您需要出色的用戶體驗(yàn)，但您需要最長(zhǎng)的電池壽命。優(yōu)化這些邊緣設(shè)備以執(zhí)行其功能，然后關(guān)閉并保持電池壽命非常重要，并且必須以最有效的方式完成真正豐富的用戶體驗(yàn)，因?yàn)槟鞘撬碾姵氐臅r(shí)間。

互操作性挑戰(zhàn)

在智能家居領(lǐng)域，通常很難從一家公司獲取產(chǎn)品并使其與其他設(shè)備一起使用。恩智浦如何嘗試改變智能家居無(wú)線互操作性挑戰(zhàn)？

Martino：以智能家居設(shè)備為例，標(biāo)準(zhǔn)和互操作能力非常分散。我們有一個(gè)名為 CHIP 的項(xiàng)目，即“基于 IP 的互聯(lián)家庭”標(biāo)準(zhǔn)項(xiàng)目。它讓 NXP 以及許多其他行業(yè)領(lǐng)導(dǎo)者共同努力，試圖整合，而不是專有標(biāo)準(zhǔn)，而是整個(gè)行業(yè)通用的開放標(biāo)準(zhǔn)，并允許人們?cè)谶@個(gè)開放標(biāo)準(zhǔn)上進(jìn)行構(gòu)建。

該項(xiàng)目的重點(diǎn)是在 NXP 和其他公司圍繞 ZigBee 和 Thread 以及 ZigBee 聯(lián)盟所做的多年工作的基礎(chǔ)上，然后利用亞馬遜、蘋果、谷歌已經(jīng)推出建立這個(gè)我們稱之為 CHIP 的開放標(biāo)準(zhǔn)，并在設(shè)備之間建立這種通用鏈接。當(dāng)您插入某些東西時(shí)，連接將非常簡(jiǎn)單。

恩智浦的計(jì)劃是在今年晚些時(shí)候在市場(chǎng)上推出真正的產(chǎn)品，其中包含 CHIP 標(biāo)準(zhǔn)的第一個(gè)版本。

解決添加邊緣智能的復(fù)雜性和成本

轉(zhuǎn)向邊緣的機(jī)器學(xué)習(xí)和人工智能。這一切聽起來(lái)相當(dāng)復(fù)雜和昂貴，對(duì)吧？

Martino：對(duì)于很多人來(lái)說(shuō)，當(dāng)你談?wù)?AI 和 ML 時(shí)，它是一個(gè)非常復(fù)雜的抽象概念。據(jù)預(yù)測(cè)，到 2025 年，90% 的邊緣設(shè)備將使用某種形式的機(jī)器學(xué)習(xí)或人工智能。我們堅(jiān)信確實(shí)如此，并且我們正在推出針對(duì)此進(jìn)行優(yōu)化的產(chǎn)品。這是我們?yōu)閮?yōu)化所使用的硬件、處理器和微控制器所做的工作以運(yùn)行此功能的組合。對(duì)于最終用戶而言，更多的是部署對(duì)最終用例有意義的實(shí)用 ML 的復(fù)雜程度。

有許多公司想要收集數(shù)據(jù)并創(chuàng)建自己的模型。恩智浦關(guān)注的是，我們?nèi)绾螁⒂门c云無(wú)關(guān)的功能，從而在簡(jiǎn)單的用戶界面或開發(fā)環(huán)境中實(shí)現(xiàn)靈活性？

這就是我們最近宣布的對(duì) Au-Zone 的投資，并將在 2021 年推出增強(qiáng)的開發(fā)環(huán)境，您可以在其中選擇引入的內(nèi)容類型。您自己的數(shù)據(jù)、您擁有的模型或您擁有的模型已選擇通過(guò)您最喜歡的來(lái)源或云提供商獲取，并帶來(lái)，然后對(duì)其進(jìn)行優(yōu)化，并將其部署到終端設(shè)備上。因?yàn)檫@是優(yōu)化。

機(jī)器學(xué)習(xí)如何增加最終解決方案的成本？

Martino：如果你有一個(gè)非常復(fù)雜、繁重的機(jī)器學(xué)習(xí)模型或能力，那將需要更高的計(jì)算能力，而計(jì)算能力越高，它的成本就越高。您可以選擇在邊緣處理器上執(zhí)行此操作，也可以選擇將其部署到云中。當(dāng)我們嘗試為特定用例調(diào)整這些用例或這些模型時(shí)，您可以變得非常高效，然后您可以利用傳統(tǒng)的技術(shù)擴(kuò)展和摩爾定律真正添加特定于 ML 的硬件加速，這不會(huì)占用硅面積很大。

它會(huì)增加少量成本，但卻是執(zhí)行您想要的給定工作的最佳能力。舉個(gè)例子，無(wú)論是在本地檢測(cè)人員和識(shí)別他們是誰(shuí)，您現(xiàn)在都可以在微控制器上非常有效地做到這一點(diǎn)，該微控制器通過(guò)非常非常高效的硅實(shí)現(xiàn)進(jìn)行了優(yōu)化。然后，您可以使用我們的一些處理器使其可擴(kuò)展，您可以在其中擴(kuò)展至外部更高性能的神經(jīng)網(wǎng)絡(luò)處理器，或者以免費(fèi)的方式與云一起工作。同樣，所有這些都需要付出代價(jià)，這取決于任務(wù)的復(fù)雜性，但是對(duì)于您可以推出的非常復(fù)雜的功能來(lái)說(shuō)，它可能非常有效。

道德人工智能

人們?cè)絹?lái)越擔(dān)心機(jī)器學(xué)習(xí)模型和人工智能中的偏見。行業(yè)在幫助確保道德 AI 方面的作用是什么？

Martino：它需要清晰的操作透明性，無(wú)論是簡(jiǎn)單的概念，“我想知道它是在聽我還是在看我”，但如何確定它的結(jié)論然后采取行動(dòng)變得非常重要。安全標(biāo)準(zhǔn)，以確保系統(tǒng)是安全的，并且在其攻擊面方面沒(méi)有后門訪問(wèn)或其他敏感性或漏洞，因此有人可以訪問(wèn)人工智能系統(tǒng)，然后影響它做某些事情或做出某些決定可能對(duì)攻擊系統(tǒng)的人有利。

你如何實(shí)施沒(méi)有預(yù)設(shè)偏見的人工智能系統(tǒng)，從原則上看，這是錯(cuò)誤的？在 NXP，我們推出了一項(xiàng) AI 道德倡議，強(qiáng)調(diào)了我們對(duì)這一道德發(fā)展的承諾。其中，我們談?wù)撟錾剖?，我們談?wù)摼S護(hù)以人為本的人工智能，這實(shí)際上是圍繞避免從屬或被人工智能系統(tǒng)脅迫，以及這種透明度、對(duì)科學(xué)卓越的高標(biāo)準(zhǔn)以及信任在人工智能系統(tǒng)中。

您認(rèn)為實(shí)施邊緣技術(shù)仍存在哪些挑戰(zhàn)？

Martino：這是一項(xiàng)持續(xù)的活動(dòng)，有許多領(lǐng)域需要繼續(xù)優(yōu)化。能源效率、驅(qū)動(dòng)和利用能量收集概念以及設(shè)備的接近閾值操作是許多業(yè)內(nèi)人士的持續(xù)投資。安全性和保護(hù)數(shù)據(jù)的需要并繼續(xù)推進(jìn)這是一項(xiàng)持續(xù)的活動(dòng)。

投資于特定于硅的簽名和不同類型的密碼學(xué)，以及以受保護(hù)的方式執(zhí)行計(jì)算的方法，例如同態(tài)加密，在加密環(huán)境中執(zhí)行計(jì)算并且從不解密。然后圍繞延遲要求中吞吐量的連接性以及功耗進(jìn)行擴(kuò)展。為了對(duì)此進(jìn)行優(yōu)化，我們將繼續(xù)優(yōu)化連接，并以越來(lái)越有效的方式將其引入這些邊緣設(shè)備。

最后，關(guān)于感知終端智能的整個(gè)概念，我們正處于第三代開發(fā)和實(shí)施神經(jīng)網(wǎng)絡(luò)處理器或進(jìn)入我們處理器的子系統(tǒng)中。這正在推動(dòng)效率和擴(kuò)展性的提高，但在通過(guò)加速器以及圍繞脈沖神經(jīng)網(wǎng)絡(luò)的不同技術(shù)以及量子人工智能推動(dòng)更高水平的效率方面，該領(lǐng)域仍在繼續(xù)進(jìn)行研究。顯然，在短期內(nèi)，我們將看到圍繞更多傳統(tǒng)加速器的持續(xù)發(fā)展，并將這些加速器集成到恩智浦推向市場(chǎng)的這些可擴(kuò)展處理器中。

審核編輯 黃昊宇