機(jī)器學(xué)習(xí)算法開辟了一個(gè)可能性領(lǐng)域，可以將視覺嵌入到產(chǎn)品中，使我們的家庭、工作空間以及介于兩者之間的地方更安全、更高效。為了在更多用例中真正發(fā)揮智能視覺的潛力，開發(fā)人員需要更節(jié)能、更靈活的嵌入式解決方案，這些解決方案可以依靠電池供電，易于安裝和維護(hù)，同時(shí)仍能提供提供有效和智能所需的視覺性能感知我們想要檢測和監(jiān)控的事物。ML 建模和處理的新進(jìn)展是智能相機(jī)廣泛采用的關(guān)鍵。

負(fù)擔(dān)得起的遠(yuǎn)程視覺監(jiān)控過去意味著紅外運(yùn)動檢測器：便宜、自主，但不一定有效。我的一個(gè)朋友最近用一套聯(lián)網(wǎng)的攝像機(jī)保護(hù)了他的后院。攝像頭使用紅外運(yùn)動檢測喚醒，然后將視頻發(fā)送到應(yīng)用程序。

問題是，他后院的運(yùn)動檢測意味著檢測從鄰居松鼠到微風(fēng)中吹來的風(fēng)鈴等一切事物。他的視頻剪輯太多了，以至于他可以理解地忽略了它們——包括有一天，一個(gè)竊賊從后院闖入他的房子。

直到最近，另一種選擇是將視頻輸入控制室，如果發(fā)生重要事情，您可能希望人類觀察者會在屏幕上注意到。這種方法提供了更多的保護(hù)，但費(fèi)用和能源消耗要大得多。我們確實(shí)需要介于兩者之間的東西：便宜、電池供電，但比簡單的運(yùn)動檢測更具辨別力。理想情況下，該系統(tǒng)將具有足夠的嵌入式智能，首先將事件確定為“真實(shí)事件”，然后再喚醒功能更強(qiáng)大的攝像頭，該攝像頭在向應(yīng)用程序發(fā)送通知后記錄和流式傳輸高分辨率視頻。

今天，機(jī)器學(xué)習(xí)技術(shù)的巨大進(jìn)步極大地改進(jìn)了無人值守的視頻分析?，F(xiàn)在，帶有高性能深度學(xué)習(xí)推理加速器芯片或與云數(shù)據(jù)中心的寬帶連接的高清攝像頭可以顯著增強(qiáng)和改進(jìn)傳統(tǒng)的安全和監(jiān)控方法。事實(shí)上，這樣的深度學(xué)習(xí)系統(tǒng)已經(jīng)展示了非凡的能力：面部識別、手勢解釋——例如，檢測入店行竊——甚至情緒估計(jì)——甚至檢測入店行竊的誘惑?；蛟S這些能力已經(jīng)變得有點(diǎn)太了不起了。

但這些系統(tǒng)仍然很昂貴。它們需要外部電源和寬帶連接。而且由于它們的能力如此之強(qiáng)，它們會引發(fā)安全和隱私問題，這可能會限制它們的部署或增加監(jiān)管障礙。

天平的另一端，回到那個(gè)不起眼的紅外運(yùn)動傳感器呢？仍然有許多應(yīng)用程序只檢測一個(gè)人的存在——而不識別他們或估計(jì)他們的心理特征——就足夠了。其中許多應(yīng)用程序需要外部電源的自主權(quán)，并且只能提供有限的連接回網(wǎng)絡(luò)。許多需要非常低的成本。他們呢？

最近在超低功耗機(jī)器學(xué)習(xí)加速方面取得的重大進(jìn)展現(xiàn)在可以回答這個(gè)問題。

可能受益的應(yīng)用程序類型

要在上下文中理解這一突破，讓我們仔細(xì)看看一些用例。例如，在許多安全和安保應(yīng)用中，重要的是要知道您正在監(jiān)控的區(qū)域是否有人在場。這可能是為了檢測入侵者，確保沒有人靠近危險(xiǎn)設(shè)備，或者只是打開一些燈以避免有人在黑暗的房間里絆倒。你并不真正關(guān)心這個(gè)人是誰，但你也不會對松鼠和管狀鈴鐺的誤報(bào)感興趣，比如那些在我朋友后院引發(fā)警報(bào)的東西。

事實(shí)證明，這對于機(jī)器學(xué)習(xí)來說是一個(gè)很好的應(yīng)用——事實(shí)上，對于一個(gè)非常簡單的機(jī)器學(xué)習(xí)模型來說。在這種情況下，模型是一組數(shù)據(jù)和指令，通過一個(gè)稱為訓(xùn)練的過程運(yùn)行大量數(shù)據(jù)而建立，機(jī)器學(xué)習(xí)系統(tǒng)使用這些數(shù)據(jù)和指令來生成推理——例如，是的，有人的推理在圖像中，或者沒有，圖像中的人物是老板的金毛獵犬。

大流行創(chuàng)造了另一類應(yīng)用程序，不幸的是，這些應(yīng)用程序可能會伴隨我們一段時(shí)間：社交距離監(jiān)控。控制進(jìn)入封閉空間以確保人員不超過容量限制至關(guān)重要。要做到這一點(diǎn)，最好的方法是在門口沒有人工看守的情況下，是一個(gè)可以在人員進(jìn)出時(shí)統(tǒng)計(jì)人數(shù)的系統(tǒng)。是的，這只是人員檢測的另一種用途。這種系統(tǒng)的一個(gè)附加功能是檢測相關(guān)人員是否戴著口罩。對于經(jīng)過訓(xùn)練的機(jī)器學(xué)習(xí)模型來說，這也是一項(xiàng)相對簡單的任務(wù)。

事實(shí)證明，有一個(gè)完全不同的應(yīng)用領(lǐng)域密切相關(guān)。組織已經(jīng)更加關(guān)注他們在辦公空間上的花費(fèi)，并根據(jù)空間的使用方式來決定如何最好地優(yōu)化空間。當(dāng)辦公室經(jīng)理考慮使用更?。ㄇ腋阋耍┣彝ǔＪ枪蚕淼墓ぷ骺臻g時(shí)尤其如此。但是你無法優(yōu)化你無法衡量的東西。突然，有許多新的問題。有人用這個(gè)走廊嗎？咖啡廳什么時(shí)候忙？有多少個(gè)熱桌可用？三個(gè)會議室都被占用多久？此類數(shù)據(jù)對于在不降低生產(chǎn)力的情況下最大限度地減少辦公費(fèi)用至關(guān)重要。同樣，您無需識別人員或了解他們在做什么。您只想能夠檢測到它們的存在。

讓我們看一下當(dāng)今大多數(shù)公司所考慮的典型現(xiàn)實(shí)情況：一家公司在曼哈頓或舊金山市中心等昂貴的市中心地區(qū)的高層建筑中設(shè)有辦公室。他們有四十個(gè)隔間和五個(gè)會議室。隔間被占用了工作周的至少一部分。根據(jù)高架攝像頭的人員檢測/計(jì)數(shù)輸入，只有三個(gè)會議室的使用率比其他兩個(gè)多得多?，F(xiàn)在，當(dāng)公司擴(kuò)大規(guī)模，需要再雇用 20 人時(shí)，他們可以分析隔間和會議室的實(shí)際使用情況，而不是在同一棟大樓中租用另一層樓以支付高額租金。解決方案可能是將其中一個(gè)未使用的會議室改造成額外的 20 個(gè)隔間，或者提出一種靈活的混合模型，在人們需要時(shí)為他們提供工作空間，并最大限度地利用現(xiàn)有隔間。這將導(dǎo)致巨大的成本運(yùn)營支出節(jié)省，并且可以隨著容量和勞動力習(xí)慣的變化而調(diào)整。

檢測特定屬性

這帶來了另一類應(yīng)用程序：合規(guī)性檢查?？梢杂?xùn)練機(jī)器學(xué)習(xí)系統(tǒng)來檢測人的可見屬性。此人是否有可見的 ID 徽章？安全帽或呼吸器怎么樣？該人是否將點(diǎn)燃的香煙帶入易爆氣體泄漏的房間？

經(jīng)驗(yàn)表明，機(jī)器學(xué)習(xí)模型可以比舊式視覺處理軟件算法更好地執(zhí)行這類檢測任務(wù)。機(jī)器學(xué)習(xí)模型也可以比人類監(jiān)視器更準(zhǔn)確和可靠，尤其是在需要長時(shí)間持續(xù)關(guān)注的情況下。當(dāng)任務(wù)是檢測時(shí)——不是識別個(gè)人、解釋手勢或其他需要基于大量精細(xì)細(xì)節(jié)進(jìn)行細(xì)微推斷的任務(wù)——模型可以非常緊湊。

如果模型緊湊，并且如果視頻數(shù)據(jù)以適中的速率進(jìn)入而不是以 60Hz 的頻率涌入，例如逐行掃描 UHD，那么所需的處理能力也可能適中。它需要的不僅僅是一個(gè)典型的微控制器芯片所能提供的，但遠(yuǎn)遠(yuǎn)低于你從為高性能計(jì)算設(shè)計(jì)的推理加速器或從耗電量大的 GPU 中獲得的東西。

這將是應(yīng)用近年來為超低功耗計(jì)算開發(fā)的技術(shù)的理想場所：存儲器、控制器和信號處理器。這些技術(shù)可以使機(jī)器學(xué)習(xí)推理加速器足夠快地完成視覺檢測任務(wù)，但功耗卻足夠低，可用于無人值守的電池供電操作。

加上恰到好處的速度會帶來額外的好處。這種設(shè)備有限的速度和內(nèi)存容量使得幾乎不可能將芯片用于未經(jīng)授權(quán)的任務(wù)，例如面部識別。這一事實(shí)可以大大減輕在對隱私監(jiān)管敏感的領(lǐng)域部署系統(tǒng)的監(jiān)管負(fù)擔(dān)。

一個(gè)可以提供這個(gè)的例子

事實(shí)上，這樣的超低功耗機(jī)器學(xué)習(xí)加速器已經(jīng)存在：Synaptics 的 Katana KA 10000 SoC。該芯片集成了一組處理器，包括一個(gè) Arm CPU、多個(gè) DSP 內(nèi)核和一個(gè)定制的神經(jīng)網(wǎng)絡(luò)加速器，為一系列不同類型的中等規(guī)模機(jī)器學(xué)習(xí)模型提供完整的推理加速平臺。

到目前為止，這種描述同樣適用于許多用于高性能計(jì)算的 AI 加速芯片。但是，當(dāng)您的目標(biāo)是數(shù)月的電池壽命而不是每秒數(shù)十次千兆操作時(shí)，您必須從一開始就以不同的方式做事。

這意味著從針對低功耗而非最高速度優(yōu)化的半導(dǎo)體工藝技術(shù)開始。這意味著設(shè)計(jì)的電路只消耗足夠的功率來完成手頭的任務(wù)，并且在不需要時(shí)關(guān)閉。這意味著選擇處理器架構(gòu)，例如 Arm Cortex-M33 CPU、DSP 內(nèi)核和專有的神經(jīng)處理單元，它們可以協(xié)作以盡可能少的電池消耗而不是盡可能少的時(shí)間延遲來完成給定的推理。它還意味著為攝像頭和麥克風(fēng)提供片上、低功耗存儲器和外圍接口。

對于將在現(xiàn)場使用的 SoC，處理敏感的個(gè)人數(shù)據(jù)，安全性也是首要考慮的問題。密鑰的安全存儲、安全啟動和代碼更新以及硬件輔助加密都是必須在硬件級別解決的問題。

在實(shí)踐中可以期待什么結(jié)果？

那么，專注于超低功耗的成功程度如何？Synaptics 聲稱 KA10000 可以處理傳入的視頻并每秒產(chǎn)生 10 次推理，同時(shí)使用一塊電池運(yùn)行近三年。

對于非專業(yè)軟件開發(fā)人員來說，所有這些任務(wù)都可能令人生畏。該過程可能需要 6 到 9 個(gè)月——如果出現(xiàn)任何問題，甚至更長時(shí)間——因此部署邊緣 AI 設(shè)備可能會是一項(xiàng)耗時(shí)的工作，將時(shí)間表、預(yù)算甚至市場窗口都置于風(fēng)險(xiǎn)之中。

成功需要硬件、軟件和 IP 提供商的協(xié)作生態(tài)系統(tǒng)。例如，Synaptics 通過與 Edge Impulse 等 MLOps 公司的合作，幫助加快了這一進(jìn)程。使用帶有 Synaptics 的 Katana 平臺的 Edge Impulse 環(huán)境，客戶可以在幾天內(nèi)制作模型原型，并在幾個(gè)月內(nèi)構(gòu)建生產(chǎn)模型。這意味著差異化、超低功耗邊緣人工智能設(shè)備的低風(fēng)險(xiǎn)和快速部署。

芯片行業(yè)首次響應(yīng)了廉價(jià)自主相機(jī)中對有效和特定用例機(jī)器學(xué)習(xí)的需求。現(xiàn)在提供的解決方案以極具吸引力的成本和性能點(diǎn)提供綜合但適合普通人的開發(fā)環(huán)境和完整的神經(jīng)網(wǎng)絡(luò)增強(qiáng) SoC 的組合。這開辟了低功率人體檢測和其他視覺檢測能力的前沿，將以多種方式改善我們的生活。

審核編輯 黃昊宇