如果您曾經(jīng)使用過虛擬助手，您可能會認(rèn)為您正在與一臺非常智能的設(shè)備交談，它幾乎可以回答您提出的任何問題。嗯，實際上，Amazon Echos、Google Homes 和其他類似的設(shè)備通常不知道你在說什么。

是的，這些設(shè)備利用了人工智能。但不是你期望的那樣。端點硬件通常會簡單地檢測到喚醒詞或觸發(fā)短語并打開與自然語言處理引擎分析請求的云的連接。在許多情況下，他們不只是傳輸您的問題的記錄。

“我們將其稱為邊緣的‘弱喚醒詞’，”加利福尼亞州帕洛阿爾托的 Knowles Intelligent Audio 物聯(lián)網(wǎng)營銷高級總監(jiān) Vikram Shrivastava 說?！澳闳匀恍枰獙⒄麄€錄音發(fā)送到云端，以獲得真正可靠的第二秒，即有人真正說‘好吧，谷歌’或有人真正說出了相關(guān)的觸發(fā)詞。

“這將產(chǎn)生我們稱之為檢測和錯誤接受的真陽性率 （TPR），”他繼續(xù)說道?！八?，如果你沒有說 Alexa，但它還是向云端發(fā)送了一條消息，那么云端就會說，‘不，你沒有。我仔細(xì)檢查過，你錯了。那是因為邊緣設(shè)備的邊緣檢測算法不夠復(fù)雜?！?/p>

換句話說，許多虛擬助手至少會訪問云端兩次：一次是為了驗證他們是否被尋址，第二次是為了響應(yīng)請求。

沒那么聰明吧？

邊緣對話

這種架構(gòu)有幾個缺點。將請求發(fā)送到云會增加時間和成本，還會使?jié)撛诘拿舾袛?shù)據(jù)面臨安全和隱私威脅。但這種方法的最大限制因素是打開和維護這些網(wǎng)絡(luò)連接會消耗能量，這會阻止語音 AI 部署在所有電池供電的產(chǎn)品中。

挑戰(zhàn)就在這里。許多邊緣設(shè)備使用的節(jié)能技術(shù)不具備在本地運行 AI 的性能，因此必須將語音命令發(fā)送到云端，這會招致前面提到的懲罰。為了擺脫這個循環(huán)，Knowles 和其他地方的音頻工程師正在將數(shù)字信號處理器 （DSP） 的傳統(tǒng)效率與新興的神經(jīng)網(wǎng)絡(luò)算法相結(jié)合，以提高邊緣智能。

“我們現(xiàn)在看到的是邊緣設(shè)備開始向內(nèi)置生態(tài)系統(tǒng)過渡，”Shrivastava 解釋說?！八袁F(xiàn)在你可以擁有多達(dá) 10、20、30 條命令，這些命令都可以在邊緣本身執(zhí)行。

“一些觸發(fā)詞改進(jìn)顯著改善了邊緣的 TPR，”他繼續(xù)說道。“音頻 DSP 實際上發(fā)揮了重要作用，而邊緣的音頻算法發(fā)揮了重要作用，這只是在嘈雜環(huán)境中檢測這些觸發(fā)詞的性能。因此，如果我的真空吸塵器正在運行并且我正在嘗試發(fā)出命令，或者您在廚房并且排氣扇正在運行并且您正在嘗試與您的 Alexa 設(shè)備交談。

“這就是我們所說的低信噪比，這意味著你所處的環(huán)境中的噪音非常高，平均談話會低于平均噪音?！?/p>

Knowles 是一家無晶圓半導(dǎo)體公司，以其高端麥克風(fēng)和最近的音頻處理解決方案而聞名。后者始于 2015 年 Knowles 收購 Audience Inc.，該公司成立于計算聽覺場景分析 （CASA） 的學(xué)術(shù)研究，研究人類如何對與其他頻率混合的聲音進(jìn)行分組和區(qū)分。這項研究導(dǎo)致專門的音頻處理器能夠以 Shrivastava 描述的方式從背景噪聲中提取一個清晰的語音信號。

除了這些音頻處理器之外，Knowles AISonic 音頻邊緣處理器等產(chǎn)品還集成了來自 Cadence Design Systems 的 DSP IP 內(nèi)核。Cadence 的 Tensilica HiFi 音頻 DSP 產(chǎn)品組合因其高能效和高效數(shù)字前端和神經(jīng)網(wǎng)絡(luò)處理能力而在智能邊緣語音應(yīng)用中廣受歡迎。

圖 1. Knowles 將 Cadence Tensilica HiFi DSP 內(nèi)核集成到其 AISonic 音頻邊緣處理器中。

Knowles 將這些基于 Tensilica 的音頻處理解決方案部署到從單麥克風(fēng) AISonic SmartMics 到高端設(shè)備（如高端 Honeywell 或 Nest 級恒溫器）的所有設(shè)備中，它們可以管理三到七個麥克風(fēng)。

“麥克風(fēng)是數(shù)字的，DSP 是數(shù)字的，DSP 和主處理器之間的通信也是數(shù)字的，”Shrivastava 說?！拔覀兙驼f它是一個 Ecobee 設(shè)備。那里有一個基于 Arm 的主機處理器，它運行一個小的 Alexa 堆棧，它將接受來自 Knowles 子系統(tǒng)的命令短語。

“我們可以接收核心麥克風(fēng)數(shù)據(jù)，我們可以進(jìn)行波束成形，我們可以找出你在哪個方向說話，我們可以只改善和放大來自那個方向的信號，忽略來自另一個方向的噪聲，做一些其他噪聲抑制也是如此，然后準(zhǔn)確地檢測到觸發(fā)詞，”他繼續(xù)說道?！霸谝粋€經(jīng)過良好調(diào)整的系統(tǒng)中，我們在 24 小時內(nèi)會出現(xiàn)少于三個錯誤檢測。我們可以在 1 MB 的內(nèi)存中完成這一切。

“擁有所有這些背后的價值主張，只是為了給你一個想法，如果你需要一個運行在 1 GHz 的 Arm 內(nèi)核來進(jìn)行語音處理，我們將在我們的 DSP 上以大約 50 MHz 運行相同的進(jìn)程，所以幾乎是 20 倍，”Knowles 工程師解釋道?！斑@直接轉(zhuǎn)化為功耗?！?/p>

顯然，Tensilica 核心無法提供 Shrivastava 所描述的開箱即用的效率水平。應(yīng)用工程師必須針對最終用例調(diào)整系統(tǒng)。對于 Cadence Tensilica 客戶，此過程因定制說明的可用性而得到簡化。

“Tensilica 的獨特之處之一是能夠使用 Tensilica 指令擴展或 TIE，”Cadence 產(chǎn)品營銷總監(jiān)、Knowles 前員工 Adam Abed 說。“Knowles 廣泛使用它來定制和構(gòu)建非常高效的浮點處理。

“因此，我們共同打造了這款非常出色、獨特的產(chǎn)品，它不僅能夠從 MEMS 和麥克風(fēng)的角度提供高質(zhì)量的音頻，而且還可以在不醒來的情況下以超低功耗的方式進(jìn)行清理或語音觸發(fā)等操作系統(tǒng)的大部分內(nèi)容，”他補充道（圖 2）。

圖 2. Cadence 的 Tensilica HiFi 系列 DSP 提供性能可擴展性和指令定制，以滿足一系列智能語音處理系統(tǒng)的要求。

為了最大限度地提高電源效率和 AI 性能，Abed 提到的喚醒過程通常根據(jù)系統(tǒng)分階段實施。正如他的同事、Cadence 產(chǎn)品工程總監(jiān)劉一鵬所解釋的那樣，像 HiFi 5 這樣的 IP 需要“結(jié)合傳統(tǒng) DSP 以及處理神經(jīng)網(wǎng)絡(luò)本身的能力。

“第一層是檢測是否真的有聲音，所以這是一個非常輕量級的語音活動檢測，”劉說?！叭绻鼨z測到語音，那么您就會喚醒下一層處理，稱為關(guān)鍵字識別。這可以是非常輕量級的處理。它只是說，‘我聽到了一個聽起來像我正在聽的詞?！?/p>

“然后是第三層，一旦你檢測到一個觸發(fā)詞，你可能想要喚醒另一個處理層來驗證，‘是的，我確實聽到了我認(rèn)為我聽到的內(nèi)容。這實際上是一個非常重的處理負(fù)載，”她繼續(xù)說道，“從那里你繼續(xù)聽，這變成了一個重負(fù)載的神經(jīng)網(wǎng)絡(luò)處理。

“它可能需要 1 MHz，也可能需要 50 MHz。這真的取決于?！?/p>

選擇最佳語音 AI 堆棧：“視情況而定”

當(dāng)談到 AI 和 ML 技術(shù)評估時，這真的取決于。

當(dāng)然，確定智能音頻系統(tǒng)的多少兆赫、多少功耗、關(guān)鍵字檢測準(zhǔn)確度等關(guān)鍵性能指標(biāo)因設(shè)計而異。Liu 繼續(xù)解釋說，這種多樣性使得評估智能語音系統(tǒng)組件甚至 DSP 的可行性變得困難，因為在處理高度專業(yè)化的 DSP 時，每秒萬億次操作 （TOPS） 等指標(biāo)“實際上并不重要”。

“你可以做 1000 TOPS，但所有的操作都是錯誤的類型。但是您可能只需要 200 MHz 來進(jìn)行某些類型的處理?；蛘撸绻帉懻f明并且一臺設(shè)備需要 50 MHz 而不是 200 MHz，即使它們具有相同數(shù)量的頂部，本質(zhì)上您擁有更有效的頂部，”她補充道。

不過，最近，MLCommons 已經(jīng)通過與 EEMBC 合作開發(fā)一個新的系統(tǒng)級基準(zhǔn)測試來簡化評估邊緣 AI 組件的過程：MLPerf Tiny Inference。作為 ML Commons 從云到邊緣的一系列訓(xùn)練和推理基準(zhǔn)中的最新版本，MLPerf Tiny Inference 目前為四個用例提供了標(biāo)準(zhǔn)框架和參考實現(xiàn)：關(guān)鍵字定位、視覺喚醒詞、圖像分類和異常檢測。

MLPerf Tiny 工作負(fù)載是圍繞預(yù)先訓(xùn)練的 32 位浮點參考模型 （FP32） 設(shè)計的，哈佛大學(xué)邊緣計算實驗室的博士生兼 MLPerf Tiny 推理工作組聯(lián)合主席 Colby Banbury 將其識別為當(dāng)前的“準(zhǔn)確性的黃金標(biāo)準(zhǔn)”。但是，MLPerf Tiny Inference 也提供了一個量化的 8 位整數(shù)模型 （INT-8）。

MLPerf Tiny 作為系統(tǒng)級基準(zhǔn)的不同之處在于它的靈活性，它有助于避免對計算性能進(jìn)行單點性能評估，例如，允許組織提交 ML 堆棧中的任何組件。這包括編譯器、框架或其他任何東西。

但是對于基準(zhǔn)測試而言，過于靈活可能是不利的，因為您很快就會得到多個不相關(guān)的向量。MLPerf Tiny 通過兩個不同的部門（開放式和封閉式）解決了這個問題，它們?yōu)樘峤徽吆陀脩籼峁┝酸槍μ囟康幕蛳嗷ズ饬?ML 技術(shù)的能力。

“MLPerf 通常有這么多規(guī)則。它源于靈活性和可比性之間的基準(zhǔn)測試中這種不斷拉動的因素，”班伯里說。“封閉式基準(zhǔn)更具可比性。您采用預(yù)先訓(xùn)練的模型，然后您可以根據(jù)已概述的某些特定規(guī)則以與參考模型等效的方式將其實施到您的硬件上。所以這實際上是硬件平臺的一對一比較?！?/p>

“但 Tiny ML 的前景需要如此高的效率，因此許多軟件供應(yīng)商甚至硬件供應(yīng)商都在堆棧中的所有不同點提供價值，”MLPerf Tiny 聯(lián)合主席繼續(xù)說道?！耙虼耍瑸榱俗屓藗兡軌蜃C明他們有更好的模型設(shè)計，或者他們可能能夠在訓(xùn)練階段提供更好的數(shù)據(jù)增強，甚至是不同類型的量化，開放式劃分允許你基本上只解決以任何你想要的方式。我們測量準(zhǔn)確性、延遲和可選的能量，因此您可以達(dá)到產(chǎn)品預(yù)期的任何優(yōu)化點?！?/p>

簡而言之，封閉部分允許用戶根據(jù)特定特征評估 ML 組件，而開放部分可用于測量解決方案的一部分或全部。在開放分區(qū)中，可以修改模型、訓(xùn)練腳本、數(shù)據(jù)集和參考實現(xiàn)的其他部分以適應(yīng)提交要求。

使用經(jīng)典信號處理清晰聆聽

但回到聲音。音頻 AI 的最終目標(biāo)是能夠完全在邊緣執(zhí)行成熟的自然語言處理 （NLP）。當(dāng)然，這需要比當(dāng)今市場準(zhǔn)備的更多的處理能力、更多的內(nèi)存、更多的功率和更多的成本。

“我想說，我們距離真正的自然語言邊緣還有兩年的時間，”Knowles 的 Shrivastava 說?！拔覀儸F(xiàn)在看到成功的地方是低功耗、基于電池的設(shè)備，這些設(shè)備希望增加語音和語音處理功能。因此，擁有其中一些本地命令或內(nèi)置功能。

“現(xiàn)在還處于早期階段，因為你需要大量資源來理解邊緣的自然語言，而這仍然是云的領(lǐng)域，”他繼續(xù)說道?！霸谶^去的五年里，我們?nèi)匀粵]有看到很多自然語言來到邊緣。但肯定的是，我們正在將特定于上下文的命令的子集移向邊緣。而且我認(rèn)為我們會看到越來越多的這些命令，因為它們適合某些嵌入式流程。

正在開發(fā)的 AI 處理引擎有望更有效地執(zhí)行語音激活、識別和關(guān)鍵字定位，并在邊緣支持更高級、基于自然語言的工作負(fù)載。事實上，Knowles 和 Cadence 都在積極開發(fā)此類解決方案。

但在中短期內(nèi)，仍然需要實時做出語音觸發(fā)驗證等本地決策，同時消耗更少的電量。因此，憑借其對流數(shù)據(jù)進(jìn)行高效浮點處理的傳統(tǒng)，為什么不嘗試將傳統(tǒng) DSP 用于新穎的新應(yīng)用呢？

審核編輯：郭婷