隨著我們朝著更加無處不在、始終在線的傳感和計算邁進，電源變得越來越重要。或許沒有比我們辦公桌上、口袋里和家中分布的聲控設備更能說明這一點的重要例子了。正如我們去年所看到的，關鍵詞識別目前是各種神經形態(tài)技術的目標。

硅耳蝸

2020 年 Misha Mahowald 神經形態(tài)工程獎的獲得者是劉世琦教授和她的團隊，他們一直致力于研究用于檢測語音的低延遲、低功耗傳感器。神經信息學研究所 (INI) 的 Shih-Chii Liu 和她的團隊一直在開發(fā)的動態(tài)音頻傳感器最終可能會解決這個市場。它們的核心是一個硅耳蝸，旨在模仿生物學。首先，使用一組模擬帶通濾波器將傳入的聲音過濾到頻率通道中，其輸出經過半波整流?？傊?，這模擬了耳朵中毛細胞的功能。

在傳統(tǒng)的音頻系統(tǒng)中，首先使用模數(shù)轉換器對聲音進行轉換，然后使用數(shù)字快速傅里葉變換 (FFT) 和帶通濾波 (BPF) 提取特征。這些由運行語音活動檢測 (VAD) 或自動語音識別算法的數(shù)字信號處理器 (DSP) 處理。B. 在 INI-Zurich 動態(tài)音頻傳感器中，信號作為模擬音頻帶從具有特征和變化被接收，并行編碼成異步尖峰（事件）序列，然后對其進行處理。

正如生物學中發(fā)生的那樣，不同的通道隨后準備好在大腦中進行處理。在耳朵中，神經節(jié)細胞將信號編碼為一股化學離子：在硅耳蝸中，它們變成電尖峰。這可以使用經典的集成和觸發(fā)功能或異步增量調制器 (ADM) 來完成，它將信號與兩個閾值進行比較，并在這些閾值通過時發(fā)送適當?shù)氖录?，因此充當特征提取器。由于忽略了不變的信號，因此傳遞到下一階段的冗余信息量減少了。

從功率的角度來看，如果什么都沒發(fā)生，硅耳蝸幾乎不會消耗任何能量，但隨著活動的增加，尖峰的數(shù)量也會增加。根據應用程序的不同，這可能是一個巨大的優(yōu)勢（如果有很多聆聽但很少采取行動）或根本沒有優(yōu)勢（當有相關的東西一直需要解碼時）。

然而，作為在低 μW 范圍內工作的音頻傳感器，該芯片可以為系統(tǒng)設計人員提供一個提高電源效率的寶貴選擇。它還允許非常高的動態(tài)范圍，因為尖峰在連續(xù)時間內運行，幾乎可以無限遠地分開或靠近。

語音識別

這項工作的一個關鍵部分是證明有用性。具體來說，硅耳蝸產生的事件流可用于實際應用，如語音活動檢測、關鍵字識別的第一階段。Liu 和她的團隊通過使用事件輸出創(chuàng)建 2D 數(shù)據幀成功地做到了這一點：到達峰值的直方圖，按頻率排列在幀的 5 毫秒內。稱為耳蝸圖，這些可以被讀入神經網絡并從那里解碼它們的含義。

Liu 表示，“在傳感器上使用深度網絡對 IEEE ISSCC 社區(qū)非常感興趣，并且考慮到當前對音頻邊緣計算的巨大興趣，這非常及時?！?她說，已經有很多關于低功耗 ASIC 用于關鍵字定位的論文，但這些論文使用的是傳統(tǒng)的類似頻譜圖的功能。她的目標之一是“展示混合解決方案（混合模擬信號設計）可以產生具有更低延遲響應的更低功耗設計解決方案?！?/p>

去年 INI 發(fā)布了一段視頻，展示了系統(tǒng)識別數(shù)字的過程（你可以從大約 2:06 看到 Liu）。它遠非萬無一失，但它在系統(tǒng)開發(fā)中仍處于相對早期的階段。多年來，包括 Minhao Yang、Chang Gao、Enea Ceolini、Adrian Huber、Jithendar Anumula、Ilya Kiselev 和 Daniel Neil 的團隊也嘗試了傳感器融合：Liu 和她的同事結合音頻和視覺信息進行分類更可靠[1]。他們一直在發(fā)布初始設計規(guī)則，以選擇何時模擬傳感器具有優(yōu)勢以及何時最好堅持使用數(shù)字傳感器 [2]。

Misha Mahowald，地址事件表示的發(fā)明者之一，神經形態(tài)工程獎就是以他的名字命名的。

另一項持續(xù)的努力涉及提高 DAS 的電源效率和性能。其中一部分涉及查看各個功能的實現(xiàn)，從基于源跟隨器的帶通濾波器到模擬特征提取器的設計。

減少模擬電子設備中可變性的影響是另一個重要的研究領域。他們說，為了解決這個問題，他們構建了一個硬件仿真器，可以比使用 Cadence Virtuoso 等商業(yè)軟件更快地測試這些問題。通過從軟件而不是硬件訓練他們用于分類的二元神經網絡，他們能夠準確預測一系列真實測試芯片的分類性能 [3]。他們現(xiàn)在正在考慮將噪聲添加到系統(tǒng)中作為可變性的代理，以使設計過程更加穩(wěn)健。

馬霍瓦爾德獎

劉是神經形態(tài)工程的早期研究人員之一。她不僅在加州理工學院 Carver Mead 的實驗室工作（Mahowald 曾在那里工作過），而且當該小組中的許多人離開加利福尼亞前往蘇黎世時，她還是神經信息學研究所的創(chuàng)始人之一。

在獲獎時，劉說：“我們非常榮幸能夠獲得這個獎項，尤其是在神經形態(tài)工程領域有這么多優(yōu)秀的研究人員。這項工作建立在 Dick Lyon、Carver Mead、Lloyd Watts、Rahul Sarpeshkar、Eric Vittoz 和 Andre van Schaik 的數(shù)十年早期硅耳蝸設計的基礎上?！?/p>

關于神經形態(tài)工程的重要性，她說：“即使在摩爾定律結束時，數(shù)字計算也將落后于生物學的能源效率至少一千倍。因此，DAS 等混合模擬電子系統(tǒng)的潛在效率變得比以往任何時候都更加重要?！?/p>

參考

[1] D. Neil 和 SC Liu，“Effective sensor fusion with event-based sensors and deep network architectures”，載于Proceedings – IEEE International Symposium on Circuits and Systems，2016 年 7 月，第一卷。2016 年至 7 月，第 2282-2285 頁，doi：10.1109/ISCAS.2016.7539039。

[2] SC Liu、B. Rueckauer、E. Ceolini、A. Huber 和 T. Delbruck，“用于高效感知的事件驅動傳感：視覺和試聽算法”，IEEE 信號處理。麥格。, 卷。36，沒有。6，第 29-37 頁，2019 年 11 月，doi：10.1109/MSP.2019.2928127。

[3] M. Yang, S.-C. Liu、M. Seok 和 C. Enz，“使用受耳蝸啟發(fā)的特征提取和 DNN 分類的超低功耗智能聲學傳感?！?/p>

[4] M. Yang、CH Chien、T. Delbruck 和 SC Liu，“用于事件驅動立體聲音頻傳感的 0.5 V 55 μW 64 × 2 通道雙耳硅耳蝸”，IEEE J. 固態(tài)電路，卷. 51，沒有。11，第 2554-2569 頁，2016 年 11 月，doi：10.1109/JSSC.2016.2604285。

審核編輯 黃昊宇