語音輔助技術(shù)使用戶能夠使用語音命令與他們的設備進行交互，并且依靠準確的語音識別來確保對特定用戶的響應。但是在許多實際的使用案例中，這類技術(shù)的輸入一般由重疊的語音組成，這給許多語音識別算法帶來了巨大的挑戰(zhàn)。

2018年，我們推出了VoiceFilter系統(tǒng)，該系統(tǒng)利用了谷歌的Voice Match，通過允許用戶注冊和登記自己的語音，實現(xiàn)與輔助技術(shù)的個性化交互。

雖然VoiceFiltr的方法很成功，并且實現(xiàn)了比傳統(tǒng)方法更好的信噪比（SDR），但高效的設備上流媒體語音識別需要解決模型大小、CPU、內(nèi)存限制和電池使用注意事項和延遲最小化等的限制。

在“Voice Filter-lite方面：針對面向設備上語音識別的流媒體目標語音分離”中，我們推出了針對設備上使用的Voice Filter的更新，該更新可以通過利用選定發(fā)言人的注冊語音來達到顯著提高和改善重疊語音的語音識別。重要的是，該模型可以很容易地與現(xiàn)有的設備語音識別應用程序集成，允許用戶在極其嘈雜的條件下訪問語音輔助功能，即使互聯(lián)網(wǎng)連接不可用。我們的實驗表明，一個2.2MB的voice filer-lite模型在重疊語音上可以使誤詞率（WER） 改善25.1% 。

改進設備上的語音識別

雖然最初的VoiceFilter系統(tǒng)非常成功地將目標發(fā)言人的語音信號從其他重疊的信號源中分離出來，但它的模型大小、計算成本和延遲，對于移動設備上的語音識別是不可行的。

新的Voice Filter-Lite系統(tǒng)經(jīng)過精心設計，與設備上的應用程序相適應。Voice Filter-Lite不需要處理音頻波形，而是采用與語音識別模型完全相同的輸入特征功能（stacked log Mel-filterbanks堆疊的對數(shù)Mel濾波器組） ， 并通過實時過濾掉不屬于目標說話者的組成部分來直接增強這些特征。加上對網(wǎng)絡拓撲的多項優(yōu)化，運行時操作的數(shù)量大大減少。在使用Tensor Flow Lite庫對神經(jīng)網(wǎng)絡進行量化后，模型大小只有2.2MB，適合大多數(shù)設備上的應用程序。

為了訓練Voice Filter-Lite模型，將帶噪聲語音的濾波器組與代表目標發(fā)言人身份的嵌入向量（i.e.ad-vector d矢量）一起被輸進網(wǎng)絡。該網(wǎng)絡預測了一個掩碼，將其與輸入逐元素相乘，從而產(chǎn)生增強的過濾庫。在訓練過程中，我們定義了一個損失函數(shù)來最小化增強濾波器組和干凈語音的濾波器組之間的差異。

Voice Fliter-Lite系統(tǒng)的模型架構(gòu)

Voice Filter-Lite是一種即插即用的模型，它允許實如果說話者沒有登記他們的聲音，那么實現(xiàn)它的應用程序可以輕松地繞過它。這也意味著語音識別模型和Voice Filer-Lite模型可以分別進行訓練和更新，這在很大程度上降低了部署過程中的工程復雜性。

作為即插即用模型，如果發(fā)言人沒有注冊他們的聲音，Voice Fliter-Lite可以很輕易地被忽略。

應對過度抑制的挑戰(zhàn)

當使用語音分離模型來改進語音識別時，可能會出現(xiàn)兩種類型的錯誤：抑制不足，即模型無法濾除信號中的噪聲成分；以及過度抑制，當模型不能保留有用的信號時，導致一些單詞從識別的文本中丟失。過度抑制問題尤其嚴重，因為現(xiàn)代語音識別模型通常已經(jīng)使用大量的增強數(shù)據(jù)（如房間模擬和SpecAugment） 進行訓練，因此對抑制不足更有魯棒性。

Voice Filter-Lite通過兩種新方法解決了過度抑制的問題。首先，它在訓練過程中使用了非對稱性損失，使得模型對過度抑制的容忍度低于抑制不足的。其次，它對運行時的噪聲類型進行預測，并根據(jù)預測結(jié)果自適應地調(diào)整抑制強度。

當檢測重疊語音時，Voice Filter-Lite自適應地應用更強的抑制強度。

通過這兩種解決方案，Voice Filter-Lite模型在其他場景（如安靜或各種噪聲條件下的單揚聲器語音）的流媒體語音識別方面保持了出色的性能，同時在重疊語音方面仍然提供了顯著的改進。從我們的實驗中，我們觀察到將2.2MB Voice Filter-Lite模型應用于附加性重疊語音后，單詞錯誤率改善了25.1%。對于混響重疊語音，模擬遠場設備（如智能家庭揚聲器）是一項更具挑戰(zhàn)性的任務， 我們還觀察到使用Voice Filter-Lite可以改善14.7%的單詞錯誤率。

未來的工作

雖然Voice-Filter Lite在各種設備語音應用程序中顯示出了巨大的潛力，但我們也在探索其他幾個方向，以使Voice-Filter Lite更有用。首先，我們目前的模型只用英語語音進行訓練和評估。我們很高興能夠采用同樣的技術(shù)來改進更多語言的語音識別。其次，我們想在訓練Voice Filter-Lite的過程中直接優(yōu)化語音識別損失，這可能會進一步提高語音識別，而不僅僅是重疊語音。

感謝

本文所描述的研究代表了谷歌中多個團隊的共同努力。貢獻者包括Quan Wang， Ignacio Lopez Moreno， Mert Saglam， Kevin Wilson， Alan Chiao， Renjie Liu， Yanzhang He， Wei Li， Jason Pelecanos， Philip Chao， Sinan Akay， John Han， Stephen Wu， Hannah Muckenhirn， Ye Jia， Zelin Wu， Yiteng Huang， Marily Nika， Jaclyn Konzelmann， Nino Tasca， and Alexander Gruenstein.Share on Twitter Share on Facebook在Twitter上的分享，在Facebook上的分享。

責任編輯：lq