谷歌今天詳細(xì)介紹了一個(gè)名為WaveNetEQ的AI系統(tǒng)，該系統(tǒng)最近已部署到該公司的跨平臺(tái)語音和視頻聊天應(yīng)用Duo中。

二重奏組可以現(xiàn)實(shí)地合成簡(jiǎn)短的語音片段，以替代因互聯(lián)網(wǎng)連接不穩(wěn)定而導(dǎo)致的亂碼。它的速度足夠快，可以在智能手機(jī)上運(yùn)行，??同時(shí)提供最先進(jìn)的，聽起來自然的音頻質(zhì)量，為將來針對(duì)帶寬受限的環(huán)境進(jìn)行了優(yōu)化的聊天應(yīng)用程序奠定了基礎(chǔ)。

正如Google解釋的那樣，為了確保可靠的實(shí)時(shí)通信，有必要處理接收方需要時(shí)丟失的數(shù)據(jù)包（即，格式化的數(shù)據(jù)單元）。（該公司表示，由于網(wǎng)絡(luò)問題，有99%的Duo呼叫需要處理網(wǎng)絡(luò)問題，而有10%的呼叫損失的音頻持續(xù)時(shí)間超過總音頻持續(xù)時(shí)間的8%。）

如果不連續(xù)傳送新音頻，則會(huì)出現(xiàn)可聽到的小故障和縫隙。會(huì)發(fā)生，但是重復(fù)相同的音頻并不理想，因?yàn)樗鼤?huì)產(chǎn)生偽像并降低總體通話質(zhì)量。

Google的解決方案WaveNetEQ是所謂的丟包遏制模塊，該模塊負(fù)責(zé)創(chuàng)建數(shù)據(jù)以填補(bǔ)由丟包，過度抖動(dòng)和其他事故造成的空白。

在結(jié)構(gòu)上，WaveNetEQ是DeepMind的WaveRNN的修改版本，WaveRNN是一種用于語音合成的機(jī)器學(xué)習(xí)模型，由自回歸和條件調(diào)節(jié)網(wǎng)絡(luò)組成。

自回歸網(wǎng)絡(luò)通過使每個(gè)生成的樣本取決于網(wǎng)絡(luò)的先前輸出來提供短期和中期語音結(jié)構(gòu)，而調(diào)節(jié)網(wǎng)絡(luò)會(huì)影響自回歸網(wǎng)絡(luò)以產(chǎn)生與移動(dòng)速度較慢的輸入特征一致的音頻。