語(yǔ)音合成，也被稱(chēng)作TTS（text-to-speech），該技術(shù)的應(yīng)用目前已十分廣泛了，例如智能家居設(shè)備和智能助手等，論智也曾報(bào)道過(guò)很多相關(guān)研究項(xiàng)目。

百度研究者利用少量樣本實(shí)現(xiàn)語(yǔ)音克隆

谷歌發(fā)布新語(yǔ)音合成模型Tacotron 2：這竟是機(jī)器說(shuō)的話？

谷歌大腦發(fā)力語(yǔ)音搜索：一個(gè)用于語(yǔ)音識(shí)別的端到端模型

近日，百度研究院推出了他們有關(guān)TTS的成果——ClariNet，成為百度在TTS研究上的又一里程碑。此前基于神經(jīng)內(nèi)網(wǎng)絡(luò)的TTS模型是將優(yōu)化的文本到聲譜圖和波形合成模型分開(kāi)來(lái)的，這可能會(huì)導(dǎo)致不理想的表現(xiàn)。而ClariNet第一次做到了用完全的端到端TTS模型，直接將文本轉(zhuǎn)換成波形圖，并且只需要一個(gè)神經(jīng)網(wǎng)絡(luò)即可。它的全卷積結(jié)構(gòu)能夠從零開(kāi)始快速地訓(xùn)練。ClariNet在語(yǔ)音的自然度方面成功地超越了其他方法。以下是論智對(duì)這篇論文的編譯。

論文摘要

WaveNet是DeepMind去年推出的基于深度學(xué)習(xí)的語(yǔ)音生成模型，它可以生成平行的語(yǔ)音波形，即整個(gè)句子中所有的詞語(yǔ)都可以同時(shí)生成對(duì)應(yīng)的波形。現(xiàn)在，我們提出了一種替代WaveNet的方法，我們從自回歸的WaveNet中提取一個(gè)高斯逆自回歸流（Gaussian Inverse autoregressive flow），并且以閉合形式計(jì)算KL散度，簡(jiǎn)化了訓(xùn)練算法并且提供了非常高效的蒸餾過(guò)程。除此之外，我們還提出了首個(gè)針對(duì)語(yǔ)音合成的文本到波形的神經(jīng)架構(gòu)（text-to-wave），這是全卷積的，并且可以快速地從零開(kāi)始進(jìn)行端到端訓(xùn)練。除此之外，我們還成功地在模型的隱藏表示中創(chuàng)建了并行波形生成器。

并行波形生成

在模型中，我們用高斯自回歸WaveNet作為“老師網(wǎng)絡(luò)”，將高斯逆自回歸流作為“學(xué)生網(wǎng)絡(luò)”。2018年，Oord等人提出了概率密度蒸餾法來(lái)降低逆自回歸流（IAF）的最大可能學(xué)習(xí)中的難度。蒸餾過(guò)程中，學(xué)生網(wǎng)絡(luò)IAF試著將它自己的樣本分布與在自回歸的WaveNet中訓(xùn)練的樣本相匹配。然而，學(xué)生網(wǎng)絡(luò)IAF的輸出邏輯分布和教師網(wǎng)絡(luò)WaveNet的輸出之間的KL散度是不相容的，必須使用蒙特卡羅方法進(jìn)行大概計(jì)算。而最終并行的WaveNet需要在蒸餾過(guò)程中進(jìn)行雙次采樣：首先要將白噪聲輸入到學(xué)生網(wǎng)絡(luò)中，然后從學(xué)生網(wǎng)絡(luò)的輸出分布中選擇多個(gè)不同樣本對(duì)KL散度進(jìn)行估計(jì)。

但是在我們的模型中，加入了高斯設(shè)置，密度蒸餾方法只需要一個(gè)白噪聲樣本，然后將其輸入封閉的KL散度計(jì)算中。我們的學(xué)生IAF網(wǎng)絡(luò)在蒸餾過(guò)程中和老師WaveNet使用同一個(gè)條件網(wǎng)絡(luò)（2D卷積層）。

Text-to-Wave架構(gòu)

我們的卷積text-to-wave架構(gòu)如下圖所示：

它是基于另一個(gè)基于注意力的卷積TTS模型——Deep Voice 3創(chuàng)建的。Deep Voice 3能夠?qū)⑽谋咎卣鳎ɡ缱址?、音素、?qiáng)調(diào)等）轉(zhuǎn)換成波譜特征（例如log-mel聲譜和log-linear聲譜）。這些波普特征可以輸入到訓(xùn)練波形合成的模型中，例如WaveNet。相反，我們直接將從注意力機(jī)制中學(xué)習(xí)到的隱藏表示輸入到神經(jīng)語(yǔ)音編碼器中，用端到端的方式從零訓(xùn)練整個(gè)模型。

我們所提出的架構(gòu)包含四個(gè)部分：

編碼器：一個(gè)和Deep Voice 3相同的編碼器，它可以將文本特征編寫(xiě)進(jìn)內(nèi)部的隱藏表示。

解碼器：同樣和Deep Voice 3相同，可以用自回歸的方式將編碼器中的內(nèi)容加碼城log-mel聲譜。

Bridge-net：這是一個(gè)卷積中間處理模塊，它可以從解碼器中處理隱藏表示，并且預(yù)測(cè)log-linear聲譜。與解碼器不同的是，它并非是因果聯(lián)系的，并且可以使用未來(lái)的語(yǔ)境。另外，它還可以從框架層到采樣層對(duì)隱藏表示進(jìn)行上采樣。

語(yǔ)音編碼器：高斯自回歸WaveNet可以合成波形，但是只能在上采樣后的隱藏表示中實(shí)現(xiàn)。而它可以由自回歸語(yǔ)音編碼器的學(xué)生IAF網(wǎng)絡(luò)替換。

實(shí)驗(yàn)過(guò)程

我們進(jìn)行了幾組實(shí)驗(yàn)來(lái)評(píng)估所提出的并行波形生成方法和text-to-wave結(jié)構(gòu)。我們用了20個(gè)小時(shí)的英文演講作為訓(xùn)練數(shù)據(jù)，下采樣后音頻變?yōu)?4kHz。

首先我們測(cè)試了生成語(yǔ)音的自然程度，用MOS分?jǐn)?shù)表示：

結(jié)果表示，高斯自回歸WaveNet和MoGul以及softmax輸出水平相當(dāng)，比MoL要好。

接著我們將一個(gè)60層的并行學(xué)生網(wǎng)絡(luò)從20層的高斯自回歸WaveNet中進(jìn)行蒸餾，它包括6個(gè)堆疊的高斯逆自回歸流，每個(gè)流都由一個(gè)10層的WaveNet進(jìn)行參數(shù)化。我們測(cè)試了前向和逆向KL散度，結(jié)果如下：

兩種蒸餾方法都得到了不錯(cuò)的分?jǐn)?shù)，我們希望未來(lái)加入感知和對(duì)比損失后會(huì)進(jìn)一步提升。

最后我們從零訓(xùn)練了text-to-wave模型，并將其與Deep Voice 3中的同類(lèi)模型相比，結(jié)果如下：

該分?jǐn)?shù)表明text-to-wave模型明顯比其他模型表現(xiàn)得好，并且有經(jīng)過(guò)蒸餾的語(yǔ)音編碼器的模型呢自回歸神經(jīng)編碼器的表現(xiàn)水平相當(dāng)。

結(jié)語(yǔ)

百度在語(yǔ)音合成方面的確做出了許多努力，今年三月，他們還推出了神經(jīng)語(yǔ)音克隆系統(tǒng)，只需輸入少量樣本就能合成逼真語(yǔ)音。而今天的ClariNet是語(yǔ)音合成的又一里程碑，是該領(lǐng)域第一個(gè)真正的端到端模型，在GPU上取得了更高質(zhì)量的結(jié)果。