目前，人類使用的語(yǔ)言種類有近7000種，然而由于缺乏足夠的語(yǔ)音-文本監(jiān)督數(shù)據(jù)，絕大多數(shù)語(yǔ)言并沒(méi)有對(duì)應(yīng)的語(yǔ)音合成與識(shí)別功能。為此，微軟亞洲研究院機(jī)器學(xué)習(xí)組聯(lián)合微軟（亞洲）互聯(lián)網(wǎng)工程院語(yǔ)音團(tuán)隊(duì)在ICML 2019上提出了極低資源下的語(yǔ)音合成與識(shí)別新方法，幫助所有人都可以享受到最新語(yǔ)音技術(shù)帶來(lái)的便捷。

基于文本的語(yǔ)音合成（Text-to-Speech, TTS）和自動(dòng)語(yǔ)音識(shí)別（Automatic Speech Recognition, ASR）是語(yǔ)音處理中的兩個(gè)典型任務(wù)。得益于深度學(xué)習(xí)的發(fā)展和大量配對(duì)的語(yǔ)音-文本監(jiān)督數(shù)據(jù)，TTS和ASR在特定的語(yǔ)言上都達(dá)到了非常優(yōu)秀的性能，甚至超越了人類的表現(xiàn)。然而，由于世界上大部分語(yǔ)言都缺乏大量配對(duì)的語(yǔ)音-文本數(shù)據(jù)，并且收集這樣的監(jiān)督數(shù)據(jù)需要耗費(fèi)大量的資源，這使得在這些語(yǔ)言上開發(fā)TTS和ASR系統(tǒng)變得非常困難。為了解決這個(gè)問(wèn)題，微軟亞洲研究院機(jī)器學(xué)習(xí)組聯(lián)合微軟（亞洲）互聯(lián)網(wǎng)工程院語(yǔ)音團(tuán)隊(duì)提出了一種極低資源下的語(yǔ)音合成和識(shí)別的新模型方法，僅利用20分鐘語(yǔ)音-文本監(jiān)督數(shù)據(jù)以及額外的無(wú)監(jiān)督數(shù)據(jù)，就能生成高可懂度的語(yǔ)音。

模型框架

TTS將文本轉(zhuǎn)成語(yǔ)音，而ASR將語(yǔ)音轉(zhuǎn)成文字，這兩個(gè)任務(wù)具有對(duì)偶性質(zhì)。受到這個(gè)啟發(fā)，我們借鑒無(wú)監(jiān)督機(jī)器翻譯的相關(guān)思路，利用少量的配對(duì)語(yǔ)音-文本數(shù)據(jù)以及額外的不配對(duì)數(shù)據(jù)，提出了一種接近無(wú)監(jiān)督的TTS和ASR方法。

首先，我們利用自我監(jiān)督學(xué)習(xí)的概念，讓模型分別建立對(duì)語(yǔ)言以及語(yǔ)音的理解建模能力。具體來(lái)說(shuō)，我們基于不成對(duì)的語(yǔ)音和文本數(shù)據(jù)，利用去噪自動(dòng)編碼器（Denoising Auto-Encoder, DAE）在編碼器-解碼器框架中重建人為加有噪聲的語(yǔ)音和文本。

其次，我們使用對(duì)偶轉(zhuǎn)換（Dual Transformation, DT），來(lái)分別訓(xùn)練模型將文本轉(zhuǎn)為語(yǔ)音和將語(yǔ)音轉(zhuǎn)為文本的能力：（a）TTS模型將文本X轉(zhuǎn)換為語(yǔ)音Y，然后ASR模型利用轉(zhuǎn)換得到語(yǔ)音-文本數(shù)據(jù)（Y，X）進(jìn)行訓(xùn)練; （b）ASR模型將語(yǔ)音Y轉(zhuǎn)換為文本X，然后TTS模型利用文本-語(yǔ)音數(shù)據(jù)（X，Y）進(jìn)行訓(xùn)練。對(duì)偶轉(zhuǎn)換在TTS和ASR之間不斷迭代，逐步提高兩個(gè)任務(wù)的準(zhǔn)確性。

考慮到語(yǔ)音序列通常比其它序列學(xué)習(xí)任務(wù)（如機(jī)器翻譯）的序列更長(zhǎng)，它們將更多地受到錯(cuò)誤傳播的影響（在自回歸模型生成序列時(shí)，序列中上一個(gè)錯(cuò)誤生成的元素將會(huì)對(duì)下一個(gè)元素的生成產(chǎn)生影響）。因此，生成序列的右側(cè)部分通常比左側(cè)部分差，然后通過(guò)訓(xùn)練迭代導(dǎo)致模型生成的序列始終表現(xiàn)為右側(cè)差。在低資源的場(chǎng)景下，這種現(xiàn)象更為嚴(yán)重。因此，我們進(jìn)一步利用文本和語(yǔ)音的雙向序列建模（Bidirectional Sequence Modeling, BSM）來(lái)緩解錯(cuò)誤傳播問(wèn)題。這樣，一個(gè)文本或語(yǔ)音序列可以從左到右生成，也可以從右到左生成，能防止模型始終生成某一側(cè)較差的序列。

最后，我們?cè)O(shè)計(jì)了一個(gè)基于Transformer的統(tǒng)一模型架構(gòu)，可以將語(yǔ)音或文本作為輸入或輸出，以便將上述DAE、DT、BSM模塊整合在一起以實(shí)現(xiàn)TTS和ASR的功能。

如上圖所示，圖（a）描述了DAE和DT的轉(zhuǎn)換流程，圖（b）展示了我們采用的Transformer模型結(jié)構(gòu)，圖（c）顯示了語(yǔ)音和文本的輸入輸出處理模塊。

實(shí)驗(yàn)結(jié)果

為了驗(yàn)證這一方法的有效性，我們?cè)谟⒄Z(yǔ)上模擬低資源的場(chǎng)景，選用LJSpeech數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，LJSpeech包含13100個(gè)英語(yǔ)音頻片段和相應(yīng)的文本，音頻的總長(zhǎng)度約為24小時(shí)。我們將數(shù)據(jù)集分成3組：300個(gè)樣本作為驗(yàn)證集，300個(gè)樣本作為測(cè)試集，剩下的12500個(gè)樣本用來(lái)訓(xùn)練。在這12500個(gè)樣本中，我們隨機(jī)選擇200個(gè)配對(duì)的語(yǔ)音和文本數(shù)據(jù)，剩下的數(shù)據(jù)當(dāng)作不配對(duì)的語(yǔ)音文本數(shù)據(jù)。

我們邀請(qǐng)了30個(gè)專業(yè)評(píng)估員對(duì)生成的聲音進(jìn)行可懂度（Intelligibility Rate）以及MOS（Mean Opinion Score，平均主觀意見(jiàn)分）評(píng)測(cè)。MOS指標(biāo)用來(lái)衡量聲音接近人聲的自然度，在極低資源場(chǎng)景下，我們一般用可懂度來(lái)評(píng)估是否能產(chǎn)生可理解的聲音。

經(jīng)過(guò)實(shí)驗(yàn)，我們提出的方法可以產(chǎn)生可理解的語(yǔ)音，其單詞級(jí)的可懂度高達(dá)99.84％，而如果僅對(duì)200個(gè)配對(duì)數(shù)據(jù)進(jìn)行訓(xùn)練，則幾乎無(wú)法產(chǎn)生可以被聽懂的語(yǔ)音，這顯示出我們方法在極低資源場(chǎng)景下的實(shí)用性。

下面展示了我們方法合成的聲音Demo:

文字：“The forms of printed letters should be beautiful and that their arrangement on the page should be reasonable and a help to the shapeliness of the letters themselves.”

更多Demo聲音，請(qǐng)?jiān)L問(wèn)：

https://speechresearch.github.io/unsuper/

語(yǔ)音合成上的MOS得分以及語(yǔ)音識(shí)別的PER（Phoneme Error Rate，音素錯(cuò)誤率）如下表所示。我們的方法在TTS上達(dá)到2.68的MOS，在ASR上達(dá)到11.7%的PER，遠(yuǎn)優(yōu)于僅在200個(gè)配對(duì)數(shù)據(jù)上訓(xùn)練的基線模型（Pair-200），并且接近使用所有訓(xùn)練樣本的監(jiān)督模型（Supervised）。由于我們的語(yǔ)音合成僅使用了效果較差的Griffin-Lim作為聲碼器合成聲音，作為對(duì)比，我們也列出了真實(shí)樣本（Ground Truth, GT）以及真實(shí)樣本的梅爾頻譜圖通過(guò)Griffin-Lim轉(zhuǎn)換得到的聲音（GT（Griffin-Lim））的MOS得分作參考。

為了研究我們方法中每個(gè)模塊的有效性，我們通過(guò)逐步將每個(gè)模塊添加到基線（Pair-200）系統(tǒng)進(jìn)行對(duì)比研究。實(shí)驗(yàn)中先后添加了以下模塊：去噪自編碼器（DAE）、對(duì)偶變換（DT）和雙向序列建模（BSM），結(jié)果如下表所示?？梢钥吹?，隨著更多模塊的加入，TTS的MOS得分以及ASR的PER都穩(wěn)定地提高，顯示出各個(gè)模塊的重要性。

我們還可視化了測(cè)試集中由不同系統(tǒng)生成的梅爾頻譜圖，如下圖所示。由于Pair-200和Pair-200 + DAE不能產(chǎn)生能被理解的語(yǔ)音，因此紅色邊界框中的梅爾頻譜圖的細(xì)節(jié)也與真實(shí)頻譜大不相同。當(dāng)添加DT時(shí)，整個(gè)頻譜圖更接近真實(shí)頻譜圖，然而受到誤差傳播的影響，位于頻譜圖序列末尾的紅色邊界框細(xì)節(jié)仍然與真實(shí)數(shù)據(jù)不同。當(dāng)進(jìn)一步添加BSM時(shí)，邊界框中的細(xì)節(jié)比較接近真實(shí)數(shù)據(jù)，這也證明了BSM在我們的方法中的有效性。當(dāng)然如果使用LJSpeech的全部配對(duì)數(shù)據(jù)進(jìn)行監(jiān)督訓(xùn)練，模型可以重建更接近真實(shí)情況的細(xì)節(jié)。

我們的方法僅利用約20分鐘的語(yǔ)音-文本配對(duì)數(shù)據(jù)，以及額外的不配對(duì)數(shù)據(jù)，在英語(yǔ)上取得了很好的效果，產(chǎn)生了高可懂度的語(yǔ)音。當(dāng)前，我們正在持續(xù)提高這一方法的性能，直接支持文本字符的輸入而不是先將字符轉(zhuǎn)化為音素作為輸入，同時(shí)支持多個(gè)說(shuō)話人的無(wú)監(jiān)督語(yǔ)音數(shù)據(jù)。我們還在嘗試?yán)酶俚恼Z(yǔ)音-文本數(shù)據(jù)（甚至完全不用配對(duì)數(shù)據(jù)）以實(shí)現(xiàn)高質(zhì)量的語(yǔ)音合成與語(yǔ)音識(shí)別。未來(lái)，我們將利用這項(xiàng)技術(shù)支持其它低資源語(yǔ)言，讓更多的語(yǔ)言擁有語(yǔ)音合成與識(shí)別功能。