目前，谷歌的各種語音搜索應(yīng)用還在使用傳統(tǒng)的自動語音識別（ASR）系統(tǒng)，它包括一個包括聲學(xué)模型（AM ）、一個發(fā)音模型（PM）和一個語言模型（LM），它們都是彼此獨立訓(xùn)練的，而且需要研究人員在不同數(shù)據(jù)集上進行手動調(diào)試。例如，當(dāng)聲學(xué)模型采集到一些聲波特征，它會參考上下文中的音素，有時甚至是一些無關(guān)的音素來生成一系列subword單元預(yù)測。之后，發(fā)音模型會在手工設(shè)計的詞典中為預(yù)測音素映射序列，最后再由語言模型根據(jù)序列概率分配單詞。

和聯(lián)合訓(xùn)練所有組件相比，這種對各模型進行獨立訓(xùn)練其實是一種次優(yōu)的選擇，它會使整個過程更復(fù)雜。在過去幾年中，端對端系統(tǒng)開發(fā)越來越受歡迎，它們的思路是把這些獨立的組件組合成一個單一系統(tǒng)共同學(xué)習(xí)，但一個不可忽視的事實是，雖然端對端模型在論文中表現(xiàn)出了一定的希望，但沒人真正確定它們比傳統(tǒng)的做法效果更優(yōu)。

為了驗證這一點，近日，谷歌推薦了一篇由Google Brain Team發(fā)表的新論文：State-of-the-art Speech Recognition With Sequence-to-Sequence Models，介紹了一種新的、在性能上超越傳統(tǒng)做法的端對端語音識別模型。論文顯示，相較于現(xiàn)在最先進的語音識別工具，谷歌新模型的字錯誤率（WER）只有5.6%，比前者的6.7％提升了16%。此外，在沒有任何預(yù)測評分的前提下，用于輸出初始字假設(shè)的端對端模型在體量上是傳統(tǒng)工具的十八分之一，因為它不包含獨立的語言模型和發(fā)音模型。

這個新模型的系統(tǒng)建立在Listen-Attend-Spell（LAS）端到端體系結(jié)構(gòu)上，該結(jié)構(gòu)由3部分組成，其中Listen組件的編碼器和標(biāo)準(zhǔn)聲學(xué)模型類似，把時頻語音信號x作為輸入，并用一組神經(jīng)網(wǎng)絡(luò)層將輸入映射為一個高水平的表征henc。Attend接收前者編碼器的輸出，并用henc來學(xué)習(xí)輸入x和預(yù)測subword單元{yn, … y0}之間的對齊。其中每個subword單元通常是字形或詞形。組合，Attend組件將輸出傳輸給Spell組件（解碼器），它類似語言模型，能產(chǎn)生一組預(yù)測字詞的概率分布。

不同于傳統(tǒng)的獨立訓(xùn)練，LAS的所有組件都在一個單一的端到端神經(jīng)網(wǎng)絡(luò)中聯(lián)合訓(xùn)練，這意味著它更簡單方便。此外，由于LAS是一個徹底的神經(jīng)網(wǎng)絡(luò)，所以它不需要外部增設(shè)手工組件，例如有窮狀態(tài)轉(zhuǎn)移機、lexicon或TN模型。最后，LAS不需要像傳統(tǒng)模型一樣用單獨系統(tǒng)生成的決策樹或time alignment來做Bootstrap，它可以在給定文本轉(zhuǎn)錄和相對應(yīng)音頻資料的情況下直接訓(xùn)練。

在論文中，谷歌大腦團隊還介紹他們在LAS中引入各類新穎的結(jié)構(gòu)對神經(jīng)網(wǎng)絡(luò)做了調(diào)整，包括改進傳遞給解碼器的attention vector，以及用更長的subword單元對網(wǎng)絡(luò)進行訓(xùn)練（如wordpiece）。他們也用了大量優(yōu)化訓(xùn)練方法，其中就有使用最低錯詞率進行訓(xùn)練。這些創(chuàng)新都是端到端模型較傳統(tǒng)性能提升16%的原因。

這項研究另一個值得興奮的點是多方言和多語言系統(tǒng)，這可能開啟一些潛在應(yīng)用，由于它是一個經(jīng)優(yōu)化的單個神經(jīng)網(wǎng)絡(luò)，模型的簡單性使它獨具吸引力。在LAS中，研究人員可以將所有方言、語言數(shù)據(jù)整合在一起進行訓(xùn)練，而無需針對各個類別單獨設(shè)置AM、PM和LM。據(jù)論文介紹，經(jīng)測試，谷歌的這個模型在7種英語方言、9種印度語言上表現(xiàn)良好，并超越了對照組的單獨訓(xùn)練模型。

雖然這個數(shù)據(jù)結(jié)果令人興奮，但這暫時還不是一個真正成熟的工作，因為它還不能實時處理語音，而這是它被用于語音搜索的一個重大前提。此外，這些模型生成的數(shù)據(jù)和實際數(shù)據(jù)仍存在不小的差距，它們只學(xué)習(xí)了22000個音頻文本對話，在語料庫數(shù)據(jù)積累上遠比不上傳統(tǒng)方法。當(dāng)面對一些罕見的詞匯時，比如一些人工設(shè)計的專業(yè)名詞、專有名詞，端到端模型還不能正確編寫。因此，為了讓它們能更實用、適用，谷歌大腦的科學(xué)家們未來仍將面臨諸多問題。