科大訊飛日前在全球最具影響力的口語機器翻譯評測比賽IWSLT中，獲得了語音翻譯端到端模型評測的冠軍，還成為英德口語翻譯任務(wù)中唯一受邀做Oral report的參賽團隊。端到端技術(shù)是當前語音翻譯的研究前沿，科大訊飛聯(lián)合優(yōu)化語音識別和機器翻譯的新技術(shù)路線，理論上更具前景，一旦技術(shù)研究成功，將為翻譯機器性能的提升帶來極大促進。

提問：語音翻譯涉及哪些步驟？

你或許會說，語音識別和機器翻譯——沒錯，傳統(tǒng)的語音翻譯通常采用語音識別和機器翻譯級聯(lián)的方式實現(xiàn)，對輸入語音先進行語音識別得到文本結(jié)果，然后再基于文本進行機器翻譯，這也是當前語音翻譯采用的主流方法。

不過，由于口語句子中含有大量非規(guī)范語言現(xiàn)象，例如重復(fù)、省略、顛倒，以及語義邏輯不清，斷句困難等問題，導(dǎo)致后續(xù)機器翻譯帶來嚴重的挑戰(zhàn)。此外，復(fù)雜環(huán)境下語音識別受發(fā)音人口音、環(huán)境噪聲，以及和語言中存在的同音詞、易混淆詞等復(fù)雜音素的影響也存在著識別錯誤，對最終機器翻譯性能也可能帶來影響。

因此，實際應(yīng)用系統(tǒng)中，通常會在語音識別和機器翻譯之間增加一個語音識別后處理模塊，通過對識別結(jié)果進行規(guī)整、斷句、順滑、標點預(yù)測，甚至糾錯來盡可能地減小口語化和識別錯誤的影響。

不過，受語音和語言復(fù)雜性的影響，截止到目前為止，這些問題并沒有被真正解決。

在剛剛結(jié)束的2018年國際口語機器翻譯評測比賽（International Workshop on Spoken Language Translation，IWSLT）中，科大訊飛團隊在端到端模型（End-to-End Model）的評測比賽中，以顯著優(yōu)勢奪得第一名。該獎項也是科大訊飛今年在各項國際競賽中的第9個“世界冠軍”。

端到端語音翻譯技術(shù)路線，是通過構(gòu)造一個完整的神經(jīng)網(wǎng)絡(luò)模型，聯(lián)合優(yōu)化語音識別、識別后處理和機器翻譯，建立源語言語音信號到目標語言文字的映射關(guān)系，進而實現(xiàn)從原始語音到目標譯文的翻譯。

這提供了一種解決語音翻譯的新思路，而且從目前看是初步可行的。一旦技術(shù)研究成功，理論上可以讓語音翻譯更準更快，未來也將為翻譯機器性能的提升帶來極大促進。

國際頂級口語機器翻譯評測比賽 IWSLT，推動語音翻譯新方向

IWSLT是國際上最具影響力的口語機器翻譯評測比賽之一，重點關(guān)注口語，實現(xiàn)語音到文本的翻譯，從而解決人和人交流的問題。

到目前為止，IWSLT已經(jīng)舉辦了15屆，吸引了全球70多家科研團隊的參與。IWSLT針對語音翻譯實際應(yīng)用面臨的難題，通過每年設(shè)定一些研究任務(wù)，并向外界提供公開的數(shù)據(jù)集合和評測交流機會，吸引了來自全球的科研團隊參與，對于推動語音翻譯技術(shù)創(chuàng)新和知識共享具有重要的意義。

除了科大訊飛，IWSLT 2018吸引了世界各地多所機器翻譯領(lǐng)域的知名大學(xué)及研究所參加，包括英國愛丁堡大學(xué)（University of Edinburgh）、美國約翰霍普金斯大學(xué)（JHU）、德國卡爾斯魯厄理工學(xué)院（KIT）、意大利Bruno Kessler 基金會（FBK）、芬蘭赫爾辛基大學(xué)（Helsinki），以及國內(nèi)的阿里巴巴、搜狗等。

本次比賽包括兩個主要任務(wù)，一是英語到德語演講場景下的語音翻譯任務(wù)；二是巴斯克語到英語的低資源文本翻譯任務(wù)。

其中，在英語到德語的語音翻譯任務(wù)上，主辦方在今年提出了兩種評測方案：

傳統(tǒng)路線，也即語音識別、識別后處理、機器翻譯分而治之，稱之為基線模型（baseline Model）；

端到端模型（End-to-end Model），將語音識別、識別后處理和機器翻譯統(tǒng)一起來聯(lián)合優(yōu)化，能夠在一定程度上避免傳統(tǒng)基線模型中存在的識別錯誤擴散等問題，是一種新的思路，理論上更具前景。

端到端模型是當前口語翻譯研究領(lǐng)域的前沿，隨著深度學(xué)習(xí)的進步，研究人員開始探索通過構(gòu)造一個完整的神經(jīng)網(wǎng)絡(luò)模型，建立語音信號到目標文字的映射關(guān)系。

該方法通過將語音識別、識別后處理和機器翻譯統(tǒng)一起來聯(lián)合優(yōu)化，為解決傳統(tǒng)級聯(lián)方案分而治之中存在的難題提供了一種新的思路。例如，2017年Interspeech會議上，谷歌研究人員就將該方法應(yīng)用到西班牙到英語的語音翻譯任務(wù)上，取得初步成效。

引入這一新的評測方案，也體現(xiàn)了IWSLT主辦方引導(dǎo)科研探索，推動語音翻譯技術(shù)不斷進步的努力。

科大訊飛勇于挑戰(zhàn)新路線，端到端語音翻譯獲得第一

科大訊飛參與了口語翻譯的兩種評測，并且是唯一參與端到端模型這種新技術(shù)路線的中國團隊。不僅如此，科大訊飛還作為唯一受組委會邀請的語音翻譯任務(wù)參賽團隊、進行Oral report，向與會人員分享兩種技術(shù)路線研究所采用的方法，對促進語音翻譯新技術(shù)的進步具有重要作用。

因為語言和語音本身的復(fù)雜性，新技術(shù)路線對統(tǒng)一建模需要很強的語音處理能力和調(diào)序能力，加之語言本身受到口語表達、環(huán)境噪聲的干擾，所以端到端技術(shù)路線要實現(xiàn)從原始語音到目標文本的翻譯，就是難上加難。

值得一提，賽事提供的公開數(shù)據(jù)集合中，能夠為端到端模型方法提供直接的有監(jiān)督數(shù)據(jù)是小規(guī)模的。要在3個月的時間里，在小規(guī)模數(shù)據(jù)上構(gòu)建一套高性能的端到端語音翻譯系統(tǒng)，非常具有挑戰(zhàn)性。

基于語音和機器翻譯上雄厚的技術(shù)積累，訊飛研究團隊針對端到端語音翻譯任務(wù)開展了探索性研究，最終在英德語音翻譯任務(wù)的端到端模型評測方案上獲得了第一名（與第二名BLEU分數(shù)拉開9個百分點，一般而言，提升3個百分點就能明顯體會到系統(tǒng)的優(yōu)劣差異）。

不僅如此，在基線模型評測中，科大訊飛也取得了第二名的好成績。

“比賽的成績只是一方面，我們看重的是在源頭技術(shù)、新技術(shù)上進行探索，”科大訊飛的研究人員表示。

“我們參加了本次IWSLT評測的語音翻譯任務(wù)，在基于傳統(tǒng)的基線模型中，針對語音識別文本結(jié)果和機器翻譯訓(xùn)練數(shù)據(jù)源語言文本風(fēng)格不匹配問題，提出了對源語言文本逆變換以適配識別風(fēng)格的方法，提高了語音翻譯的魯棒性。在端到端模型中，提出了基于DenseNet和BiLSTM編碼，以及基于自注意力機制解碼的端到端建模方案。實驗結(jié)果表明，盡管當前端到端模型的效果低于傳統(tǒng)方法，但從結(jié)果來看也證明該方法具有一定的可行性，整體系統(tǒng)框架也更加簡潔優(yōu)雅，有望為語音翻譯提供一種新的解決思路?！?/p>

客觀評價語音翻譯端到端技術(shù)，數(shù)據(jù)將是一大瓶頸和障礙，因為語音識別的數(shù)據(jù)已積累了上十萬小時、機器翻譯的數(shù)據(jù)搜集也達到千萬甚至上億，但端到端的模型，需要專門的語音到文本的句對，這方面的數(shù)據(jù)目前積累不夠，若要商業(yè)化，還需要更大的數(shù)據(jù)支撐。

對此，科大訊飛研究團隊表示，“由于語音翻譯任務(wù)的復(fù)雜性以及訓(xùn)練數(shù)據(jù)搜集的困難，無論傳統(tǒng)的基線模型方案還是最新提出的端到端語音翻譯方案，在實際應(yīng)用中都還面臨一系列的難題，需要學(xué)術(shù)界和產(chǎn)業(yè)界共同努力?！?/p>

至于端到端的新技術(shù)，“如果能減少對有監(jiān)督語音翻譯平行數(shù)據(jù)的依賴那是最好不過，而且這存在一定的可能性，例如可以嘗試借用現(xiàn)有的語音識別訓(xùn)練數(shù)據(jù)和機器翻譯訓(xùn)練數(shù)據(jù)，我們正在努力探索?！?/p>