鈦媒體是國(guó)內(nèi)首家TMT公司人社群媒體,最有鈦度的一人一媒體平臺(tái)，集信息交流融合、IT技術(shù)信息、新媒體于一身的媒體平臺(tái)。鈦坦白，作為鈦媒體旗下的微信公開(kāi)課，匯集行業(yè)大牛鈦客，分享行業(yè)干貨，發(fā)布權(quán)威動(dòng)態(tài)，值得關(guān)注。

人工智能已有60年的發(fā)展歷史，在近兩年，隨著大數(shù)據(jù)、云計(jì)算、深度學(xué)習(xí)的進(jìn)一步發(fā)展，迎來(lái)了又一次發(fā)展高潮。越來(lái)越多相關(guān)公司涌現(xiàn)，越來(lái)越多的資本涌入，越來(lái)越多聲音說(shuō)，人工智能是下一個(gè)風(fēng)口，是未來(lái)的方向，鈦媒體在成功舉辦26期共86位鈦客的分享后，“AI已來(lái)”系列來(lái)了！

數(shù)據(jù)顯示，我國(guó)超過(guò)70%的人工智能公司主攻圖像或語(yǔ)音識(shí)別這兩個(gè)分類。在人工智能覆蓋的眾多領(lǐng)域里，語(yǔ)音技術(shù)無(wú)疑是最接地氣也是落地最快的。鈦坦白“AI已來(lái)”系列分享從“語(yǔ)音/語(yǔ)義識(shí)別”開(kāi)始，邀請(qǐng)了思必馳上海交大聯(lián)合實(shí)驗(yàn)室副主任/上海交通大學(xué)計(jì)算機(jī)科學(xué)與工程系助理教授錢彥旻老師，擔(dān)任本次鈦坦白公開(kāi)課講師，分享《深度學(xué)習(xí)下的語(yǔ)音識(shí)別現(xiàn)狀及有效工具》。

以下為錢彥旻老師分享實(shí)錄：

報(bào)告內(nèi)容分為四個(gè)部分，分別為語(yǔ)音交互發(fā)展現(xiàn)狀、語(yǔ)音識(shí)別技術(shù)、語(yǔ)音識(shí)別技術(shù)有效的開(kāi)源工具、思必馳上海交大實(shí)驗(yàn)室研究成果。

最近三個(gè)月，在語(yǔ)音識(shí)別領(lǐng)域，國(guó)際上包括工業(yè)界和研究界的幾個(gè)大的新聞，一個(gè)是2016年10月，美國(guó)微軟雷德蒙研究院在電話語(yǔ)音識(shí)別的標(biāo)準(zhǔn)庫(kù)Switchboard上報(bào)道達(dá)到5.9%的錯(cuò)誤率。在這個(gè)庫(kù)上，人類的能力大概是5.9%，我們可以看到，機(jī)器的性能已經(jīng)和人類基本達(dá)到了持平。第二個(gè)大的新聞是今年9月，CHIME4國(guó)際多通道語(yǔ)音分離和識(shí)別大賽，最好的系統(tǒng)性能報(bào)道達(dá)到了將近2%的一個(gè)錯(cuò)誤率。第三個(gè)新聞是關(guān)于中文的，近期百度、搜狗、訊飛開(kāi)始連續(xù)三場(chǎng)的發(fā)布會(huì)，展示語(yǔ)音交互系統(tǒng)，識(shí)別性能達(dá)到了97%。

那么，語(yǔ)音識(shí)別的性能已經(jīng)如此之高，我們還有對(duì)它進(jìn)行研究的價(jià)值嗎？

那么我們不妨來(lái)思考一下，語(yǔ)音識(shí)別問(wèn)題真的解決了嗎？

將以上的三個(gè)系統(tǒng)背后的技術(shù)應(yīng)用到我們真實(shí)的一些產(chǎn)品中，比如Apple的Siri，Google的Google Now，微軟的Cortana助手，以及亞馬遜的echo，他的性能如何？事實(shí)上，這里所列的很多技術(shù)都不能很好的工作。這是因?yàn)橐恍┫嚓P(guān)技術(shù)都是針對(duì)特定的任務(wù)以及在特定的環(huán)境下進(jìn)行的。我們了解到，即使是一個(gè)研究比較成熟的英文命令詞識(shí)別系統(tǒng)，給它只要添加一點(diǎn)點(diǎn)的麻煩，比如蘇格蘭口音的英語(yǔ)，它的性能就會(huì)急速的下降。在這些非配合式的語(yǔ)音交互方面，語(yǔ)音識(shí)別的性能遠(yuǎn)遠(yuǎn)沒(méi)有滿足我們的要求，語(yǔ)音識(shí)別的路還很長(zhǎng)。

語(yǔ)音識(shí)別是對(duì)語(yǔ)音內(nèi)容進(jìn)行提取的一把金鑰匙，它的研究可以追溯到半個(gè)世紀(jì)以前。在本世紀(jì)初，基于語(yǔ)音識(shí)別的一些產(chǎn)品也開(kāi)始問(wèn)世，最有代表性的是2000年左右，美軍用于伊拉克戰(zhàn)場(chǎng)的語(yǔ)音到語(yǔ)音翻譯機(jī)。以及2011年蘋(píng)果Apple在Iphone4s上推出了Siri語(yǔ)音助手，之后包括微軟、谷歌、亞馬遜，以及國(guó)內(nèi)的百度、訊飛、思必馳等等也推出了各自基于交互語(yǔ)音的一些產(chǎn)品。國(guó)內(nèi)外的研究機(jī)構(gòu)很多，包括國(guó)外的像幾個(gè)大公司，微軟、谷歌，IBM，亞馬遜，以及國(guó)內(nèi)的百度、訊飛、思必馳等等，學(xué)術(shù)界包括劍橋、MIT、JHU，以及國(guó)內(nèi)的清華大學(xué)，中國(guó)科大、上海交大等等。

語(yǔ)音識(shí)別歷來(lái)是人工智能和機(jī)器學(xué)習(xí)中的經(jīng)典難題之一，他的困難主要可以歸結(jié)為三個(gè)不確定性，也就是說(shuō)話人、環(huán)境和設(shè)備。說(shuō)話人方面，我們不同的人、不同口音、不同方言、不同的說(shuō)話方式、不同的情感應(yīng)用。環(huán)境方面，如各類噪聲、汽車?yán)嚷?、其他的人聲、?huì)場(chǎng)的回聲等等。設(shè)備方面，我們可以用手持麥克風(fēng)、領(lǐng)夾麥克風(fēng)、耳戴麥克風(fēng)、近場(chǎng)遠(yuǎn)場(chǎng)的麥克風(fēng)等等。各個(gè)方面的不確定性都是很大的，真實(shí)應(yīng)用場(chǎng)景下，往往是這三個(gè)因素疊加在一起，變得更加的復(fù)雜，所以如何設(shè)計(jì)一套魯棒的性能好的語(yǔ)音識(shí)別系統(tǒng)，來(lái)很好的處理好這些不確定性，也是非常具有挑戰(zhàn)性。

統(tǒng)計(jì)云識(shí)別的這個(gè)問(wèn)題，如果從數(shù)學(xué)上來(lái)定義，可以歸結(jié)為一個(gè)概率公式，給定觀測(cè)到的語(yǔ)音，得到最大的詞序列，通過(guò)公式展開(kāi)，這個(gè)概率可以歸為兩個(gè)概率，對(duì)應(yīng)到我們語(yǔ)音識(shí)別中的對(duì)應(yīng)的聲學(xué)模型和語(yǔ)言模型。這個(gè)概率可進(jìn)一步分解成四個(gè)概率模型，分別是特征提取、聲學(xué)模型、字典模型、語(yǔ)言模型，在這四個(gè)模塊下，通過(guò)一個(gè)解碼的過(guò)程得到最終的語(yǔ)音識(shí)別結(jié)果?；谒膫€(gè)概率模型建模，即可在一個(gè)龐大的搜索網(wǎng)絡(luò)上進(jìn)行搜索和解碼，實(shí)際應(yīng)用中，搜索網(wǎng)絡(luò)十分復(fù)雜，在這四個(gè)概率的引導(dǎo)下，我們通過(guò)最優(yōu)化的方法將最后的識(shí)別結(jié)果找出來(lái)。

傳統(tǒng)的語(yǔ)音識(shí)別經(jīng)過(guò)前端的信號(hào)處理、特征提取、聲學(xué)模型、語(yǔ)言模型等模塊的優(yōu)化，來(lái)實(shí)現(xiàn)系統(tǒng)識(shí)別，那么自深度學(xué)習(xí)以來(lái)，語(yǔ)音識(shí)別還需要哪些工作呢？

基于深度學(xué)習(xí)的第一代語(yǔ)音識(shí)別系統(tǒng)，將傳統(tǒng)的特征特區(qū)模塊和聲學(xué)建模模塊完成了DNN部分，將傳統(tǒng)的聲學(xué)模型中基于淺層的高斯混合模型替換成了深度神經(jīng)網(wǎng)絡(luò)模型，通過(guò)深度神經(jīng)網(wǎng)絡(luò)模型的多層的非線性建模能力直接預(yù)測(cè)狀態(tài)之間的分布函數(shù)。同時(shí)它通過(guò)自身的深度模型的特征引擎能力，可以從比較原始的語(yǔ)音信號(hào)中提取中比較具有鑒別能力的特征。語(yǔ)音識(shí)別是深度學(xué)習(xí)方法第一個(gè)成功的任務(wù)。自2011年深度學(xué)習(xí)方法提出來(lái)以后，包括微軟、谷歌，IBM，在各個(gè)任務(wù)上，在語(yǔ)音識(shí)別方面，包括電話信道、廣播信道、谷歌的移動(dòng)信道等，基于深度學(xué)習(xí)方法新的語(yǔ)音識(shí)別策略都得到大幅的性能提升。

近五年，深度學(xué)習(xí)方法又得到了進(jìn)一步的發(fā)展。更強(qiáng)大的深度神經(jīng)網(wǎng)絡(luò)被應(yīng)用于語(yǔ)音識(shí)別，包括卷積神經(jīng)網(wǎng)絡(luò)、遞歸神經(jīng)網(wǎng)絡(luò)、長(zhǎng)短時(shí)記憶模型等。最近幾年的發(fā)展是飛速的，識(shí)別性能甚至已經(jīng)達(dá)到了幾乎跟人類持平的水平。

放眼國(guó)內(nèi)，中文語(yǔ)音交互技術(shù)又發(fā)展到怎樣的水平呢？

根據(jù)公開(kāi)發(fā)表的文獻(xiàn)可總結(jié)幾家目前的語(yǔ)音識(shí)別的技術(shù)方案，包括百度、科大訊飛、思必馳，基本上代表了行業(yè)語(yǔ)音識(shí)別研究的最高水平，因?yàn)榘俣扔邪俣壬疃妊芯吭?，訊飛和中國(guó)科學(xué)技術(shù)大學(xué)成立聯(lián)合實(shí)驗(yàn)室，思必馳和我們上海交大成立了聯(lián)合研究實(shí)驗(yàn)室。

百度使用的是CLDNN的模型，科大訊飛采用的是FSMNN模型，而我們思必馳和上海交大采用的是VDCNN極深卷積神經(jīng)網(wǎng)絡(luò)的模型，相比于傳統(tǒng)語(yǔ)音模型僅使用1至2層卷積層，該模型通過(guò)堆疊較小的卷積層和池化層，將語(yǔ)音模型中的卷積層的深度提高到了10層以上。利用小卷積核更加精細(xì)的局部刻畫(huà)能力和頻率不變性描述，能夠更好地在語(yǔ)音模型的內(nèi)部實(shí)現(xiàn)了聲學(xué)自動(dòng)降噪的能力。

語(yǔ)音識(shí)別目前還面臨很多困境，具體表現(xiàn)在：

首先是噪聲魯棒性。噪聲環(huán)境下的魯棒語(yǔ)音識(shí)別一直是語(yǔ)音識(shí)別大規(guī)模應(yīng)用的絆腳石。針對(duì)這個(gè)困境，思必馳上海交大實(shí)驗(yàn)室推出了相應(yīng)的策略，包括環(huán)境感知的深度模型以及神經(jīng)網(wǎng)絡(luò)的快速自適應(yīng)方法，它使一般的深度模型可以對(duì)環(huán)境進(jìn)行實(shí)時(shí)的感知和自適應(yīng)調(diào)整，提高實(shí)現(xiàn)系統(tǒng)性能。另外，我們將極深卷積神經(jīng)網(wǎng)絡(luò)用于抗噪的語(yǔ)音識(shí)別，使系統(tǒng)性能大幅提升。在這個(gè)方面，我們?cè)诮衲暝谡Z(yǔ)音處理的權(quán)威期刊IEEE/ACM Transactions on Audio, Speech and Language Processing上發(fā)表了三篇期刊論文，可供查閱。

在語(yǔ)音識(shí)別的權(quán)威數(shù)據(jù)庫(kù)，噪聲數(shù)據(jù)庫(kù)Aurora4世界最高水平的幾個(gè)研究機(jī)構(gòu)的系統(tǒng)性能的對(duì)比，劍橋大學(xué)在2012年深度學(xué)習(xí)方法出來(lái)以前最好成績(jī)是13.4%的錯(cuò)誤率，2013年微軟發(fā)表的12.4%的錯(cuò)誤率，2014年IBM達(dá)到10%的錯(cuò)誤率，大部分的研究機(jī)構(gòu)最好的識(shí)別性能錯(cuò)別率也在10%左右，2016年上半年，英國(guó)愛(ài)丁堡大學(xué)8.7%的錯(cuò)誤率，2016年7月，我們發(fā)表了一篇論文，達(dá)到7.1%的錯(cuò)誤率。思必馳算法模型的應(yīng)用使得系統(tǒng)巨大的性能提升，在抗噪語(yǔ)音識(shí)別上得到飛速的進(jìn)展，這個(gè)成果在近幾個(gè)月得到廣泛的轉(zhuǎn)載和報(bào)道。

第二個(gè)難點(diǎn)是多類復(fù)雜性。過(guò)去語(yǔ)音識(shí)別系統(tǒng)的設(shè)計(jì)主要是針對(duì)單一環(huán)境、單一場(chǎng)景下進(jìn)行，如何做多類別復(fù)雜場(chǎng)景下的通用的語(yǔ)音識(shí)別是非常困難的。

在這個(gè)方面，思必馳上海交大實(shí)驗(yàn)室去年參加了由英國(guó)BBC公司和EPSRC組辦的國(guó)際挑戰(zhàn)賽，其中我們?cè)谒膫€(gè)單項(xiàng)上均列世界第一，且每個(gè)單項(xiàng)成績(jī)均大幅領(lǐng)先第二名，涉及語(yǔ)音識(shí)別、說(shuō)話人分割聚類、標(biāo)注對(duì)齊、時(shí)序漸進(jìn)語(yǔ)音識(shí)別等技術(shù)，處于行業(yè)領(lǐng)域地位。

第三個(gè)困境是低數(shù)據(jù)資源與多語(yǔ)言。目前大部分語(yǔ)音識(shí)別的研究和應(yīng)用，主要是基于一些大語(yǔ)種，比如英語(yǔ)、漢語(yǔ)、法語(yǔ)等，世界上一共有6900多種語(yǔ)言，雖然實(shí)現(xiàn)一套基于任何語(yǔ)言的語(yǔ)言識(shí)別系統(tǒng)是非常困難。

目前，構(gòu)建一套多語(yǔ)言低數(shù)據(jù)資源的語(yǔ)音識(shí)別系統(tǒng)是非常關(guān)鍵和具有實(shí)際價(jià)值的。就此，我們?cè)诠_(kāi)相同的數(shù)據(jù)環(huán)境下，搭建了相關(guān)系統(tǒng)，我們和美國(guó)約翰霍普金斯大學(xué)的性能做了對(duì)比，我們?cè)谙嗤瑪?shù)據(jù)集合上取得了一個(gè)更優(yōu)的策略。

第四個(gè)困境是低計(jì)算資源。目前大部分的語(yǔ)音識(shí)別的一些應(yīng)用，背后都是基于云端的在線服務(wù)，如何在離線的環(huán)境下，基于有限的硬件資源做低功耗的離線的實(shí)時(shí)的連續(xù)性識(shí)別是非常困難的。

在這個(gè)方面，思必馳上海交大實(shí)驗(yàn)室通過(guò)用CTC模型去取代隱馬模型，將系統(tǒng)性能在速度上提升了7倍多，同時(shí)我們將傳統(tǒng)的基于幀同步的解碼方案替換成音素同步解碼方案，將系統(tǒng)的實(shí)時(shí)率進(jìn)一步提升到20倍，相關(guān)的方法也已發(fā)表在IEEE/ACMTransactions on ASLP的期刊上了。

開(kāi)源工具以及參考書(shū)

第一個(gè)是Kaldi語(yǔ)音識(shí)別開(kāi)源軟件。它是由約翰霍普金斯Dan Povey領(lǐng)導(dǎo)的，由九家著名語(yǔ)音機(jī)構(gòu)13人核心工作組歷時(shí)兩年開(kāi)發(fā)完成的語(yǔ)音識(shí)別開(kāi)源軟件，自2011年發(fā)布以來(lái)，下載量已經(jīng)超過(guò)了兩萬(wàn)多次，合著的論文已被引用一千多次。（錢彥旻老師為該團(tuán)隊(duì)唯一來(lái)自亞洲成員）

第二個(gè)工具是HTK-Hiddden Markov Model Toolkit。語(yǔ)音識(shí)別歷史上第一個(gè)開(kāi)源的工具包，開(kāi)發(fā)者劍橋大學(xué)的前副校長(zhǎng)Steve Young及劍橋大學(xué)智能語(yǔ)音實(shí)驗(yàn)室的主任Phil Woodland教授均為是英國(guó)皇家工程院的院士。

第三個(gè)工具是CUED-RNNLM。2015年由劍橋開(kāi)發(fā)，對(duì)遞歸神經(jīng)網(wǎng)絡(luò)的語(yǔ)言模型進(jìn)行了更好的支持，可以很好的用GPU進(jìn)行加速訓(xùn)練，同時(shí)支持快速的訓(xùn)練和評(píng)估的算法和自適應(yīng)技術(shù)。這套開(kāi)源工具包也被劍橋應(yīng)用于近期各類比賽，取得較好成績(jī)。

目前也有很多比較流行的開(kāi)源的深度學(xué)習(xí)工具，比如微軟的CNTK，谷歌的Tensor flow，以及由dmlc維護(hù)的mxnet，來(lái)自蒙特利爾大學(xué)的Theano，來(lái)自伯克利的Caffe以及來(lái)自紐約大學(xué)的Torch等等。

目前微軟的CNTK，也是上海交大和思必馳所使用的一套深度學(xué)習(xí)的開(kāi)源軟件。它是由微軟的雷德蒙研究院黃學(xué)東博士領(lǐng)導(dǎo)開(kāi)發(fā)的一套計(jì)算網(wǎng)絡(luò)工具包，可以很好的支持對(duì)各種神經(jīng)網(wǎng)絡(luò)，支持各種新奇算法訓(xùn)練，對(duì)比其他開(kāi)源工具，CNTK無(wú)論在單GPU、單機(jī)多卡情況下，還是多機(jī)多卡的情況下，在速度上都有一個(gè)明顯的性能的優(yōu)勢(shì)。

思必馳上海交大實(shí)驗(yàn)室

思必馳是國(guó)內(nèi)為數(shù)不多的擁有完整知識(shí)產(chǎn)權(quán)的語(yǔ)音公司，從縱向上看，它是國(guó)內(nèi)僅有的兩家擁有全面的語(yǔ)音技術(shù)的公司之一，從07年劍橋創(chuàng)立至今已經(jīng)走過(guò)了近十年，擁有豐富的技術(shù)積淀，在2015年的年初，思必馳也首個(gè)提出了認(rèn)知智能概念層次。從橫向上看，思必馳是目前國(guó)內(nèi)唯一一家只針對(duì)智能硬件領(lǐng)域提供語(yǔ)音支持的公司，我們只針對(duì)智能車載、家居、機(jī)器人三個(gè)領(lǐng)域提供解決方案，保證技術(shù)的垂直性和適用性，思必馳不做2C的產(chǎn)品，專注為智能硬件企業(yè)企業(yè)提供純軟的解決方案和軟硬一體化的解決方案。

思必馳是純技術(shù)型的人工智能公司，根據(jù)客戶的不同需求去提供各種實(shí)用且合適的語(yǔ)音方案。如純軟的解決方案，即AIOS對(duì)話操作系統(tǒng)；在軟硬一體化的解決方案方面，思必馳推出了國(guó)內(nèi)首款量產(chǎn)的環(huán)形6+1遠(yuǎn)場(chǎng)麥克風(fēng)陣列、四麥線性方案，并與君正、慶科合作推出帶語(yǔ)音功能的芯片模組。

目前思必馳的業(yè)務(wù)合作領(lǐng)域主要專注在智能硬件領(lǐng)域，包括智能車載、智能家居、智能機(jī)器人。目前在智能車載中，思必馳是阿里YunOS的唯一戰(zhàn)略合作伙伴，2015年10月率先推出了AIOS for Car對(duì)話操作系統(tǒng)，在后端市場(chǎng)上占有率達(dá)到60%，智能后視鏡約為70%，HUD領(lǐng)域約為80%，目前后裝市場(chǎng)占有率是第一。同時(shí)，思必馳也與小鵬汽車、智車優(yōu)行等互聯(lián)網(wǎng)汽車也簽署了合作。在智能家居領(lǐng)域，思必馳已與阿里、騰訊、聯(lián)想、小米、魅族等建立了深度合作關(guān)系，剛剛發(fā)布的小米智能音箱即內(nèi)置了思必馳語(yǔ)音方案。智能機(jī)器人領(lǐng)域，目前生態(tài)尚早，但未來(lái)潛力大，思必馳目前打造了大華小樂(lè)機(jī)器人、360小巴迪、東方網(wǎng)力、金剛蟻小憶機(jī)器人、小蘿卜機(jī)器人等多個(gè)精品案例。

智能語(yǔ)音未來(lái)還有很長(zhǎng)的路要走，思必馳將致力于打造更實(shí)用、更有趣的人機(jī)交互體驗(yàn)，在未來(lái)很長(zhǎng)一段時(shí)間內(nèi)，這都將是我們堅(jiān)持不變的理念和方向。