本文來自華為諾亞方舟實(shí)驗(yàn)室資深專家劉曉華在攜程技術(shù)中心主辦的深度學(xué)習(xí)Meetup中的主題演講，介紹了華為諾亞面向語(yǔ)音語(yǔ)義的深度學(xué)習(xí)進(jìn)展。
　　本次演講簡(jiǎn)要回顧了深度學(xué)習(xí)近十年進(jìn)展，重點(diǎn)介紹華為諾亞方舟實(shí)驗(yàn)室最近兩年內(nèi)和深度學(xué)習(xí)相關(guān)的研究成果，并探討了深度學(xué)習(xí)的未來趨勢(shì)。
　　深度學(xué)習(xí)的近十年進(jìn)展
　　深度學(xué)習(xí)為什么現(xiàn)在這么火？大數(shù)據(jù)、算法突破和計(jì)算能力。算法上有什么樣的突破？第一點(diǎn)，對(duì)多層神經(jīng)網(wǎng)絡(luò)做預(yù)訓(xùn)練。第二點(diǎn)，大量標(biāo)注數(shù)據(jù)驅(qū)動(dòng)的監(jiān)督學(xué)習(xí)和防過擬合技術(shù)的結(jié)合，例如dropout。第三點(diǎn)，注意力模型。特別是2012年來，深度學(xué)習(xí)在語(yǔ)音、圖片、視頻識(shí)別，包括自然語(yǔ)言處理方面取得重大突破等。
　　


　　語(yǔ)音識(shí)別方面：基于深度神經(jīng)網(wǎng)絡(luò)的聲音模型替隱馬爾可夫框架下的基于混合高斯分布的升學(xué)模型，使語(yǔ)音識(shí)別取得了突破性進(jìn)展。目前完全融合了聲學(xué)模型、語(yǔ)言模型和聲學(xué)詞典的基于深度學(xué)習(xí)的端到端的語(yǔ)音識(shí)別系統(tǒng)也開始出現(xiàn)，并有可能演進(jìn)為下一代的語(yǔ)音識(shí)別系統(tǒng)。
　　圖像識(shí)別：2011年，基于深度卷積神經(jīng)網(wǎng)絡(luò)的圖像識(shí)別系統(tǒng)在ImageNet數(shù)據(jù)集上取得極大成功，并開始有成功的商業(yè)化應(yīng)用。
　　自然語(yǔ)言處理：自2014年始，深度學(xué)習(xí)在語(yǔ)法分析、機(jī)器翻譯、對(duì)話等領(lǐng)域都取得了一系列重要成果。
　　符號(hào)人工智能：深度學(xué)習(xí)開始進(jìn)入知識(shí)表達(dá)和推理等傳統(tǒng)人工智能的領(lǐng)域，并取得了初步成功。
　　控制/強(qiáng)化學(xué)習(xí)：深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)結(jié)合催生了深度強(qiáng)化學(xué)習(xí)技術(shù)，該技術(shù)在控制領(lǐng)域，如游戲操作和機(jī)器人的控制的端到端學(xué)習(xí)（end-to-end learning），都有了令人矚目的成功。
　　諾亞語(yǔ)音語(yǔ)義方面深度學(xué)習(xí)相關(guān)研究
　　華為諾亞方舟實(shí)驗(yàn)室已經(jīng)成為中國(guó)在深度自然語(yǔ)言處理研究（deep learning for NLP）領(lǐng)域最好的實(shí)驗(yàn)室之一。