憑借聽、讀、譯三大功能，對(duì)話式人工智能（AI）正逐漸深入人們的生活，成為解放雙手和提高生產(chǎn)力的關(guān)鍵工具。

當(dāng)你說話時(shí)，對(duì)話式AI能實(shí)時(shí)將你說的話記錄成文字，甚至可以實(shí)時(shí)翻譯成其他語言。

當(dāng)你聽不懂、記不住醫(yī)生叮囑的藥物或治療方案時(shí)，接受過海量醫(yī)學(xué)文本訓(xùn)練的對(duì)話式AI，能幫你準(zhǔn)確地記下全部醫(yī)囑。

當(dāng)你因?yàn)殚_車等原因不方便看手機(jī)時(shí)，對(duì)話式AI能將屏幕上的文字讀給你聽。

它既能做穩(wěn)定的速記員，也能勝任專業(yè)的翻譯官，越來越多企業(yè)采用對(duì)話式AI來改善工作效率與優(yōu)化客戶支持。

不過，要開發(fā)出一款優(yōu)質(zhì)的對(duì)話式AI，并不是一件容易的事。如果只追求最快的響應(yīng)速度，難免犧牲語音識(shí)別、語言理解、語音生成的質(zhì)量，而如果過于重視質(zhì)量，可能會(huì)響應(yīng)的不夠及時(shí)。

怎樣能快速開發(fā)出高質(zhì)量的對(duì)話式AI，滿足專業(yè)的轉(zhuǎn)錄和編譯需求？知名硅谷芯片巨頭NVIDIA剛剛推出了一個(gè)相當(dāng)有用的工具。

一、降低實(shí)時(shí)對(duì)話式AI開發(fā)門檻的神器

2020年初突然爆發(fā)的新冠肺炎疫情正刺激企業(yè)AI的應(yīng)用，從遠(yuǎn)程教育、遠(yuǎn)程辦公、客戶服務(wù)到醫(yī)療健康，眾多行業(yè)加速出現(xiàn)對(duì)AI的需求。

知名市場(chǎng)調(diào)研機(jī)構(gòu)IDC的數(shù)據(jù)顯示，2019年中國對(duì)話式AI的支出約為58億美元，這一數(shù)字有望到2023年攀升至138億美元。其中，中國對(duì)話式AI市場(chǎng)規(guī)模有望從2019年的5.761億美元增至2023年的18.593億美元，年均復(fù)合增長率（CAGR）為34.0%。

什么是對(duì)話式AI？簡單理解，就是一種能自動(dòng)理解人類語言的系統(tǒng)，使得人與機(jī)器的交流像人與人之間的交流那樣輕松、自然而高效。

想想我們的日常溝通過程，我們不會(huì)向?qū)Ψ桨l(fā)出固定的指令，而是用自然的語言進(jìn)行交流。

而要讓機(jī)器更加自然、擬人化的與人類互動(dòng)，需要先讓機(jī)器理解你所說的話，即時(shí)了解上下文和語言，判斷話的意圖和隱藏含義，并以最自然的對(duì)話方式做出回應(yīng)。

在疫情刺激下，英國高性能語音識(shí)別服務(wù)供應(yīng)商Intelligent Voice發(fā)展勢(shì)頭相當(dāng)迅猛，幾個(gè)月內(nèi)即推出了新產(chǎn)品Myna，能連接到虛擬會(huì)議工具，自動(dòng)記錄、將錄音轉(zhuǎn)換成文本并發(fā)送文本記錄。

Myna得以快速實(shí)現(xiàn)的秘密武器，即是NVIDIA去年5月首次公布的實(shí)時(shí)對(duì)話式AI模型工具Jarvis。

Jarvis是一個(gè)基于NVIDIA GPU提供實(shí)時(shí)性能的靈活、多模態(tài)對(duì)話式AI服務(wù)應(yīng)用框架。

“Jarvis采用多模態(tài)的方法，將自動(dòng)語音識(shí)別的關(guān)鍵元素與實(shí)體和意圖匹配相融合，滿足需要高吞吐量和低延遲的新用例的需求。Jarvis API不但易于使用，還能整合和自定義客戶的工作流程，實(shí)現(xiàn)性能優(yōu)化?！盜ntelligent Voice首席技術(shù)官Nigel Cannings說。

另一家創(chuàng)建阿拉伯語虛擬助手的公司InstaDeep同樣是Jarvis的早期采用者。通過Jarvis中的NeMo工具包，這家公司對(duì)阿拉伯語語音–文本模型進(jìn)行微調(diào)，將單詞錯(cuò)誤率降低至7.84%。

通過早期采用者的反饋與優(yōu)化，Jarvis逐漸實(shí)現(xiàn)了更高的吞吐量和更低的延遲。在打磨成熟后，NVIDIA于昨日正式推出GPU加速的Jarvis 1. 0公測(cè)版。

二、延時(shí)小于300毫秒，開發(fā)速度提升高達(dá)10倍

Jarvis 1. 0公測(cè)版中包含用于構(gòu)建和部署實(shí)時(shí)對(duì)話式AI應(yīng)用程序的端到端工作流程，使開發(fā)者能輕松實(shí)現(xiàn)實(shí)時(shí)語音識(shí)別、轉(zhuǎn)錄、翻譯、封閉式字幕、虛擬助手和聊天機(jī)器人等功能。

它對(duì)于改善企業(yè)服務(wù)非常友好。如果從頭開始構(gòu)建對(duì)話式AI服務(wù)，必然需要深厚的AI專業(yè)知識(shí)、海量數(shù)據(jù)和充足的計(jì)算資源，而由NVIDIA GPU加速的Jarvis框架使開發(fā)者無需為這些成本而煩憂。

Jarvis的一大能力是定制解決方案?；贜VIDIA Jarvis，企業(yè)開發(fā)者能很容易地用專有的視頻和語音數(shù)據(jù)，對(duì)最新模型進(jìn)行微調(diào)，從而更深入地理解特定上下文，并對(duì)推理進(jìn)行優(yōu)化，從而構(gòu)建針對(duì)其自身行業(yè)、產(chǎn)品和客戶特征而量身定制的高質(zhì)量、端到端實(shí)時(shí)對(duì)話式AI服務(wù)。

這些服務(wù)運(yùn)行時(shí)間不到300毫秒，在GPU上的吞吐量比CPU高7倍。

首先是自動(dòng)語音識(shí)別（ASR），整個(gè)系統(tǒng)需要先輸入音頻、提取特征，用聲學(xué)模型嘗試找出特定聲音生成相應(yīng)的等效詞，從而識(shí)別語音音頻并生成對(duì)應(yīng)文本；然后借助Jarvis，可以實(shí)現(xiàn)機(jī)器翻譯、搜索、意圖識(shí)別、語言分析、問答系統(tǒng)等自然語言理解（NLU）服務(wù)；最后從這些服務(wù)獲得文本作為輸出，通過語音合成（TTS）技術(shù)和語音編碼模塊生成像人類聲音的對(duì)應(yīng)語音。

此次發(fā)布的Jarvis提供有多個(gè)新型對(duì)話式AI預(yù)訓(xùn)練模型，包括基于數(shù)千小時(shí)語音數(shù)據(jù)訓(xùn)練的ASR、NLU和TTS模型，提供使用一行代碼部署服務(wù)的端到端工作流程和工具，并支持遷移學(xué)習(xí)工具包（TLT），方便企業(yè)根據(jù)自己的具體用例和領(lǐng)域調(diào)整應(yīng)用。

其遷移學(xué)習(xí)工具包是一個(gè)拖放界面，不需要任何先驗(yàn)編碼經(jīng)驗(yàn)，即可采用自定義數(shù)據(jù)通過零編碼的方法，快速重新訓(xùn)練模型。

開發(fā)者可以再訓(xùn)練TLT，也可以探索用于構(gòu)建和訓(xùn)練GPU加速的對(duì)話式AI模型的Python工具包NeMo，然后用Jarvis集成使用最先進(jìn)的AI語言模型進(jìn)行語音識(shí)別、語音合成、語義理解的虛擬助手，未來Jarvis還將支持計(jì)算機(jī)視覺服務(wù)。

通過Jarvis，企業(yè)可以獲得各種先進(jìn)的模型、通過TLT遷移學(xué)習(xí)將開發(fā)速度提升高達(dá)10倍，以及全面優(yōu)化的GPU加速流程，從而創(chuàng)建能理解每家公司獨(dú)特專業(yè)術(shù)語的實(shí)時(shí)智能語言型應(yīng)用。

其全面加速的深度學(xué)習(xí)流程經(jīng)過優(yōu)化，可作為可擴(kuò)展服務(wù)運(yùn)行。

即日起，NVIDIA Jarvis和TLT可供NVIDIA開發(fā)者計(jì)劃成員免費(fèi)下載。

三、對(duì)話式AI正改變各行業(yè)服務(wù)體驗(yàn)

NVIDIA Jarvis服務(wù)現(xiàn)有的三大功能分別是語音識(shí)別、語音合成、自然語言理解。

其語音識(shí)別服務(wù)有不同的模式選擇，可以使用不同采樣率，可用于語音識(shí)別的英語語音數(shù)據(jù)已經(jīng)被訓(xùn)練了7000個(gè)小時(shí)，并提供有Jasper、Quartznet等不同聲學(xué)模型，全流程端到端優(yōu)化。

其語音合成有流模式和批處理模式，支持22kHz采樣率，提供acoTron2、Waveglow等模型和完全端到端優(yōu)化的流程。

如果要識(shí)別特定領(lǐng)域的實(shí)體，Jarvis的自然語言理解模型即可提供幫助，該服務(wù)提供高級(jí)NLP API和低級(jí)API，能滿足命名實(shí)體識(shí)別、領(lǐng)域分類、分別標(biāo)簽等需要。

例如，在醫(yī)療健康領(lǐng)域，眼科醫(yī)生進(jìn)行遠(yuǎn)程診療時(shí)，自然語言理解服務(wù)能識(shí)別醫(yī)學(xué)文本的實(shí)體，在對(duì)話過程中能檢測(cè)出哪些醫(yī)療實(shí)體，輔助終端系統(tǒng)為患者進(jìn)行診斷。

除了醫(yī)療健康外，NVIDIA Jarvis也正為政務(wù)、金融、消費(fèi)者服務(wù)等更多行業(yè)帶來新的機(jī)遇。

企業(yè)和政府機(jī)構(gòu)每天都要記錄數(shù)以千萬計(jì)的通話，但通過搜索提取這些通話中的關(guān)鍵信息幾乎難以實(shí)現(xiàn)。而通過Jarvis把錄音轉(zhuǎn)換成文本，就可以利用AI工具快速搜索并分析這些數(shù)據(jù)。

在金融領(lǐng)域，以用AI顛覆金融分析行業(yè)而聞名的英國公司Kensho用NVIDIA對(duì)話式AI開發(fā)了金融和商業(yè)語音識(shí)別解決方案Scribe，該方案據(jù)稱在財(cái)報(bào)電話和財(cái)務(wù)音頻方面的準(zhǔn)確率比同類其他商業(yè)解決方案高出約20%。

得益于在推薦引擎Merlin、對(duì)話式AI Jarvis等關(guān)鍵框架的押注，NVIDIA正不斷強(qiáng)化其數(shù)據(jù)中心業(yè)務(wù)的軟件優(yōu)勢(shì)。

本周NVIDIA剛剛公布的最新財(cái)報(bào)顯示，其數(shù)據(jù)中心業(yè)務(wù)在截至2021年1月31日的第四季度創(chuàng)下19億美元收入新紀(jì)錄，同比增長97%，全年收入創(chuàng)下67.0億美元的紀(jì)錄，同比增長124%。

結(jié)語：加速對(duì)話式AI落地普及

通過虛擬助手、實(shí)時(shí)轉(zhuǎn)錄、聊天機(jī)器人等形態(tài)，對(duì)話式AI正帶給企業(yè)客戶更多沉浸式的體驗(yàn)。

隨著越來越多企業(yè)及消費(fèi)者擁抱數(shù)字化，更多中小型機(jī)構(gòu)也開始在其聯(lián)絡(luò)中心部署更具個(gè)性化的對(duì)話式AI功能，而開發(fā)部署的成本與復(fù)雜性，往往是制約這一趨勢(shì)的核心難題之一。

而NVIDIA Jarvis 1. 0公測(cè)版的推出，降低了實(shí)時(shí)對(duì)話式AI開發(fā)的準(zhǔn)入門檻，有望推動(dòng)未來對(duì)話式AI在更多行業(yè)的普及落地。
責(zé)任編輯:tzh