一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線(xiàn)課程
  • 觀(guān)看技術(shù)視頻
  • 寫(xiě)文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

NVIDIA Triton開(kāi)源推理服務(wù)軟件三大功能推動(dòng)效率提升

NVIDIA英偉達(dá)企業(yè)解決方案 ? 來(lái)源:NVIDIA英偉達(dá)企業(yè)解決方案 ? 作者:NVIDIA英偉達(dá)企業(yè)解 ? 2022-01-04 14:20 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

Microsoft Teams借助AI生成的實(shí)時(shí)字幕和轉(zhuǎn)錄功能,幫助全球?qū)W生和職場(chǎng)人士順利進(jìn)行在線(xiàn)會(huì)議。用于訓(xùn)練的NVIDIA AI計(jì)算技術(shù)和用于推理語(yǔ)音識(shí)別模型的NVIDIA Triton推理服務(wù)器進(jìn)一步提升了這兩個(gè)功能。

Microsoft Teams 是全球溝通和協(xié)作的重要工具,每月有近2.5億活躍用戶(hù)。Microsoft Azure 認(rèn)知服務(wù)為T(mén)eams提供28種語(yǔ)言的字幕和轉(zhuǎn)錄,并將很快能夠在NVIDIA GPU上運(yùn)行關(guān)鍵的計(jì)算密集型神經(jīng)網(wǎng)絡(luò)推理。

實(shí)時(shí)字幕功能幫助與會(huì)者實(shí)時(shí)跟蹤對(duì)話(huà),轉(zhuǎn)錄功能方便與會(huì)者在日后回顧當(dāng)時(shí)的創(chuàng)意或回看未能參與的會(huì)議。

實(shí)時(shí)字幕對(duì)聾啞人、聽(tīng)力障礙者,或者異國(guó)與會(huì)者特別有用。

NVIDIA Triton開(kāi)源推理服務(wù)軟件能夠幫助Teams使用認(rèn)知服務(wù)優(yōu)化語(yǔ)音識(shí)別模型。

使用Triton,認(rèn)知服務(wù)能夠支持高度先進(jìn)的語(yǔ)言模型,以極低的延遲實(shí)時(shí)提供高度準(zhǔn)確、個(gè)性化的語(yǔ)音轉(zhuǎn)文本結(jié)果。同時(shí),可以保證運(yùn)行這些語(yǔ)音轉(zhuǎn)文本模型的NVIDIA GPU充分發(fā)揮其潛力,在消耗更少計(jì)算資源的同時(shí),為客戶(hù)提供更高的吞吐量,進(jìn)而降低成本。

底層語(yǔ)音識(shí)別技術(shù)作為認(rèn)知服務(wù)中的一個(gè)API,開(kāi)發(fā)人員可以使用它定制和運(yùn)行自己的應(yīng)用程序——客服電話(huà)轉(zhuǎn)錄、智能家居控制或?yàn)榧本热藛T提供AI助手。

字字達(dá)意的AI

認(rèn)知服務(wù)會(huì)生成Teams的轉(zhuǎn)錄和字幕,將語(yǔ)音轉(zhuǎn)換為文本,并識(shí)別說(shuō)話(huà)人。同時(shí)也能夠識(shí)別專(zhuān)業(yè)術(shù)語(yǔ) 、姓名和其他會(huì)議背景,提高字幕的準(zhǔn)確性。

Microsoft Teams的通話(huà)、會(huì)議及設(shè)備首席項(xiàng)目經(jīng)理Shalendra Chhabra表示:“這樣的AI模型非常復(fù)雜,需要數(shù)千萬(wàn)個(gè)神經(jīng)網(wǎng)絡(luò)參數(shù)才能識(shí)別幾十種不同的語(yǔ)言。但模型越大,就越難以經(jīng)濟(jì)高效地實(shí)時(shí)運(yùn)行?!?/p>

NVIDIA GPU和Triton軟件能夠幫助微軟在不犧牲低延遲的情況下,通過(guò)強(qiáng)大的神經(jīng)網(wǎng)絡(luò),實(shí)現(xiàn)高準(zhǔn)確性,確保語(yǔ)音-文本的實(shí)時(shí)轉(zhuǎn)換。

當(dāng)啟用轉(zhuǎn)錄功能時(shí),與會(huì)者可以在會(huì)議結(jié)束后輕松補(bǔ)上錯(cuò)過(guò)的內(nèi)容。

Triton三大功能推動(dòng)效率提升

NVIDIA Triton有助于簡(jiǎn)化AI模型部署,并解鎖高性能推理。用戶(hù)甚至可以為自己的應(yīng)用開(kāi)發(fā)自定義后端。軟件的一些關(guān)鍵功能可將Microsoft Teams的字幕和轉(zhuǎn)錄功能擴(kuò)展到更多會(huì)議和用戶(hù),包括:

流推理:新型流推理功能——通過(guò)跟蹤語(yǔ)音上下語(yǔ)境,提高延遲、敏感性字幕的準(zhǔn)確度,它助力NVIDIA和Azure認(rèn)知服務(wù)合作定制語(yǔ)音轉(zhuǎn)文本的應(yīng)用程序。

動(dòng)態(tài)合批:批大小指神經(jīng)網(wǎng)絡(luò)同時(shí)處理的輸入樣本數(shù)量。通過(guò)Triton的動(dòng)態(tài)合批,單項(xiàng)推理請(qǐng)求被自動(dòng)組合成一個(gè)批次,因此能夠在不影響模型延遲的情況下更好地利用GPU資源。

并發(fā)模型執(zhí)行:實(shí)時(shí)字幕和轉(zhuǎn)錄需要同時(shí)運(yùn)行多個(gè)深度學(xué)習(xí)模型。Triton使開(kāi)發(fā)人員能夠在單個(gè)GPU上同時(shí)完成這些工作,包括使用不同深度學(xué)習(xí)框架的模型。

即刻啟程,借助Azure 認(rèn)知服務(wù),在您的應(yīng)用中使用語(yǔ)音轉(zhuǎn)文本的功能,并進(jìn)一步了解NVIDIA Triton 推理服務(wù)軟件如何幫助團(tuán)隊(duì)大規(guī)模部署AI模型。

NVIDIA 將參加 CES 2022, 并將在 1 月 5 日凌晨 0 點(diǎn)(北京時(shí)間)發(fā)表 NVIDIA 特別演講。

NVIDIA GeForce 高級(jí)副總裁 Jeff Fisher 和 NVIDIA 汽車(chē)部門(mén)副總裁兼總經(jīng)理 Ali Kani 將展示加速計(jì)算在設(shè)計(jì)、仿真、游戲和自動(dòng)駕駛汽車(chē)方面的新突破。掃描下方海報(bào),即刻將該日程添加到日歷!

原文標(biāo)題:Microsoft Azure 認(rèn)知服務(wù)和NVIDIA AI提升Microsoft Teams實(shí)時(shí)字幕和轉(zhuǎn)錄功能

文章出處:【微信公眾號(hào):NVIDIA英偉達(dá)企業(yè)解決方案】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
審核編輯:湯梓紅

聲明:本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀(guān)點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • NVIDIA
    +關(guān)注

    關(guān)注

    14

    文章

    5309

    瀏覽量

    106412
  • 功能
    +關(guān)注

    關(guān)注

    3

    文章

    589

    瀏覽量

    29783
  • 開(kāi)源
    +關(guān)注

    關(guān)注

    3

    文章

    3689

    瀏覽量

    43831

原文標(biāo)題:Microsoft Azure 認(rèn)知服務(wù)和NVIDIA AI提升Microsoft Teams實(shí)時(shí)字幕和轉(zhuǎn)錄功能

文章出處:【微信號(hào):NVIDIA-Enterprise,微信公眾號(hào):NVIDIA英偉達(dá)企業(yè)解決方案】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    全球各大品牌利用NVIDIA AI技術(shù)提升運(yùn)營(yíng)效率

    歐萊雅、LVMH 集團(tuán)和雀巢利用 NVIDIA 加速的智能體 AI 和物理 AI,大幅提升產(chǎn)品設(shè)計(jì)、營(yíng)銷(xiāo)及物流等方面的運(yùn)營(yíng)效率
    的頭像 發(fā)表于 06-19 14:36 ?485次閱讀

    使用NVIDIA Triton和TensorRT-LLM部署TTS應(yīng)用的最佳實(shí)踐

    針對(duì)基于 Diffusion 和 LLM 類(lèi)別的 TTS 模型,NVIDIA Triton 和 TensorRT-LLM 方案能顯著提升推理速度。在單張
    的頭像 發(fā)表于 06-12 15:37 ?603次閱讀
    使用<b class='flag-5'>NVIDIA</b> <b class='flag-5'>Triton</b>和TensorRT-LLM部署TTS應(yīng)用的最佳實(shí)踐

    英偉達(dá)GTC25亮點(diǎn):NVIDIA Dynamo開(kāi)源庫(kù)加速并擴(kuò)展AI推理模型

    DeepSeek-R1 上的吞吐量提高了 30 倍 NVIDIA 發(fā)布了開(kāi)源推理軟件 NVIDIA Dynamo,旨在以高
    的頭像 發(fā)表于 03-20 15:03 ?649次閱讀

    Oracle 與 NVIDIA 合作助力企業(yè)加速代理式 AI 推理

    ——Oracle 和 NVIDIA 今日宣布,NVIDIA 加速計(jì)算和推理軟件與 Oracle 的 AI 基礎(chǔ)設(shè)施以及生成式 AI 服務(wù)
    發(fā)表于 03-19 15:24 ?358次閱讀
    Oracle 與 <b class='flag-5'>NVIDIA</b> 合作助力企業(yè)加速代理式 AI <b class='flag-5'>推理</b>

    使用NVIDIA推理平臺(tái)提高AI推理性能

    NVIDIA推理平臺(tái)提高了 AI 推理性能,為零售、電信等行業(yè)節(jié)省了數(shù)百萬(wàn)美元。
    的頭像 發(fā)表于 02-08 09:59 ?720次閱讀
    使用<b class='flag-5'>NVIDIA</b><b class='flag-5'>推理</b>平臺(tái)提高AI<b class='flag-5'>推理</b>性能

    NVIDIA 發(fā)布保障代理式 AI 應(yīng)用安全的 NIM 微服務(wù)

    NVIDIA NeMo Guardrails 軟件工具系列的一部分。這些可移植且經(jīng)過(guò)優(yōu)化的推理服務(wù)可幫助企業(yè)提高生成式 AI 應(yīng)用的安全性、精準(zhǔn)性
    發(fā)表于 01-17 16:29 ?161次閱讀

    借助NVIDIA GPU提升魯班系統(tǒng)CAE軟件計(jì)算效率

    本案例中魯班系統(tǒng)高性能 CAE 軟件利用 NVIDIA 高性能 GPU,實(shí)現(xiàn)復(fù)雜產(chǎn)品的快速仿真,加速產(chǎn)品開(kāi)發(fā)和設(shè)計(jì)迭代,縮短開(kāi)發(fā)周期,提升產(chǎn)品競(jìng)爭(zhēng)力。
    的頭像 發(fā)表于 12-27 16:24 ?676次閱讀

    Triton編譯器如何提升編程效率

    在現(xiàn)代軟件開(kāi)發(fā)中,編譯器扮演著至關(guān)重要的角色。它們不僅將高級(jí)語(yǔ)言代碼轉(zhuǎn)換為機(jī)器可執(zhí)行的代碼,還通過(guò)各種優(yōu)化技術(shù)提升程序的性能。Triton 編譯器作為一種先進(jìn)的編譯器,通過(guò)多種方式提升
    的頭像 發(fā)表于 12-25 09:12 ?748次閱讀

    Triton編譯器在機(jī)器學(xué)習(xí)中的應(yīng)用

    1. Triton編譯器概述 Triton編譯器是NVIDIA Triton推理服務(wù)平臺(tái)的一部分
    的頭像 發(fā)表于 12-24 18:13 ?990次閱讀

    Triton編譯器功能介紹 Triton編譯器使用教程

    Triton 是一個(gè)開(kāi)源的編譯器前端,它支持多種編程語(yǔ)言,包括 C、C++、Fortran 和 Ada。Triton 旨在提供一個(gè)可擴(kuò)展和可定制的編譯器框架,允許開(kāi)發(fā)者添加新的編程語(yǔ)言特性和優(yōu)化技術(shù)
    的頭像 發(fā)表于 12-24 17:23 ?1685次閱讀

    NVIDIA助力提供多樣、靈活的模型選擇

    在本案例中,Dify 以模型中立以及開(kāi)源生態(tài)的優(yōu)勢(shì),為廣大 AI 創(chuàng)新者提供豐富的模型選擇。其集成的 NVIDIAAPI Catalog、NVIDIA NIM和Triton 推理
    的頭像 發(fā)表于 09-09 09:19 ?935次閱讀

    魔搭社區(qū)借助NVIDIA TensorRT-LLM提升LLM推理效率

    “魔搭社區(qū)是中國(guó)最具影響力的模型開(kāi)源社區(qū),致力給開(kāi)發(fā)者提供模型即服務(wù)的體驗(yàn)。魔搭社區(qū)利用NVIDIA TensorRT-LLM,大大提高了大語(yǔ)言模型的推理性能,方便了模型應(yīng)用部署,提高
    的頭像 發(fā)表于 08-23 15:48 ?1140次閱讀

    全新 NVIDIA NeMo Retriever微服務(wù)大幅提升LLM的準(zhǔn)確性和吞吐量

    企業(yè)能夠通過(guò)提供檢索增強(qiáng)生成功能的生產(chǎn)就緒型 NVIDIA NIM 推理服務(wù),充分挖掘業(yè)務(wù)數(shù)據(jù)的價(jià)值。這些微服務(wù)現(xiàn)已集成到 Cohesit
    的頭像 發(fā)表于 07-26 11:13 ?1290次閱讀
    全新 <b class='flag-5'>NVIDIA</b> NeMo Retriever微<b class='flag-5'>服務(wù)</b>大幅<b class='flag-5'>提升</b>LLM的準(zhǔn)確性和吞吐量

    NVIDIA攜手Meta推出AI服務(wù),為企業(yè)提供生成式AI服務(wù)

    NVIDIA近日宣布了一項(xiàng)重大舉措,正式推出NVIDIA AI Foundry服務(wù)NVIDIA NIM(NVIDIA Inference
    的頭像 發(fā)表于 07-25 16:57 ?846次閱讀

    英偉達(dá)推出全新NVIDIA AI Foundry服務(wù)NVIDIA NIM推理服務(wù)

    NVIDIA 宣布推出全新 NVIDIA AI Foundry 服務(wù)NVIDIA NIM 推理服務(wù)
    的頭像 發(fā)表于 07-25 09:48 ?1061次閱讀